Promptr

Основная функциональность

Promptr сжимает промпты больших языковых моделей (LLM) посредством одного вызова REST API, помогая сократить расходы на LLM до 40% и получить абсолютно такой же результат LLM.

Основные возможности

• Быстрая интеграция: сервис можно добавить всего за 5 минут.
• Высокая степень сжатия: коэффициент сжатия по умолчанию составляет 0.6, то есть сокращение на 40%. Поддерживаются настраиваемые коэффициенты, например <promptr ratio="0.5"> для сжатия на 50% или <promptr ratio="0.8"> для сжатия на 20%.
• Несжимаемые разделы: тег <promptr compress="false"> позволяет указать текстовые разделы, которые не следует сжимать. За несжатые разделы плата не взимается.

Использование и поддержка API

Сервис предоставляет одну конечную точку API (http://promptr.me/compress-prompt) и поддерживает быструю интеграцию на нескольких языках программирования:

• curl: отправка POST-запроса с промптом в формате JSON.
• Python: отправка POST-запроса с использованием библиотеки requests.
• JavaScript: отправка POST-запроса с использованием API fetch.
• C#: асинхронная отправка POST-запроса с использованием HttpClient.

Заголовки должны содержать accept: text/plain, token: YOUR-API-TOKEN и Content-Type: application/.

Целевые пользователи

Разработчики, компании и создатели AI-приложений, которым требуется большое количество вызовов API LLM. Promptr особенно подходит для сценариев, в которых один и тот же промпт используется многократно.

Основные преимущества

• Значительное снижение затрат: при повторном использовании промпта 100 раз Promptr экономит 40% на GPT-4-Turbo и GPT-4. Даже при однократном использовании промпта экономия составляет 30% на GPT-4-Turbo и 37% на GPT-4.
• Результат без потерь: сжатый промпт дает такой же результат LLM, как и несжатая версия.

Модель оплаты и стоимость

Promptr использует оплату по мере использования без скрытых расходов. Стоимость составляет $1 за 1M входных токенов. Например, при цене GPT-4 в $30 за 1M входных токенов и повторном использовании промпта 100 раз стоимость без Promptr составит $3,000. С Promptr стоимость LLM снижается до $1,800 за 600k входных токенов; с учетом $1 за Promptr общая сумма составляет $1,801, что означает экономию 40%.