Promptr

Funcionalidade principal

O Promptr comprime prompts de modelos de linguagem de grande porte (LLM) por meio de uma única chamada à API REST, economizando até 40% nos custos de LLM e mantendo exatamente a mesma saída.

Principais recursos

• Integração rápida: pode ser adicionado em apenas 5 minutos.
• Alta taxa de compressão: a proporção padrão é 0,6, uma redução de 40%. Também aceita proporções personalizadas, como <promptr ratio="0.5"> para 50% de compressão ou <promptr ratio="0.8"> para 20%.
• Seções sem compressão: a tag <promptr compress="false"> permite especificar trechos que não devem ser comprimidos; essas seções não são cobradas.

Instruções de uso e suporte à API

O serviço oferece um único endpoint de API, http://promptr.me/compress-prompt, e permite integração rápida em várias linguagens:

• curl: envia uma solicitação POST com o prompt em formato JSON.
• Python: faz uma solicitação POST usando a biblioteca requests.
• JavaScript: faz uma solicitação POST usando a API fetch.
• C#: faz uma solicitação POST assíncrona usando HttpClient.

Os cabeçalhos devem incluir accept: text/plain, token: YOUR-API-TOKEN e Content-Type: application/.

Público-alvo

Desenvolvedores, empresas e criadores de aplicações de IA que precisam fazer muitas chamadas à API de LLM, especialmente em cenários que reutilizam o mesmo prompt várias vezes.

Principais vantagens

• Redução significativa de custos: ao reutilizar um prompt 100 vezes, o Promptr economiza 40% no GPT-4-Turbo e no GPT-4. Mesmo usando um prompt apenas uma vez, economiza 30% no GPT-4-Turbo e 37% no GPT-4.
• Saída sem perdas: o prompt comprimido gera a mesma saída do LLM que a versão sem compressão.

Modelo de preços e custo

O serviço usa cobrança conforme o uso, sem custos ocultos. O Promptr custa US$ 1 por 1 milhão de tokens de entrada. Por exemplo, usando o GPT-4, que custa US$ 30 por 1 milhão de tokens de entrada, e reutilizando um prompt 100 vezes, o custo sem o Promptr seria de US$ 3.000. Com o Promptr, o custo do LLM cai para US$ 1.800 por 600 mil tokens de entrada, mais US$ 1 do Promptr, totalizando US$ 1.801 — uma economia de 40%.