Promptr

Funcionalidad principal

Promptr comprime prompts de modelos de lenguaje de gran tamaño (LLM) mediante una sola llamada a una API REST, con un ahorro de hasta el 40 % en costes de LLM y exactamente la misma salida.

Características principales

• Integración rápida: puede añadirse en solo 5 minutos.
• Alta tasa de compresión: la proporción predeterminada es 0,6, una reducción del 40 %. También admite proporciones personalizadas, como <promptr ratio="0.5"> para una compresión del 50 % o <promptr ratio="0.8"> para una del 20 %.
• Secciones sin comprimir: la etiqueta <promptr compress="false"> permite especificar las secciones de texto que no deben comprimirse; estas secciones no se facturan.

Uso y compatibilidad con API

Ofrece un único endpoint de API, http://promptr.me/compress-prompt, y admite una integración rápida en varios lenguajes:

• curl: envía una solicitud POST con el prompt en formato JSON.
• Python: realiza una solicitud POST mediante la biblioteca requests.
• JavaScript: realiza una solicitud POST mediante la API fetch.
• C#: realiza una solicitud POST asíncrona mediante HttpClient.

Los encabezados deben incluir accept: text/plain, token: YOUR-API-TOKEN y Content-Type: application/.

Usuarios objetivo

Está dirigido a desarrolladores, empresas y creadores de aplicaciones de IA que necesitan realizar muchas llamadas a APIs de LLM, especialmente cuando reutilizan el mismo prompt varias veces.

Ventajas principales

• Reducción significativa de costes: al reutilizar un prompt 100 veces, Promptr ahorra un 40 % en GPT-4-Turbo y GPT-4. Incluso con un solo uso, ahorra un 30 % en GPT-4-Turbo y un 37 % en GPT-4.
• Salida sin pérdidas: el prompt comprimido produce la misma salida del LLM que la versión sin comprimir.

Modelo de precios y coste

Utiliza un modelo de pago por uso sin costes ocultos. Promptr cuesta 1 $ por cada millón de tokens de entrada. Por ejemplo, con GPT-4 a 30 $ por millón de tokens de entrada y reutilizando un prompt 100 veces, el coste sin Promptr sería de 3.000 $. Con Promptr, el coste del LLM baja a 1.800 $ por 600.000 tokens de entrada; al sumar 1 $ de Promptr, el total es de 1.801 $, lo que supone un ahorro del 40 %.