Promptr

Funzionalità principale

Promptr comprime i prompt dei Large Language Model (LLM) tramite una singola chiamata REST API, riducendo i costi LLM fino al 40% e mantenendo esattamente lo stesso output.

Funzionalità principali

• Integrazione rapida: può essere aggiunto in soli 5 minuti.
• Elevato tasso di compressione: il rapporto predefinito è 0,6, cioè una riduzione del 40%. Sono supportati rapporti personalizzati, come <promptr ratio="0.5"> per una compressione del 50% o <promptr ratio="0.8"> per una compressione del 20%.
• Sezioni non compresse: il tag <promptr compress="false"> consente di specificare le sezioni di testo da non comprimere; le sezioni non compresse non vengono fatturate.

Istruzioni d’uso e supporto API

Promptr offre un solo endpoint API, http://promptr.me/compress-prompt, e supporta una rapida integrazione in diversi linguaggi:

• curl: invia una richiesta POST con il prompt in formato JSON.
• Python: esegue una richiesta POST usando la libreria requests.
• JavaScript: esegue una richiesta POST usando l’API fetch.
• C#: esegue una richiesta POST asincrona usando HttpClient.

Gli header devono includere accept: text/plain, token: YOUR-API-TOKEN e Content-Type: application/.

Utenti target

È pensato per sviluppatori, aziende e creatori di applicazioni IA che necessitano di numerose chiamate alle API LLM, soprattutto negli scenari in cui lo stesso prompt viene riutilizzato più volte.

Vantaggi principali

• Riduzione significativa dei costi: riutilizzando un prompt 100 volte, Promptr consente di risparmiare il 40% su GPT-4-Turbo e GPT-4. Anche usando un prompt una sola volta, il risparmio è del 30% su GPT-4-Turbo e del 37% su GPT-4.
• Output senza perdita: il prompt compresso produce lo stesso output LLM della versione non compressa.

Modello di prezzo e costi

Promptr utilizza un modello con pagamento a consumo e senza costi nascosti. Il prezzo è di 1 $ per 1 milione di token di input. Per esempio, usando GPT-4, al costo di 30 $ per 1 milione di token di input, e riutilizzando un prompt 100 volte, senza Promptr il costo sarebbe di 3.000 $. Con Promptr, il costo LLM scende a 1.800 $ per 600.000 token di input; aggiungendo 1 $ per Promptr, il totale è di 1.801 $, con un risparmio del 40%.