Promptr

Belangrijkste functionaliteit

Promptr comprimeert prompts voor grote taalmodellen (LLM's) via één REST API-aanroep. Zo kun je tot 40% op LLM-kosten besparen en exact dezelfde LLM-uitvoer behouden.

Belangrijkste functies

• Snelle integratie: kan in slechts 5 minuten worden toegevoegd.
• Hoge compressieratio: de standaardratio is 0.6, wat neerkomt op 40% reductie. Aangepaste ratio's worden ondersteund, zoals <promptr ratio="0.5"> voor 50% compressie of <promptr ratio="0.8"> voor 20% compressie.
• Niet-gecomprimeerde secties: met de tag <promptr compress="false"> kun je tekstgedeelten aangeven die niet mogen worden gecomprimeerd. Voor niet-gecomprimeerde secties worden geen kosten in rekening gebracht.

Gebruik en API-ondersteuning

Promptr biedt één API-eindpunt (http://promptr.me/compress-prompt) en ondersteunt snelle integratie in meerdere programmeertalen:

• curl: verstuur een POST-verzoek met de prompt in JSON-indeling.
• Python: doe een POST-verzoek met de bibliotheek requests.
• JavaScript: doe een POST-verzoek met de fetch-API.
• C#: doe een asynchroon POST-verzoek met HttpClient.

De headers moeten accept: text/plain, token: YOUR-API-TOKEN en Content-Type: application/ bevatten.

Doelgebruikers

Ontwikkelaars, ondernemingen en bouwers van AI-applicaties die veel LLM API-aanroepen nodig hebben. Promptr is vooral geschikt voor situaties waarin dezelfde prompt meerdere keren wordt hergebruikt.

Belangrijkste voordelen

• Aanzienlijke kostenbesparing: bij 100 keer hergebruik van een prompt bespaart Promptr 40% op GPT-4-Turbo en GPT-4. Zelfs bij eenmalig gebruik bespaar je 30% op GPT-4-Turbo en 37% op GPT-4.
• Verliesvrije uitvoer: de gecomprimeerde prompt levert dezelfde LLM-uitvoer op als de niet-gecomprimeerde versie.

Prijsmodel en kosten

Promptr werkt met betalen naar gebruik, zonder verborgen kosten. Promptr kost $1 per 1M invoertokens. Als GPT-4 bijvoorbeeld $30 per 1M invoertokens kost en je een prompt 100 keer hergebruikt, bedragen de kosten zonder Promptr $3,000. Met Promptr dalen de LLM-kosten naar $1,800 voor 600k invoertokens. Samen met $1 voor Promptr komt het totaal uit op $1,801, een besparing van 40%.