Promptr

Kernfunktion

Promptr komprimiert Prompts großer Sprachmodelle (LLMs) über einen einzigen REST-API-Aufruf. Dadurch lassen sich bis zu 40 % der LLM-Kosten einsparen, während exakt dieselbe LLM-Ausgabe erzielt wird.

Wichtige Funktionen

• Schnelle Integration: in nur 5 Minuten hinzufügbar.
• Hohe Kompressionsrate: Das Standardverhältnis beträgt 0,6, also eine Reduzierung um 40 %. Benutzerdefinierte Verhältnisse werden unterstützt, etwa <promptr ratio="0.5"> für 50 % oder <promptr ratio="0.8"> für 20 % Kompression.
• Unkomprimierte Abschnitte: Mit dem Tag <promptr compress="false"> lassen sich Textabschnitte festlegen, die nicht komprimiert werden sollen. Diese Abschnitte werden nicht berechnet.

Nutzung und API-Unterstützung

Promptr stellt einen einzigen API-Endpunkt bereit: http://promptr.me/compress-prompt. Eine schnelle Integration in mehrere Programmiersprachen wird unterstützt:

• curl: POST-Anfrage mit dem Prompt im JSON-Format senden.
• Python: POST-Anfrage mit der Bibliothek requests ausführen.
• JavaScript: POST-Anfrage über die fetch-API ausführen.
• C#: asynchrone POST-Anfrage mit HttpClient ausführen.

Die Header müssen accept: text/plain, token: YOUR-API-TOKEN und Content-Type: application/ enthalten.

Zielgruppe

Promptr richtet sich an Entwickler, Unternehmen und Entwickler von KI-Anwendungen, die umfangreiche LLM-API-Aufrufe benötigen – besonders für Szenarien, in denen derselbe Prompt mehrfach wiederverwendet wird.

Wichtige Vorteile

• Deutliche Kostensenkung: Bei 100-maliger Wiederverwendung eines Prompts spart Promptr 40 % bei GPT-4-Turbo und GPT-4. Selbst bei einmaliger Nutzung beträgt die Ersparnis 30 % bei GPT-4-Turbo und 37 % bei GPT-4.
• Verlustfreie Ausgabe: Der komprimierte Prompt erzeugt dieselbe LLM-Ausgabe wie die unkomprimierte Version.

Preismodell und Kosten

Promptr verwendet ein nutzungsabhängiges Preismodell ohne versteckte Kosten. Der Preis beträgt 1 $ pro 1 Million Eingabetokens. Beispiel: Bei GPT-4 mit 30 $ pro 1 Million Eingabetokens und 100-maliger Wiederverwendung eines Prompts würden die Kosten ohne Promptr 3.000 $ betragen. Mit Promptr sinken die LLM-Kosten auf 1.800 $ für 600.000 Eingabetokens. Zusammen mit 1 $ für Promptr ergibt sich ein Gesamtbetrag von 1.801 $, also eine Ersparnis von 40 %.