Promptr

Fungsi utama

Promptr mengompresi prompt Large Language Model (LLM) melalui satu panggilan REST API, sehingga dapat menghemat hingga 40% biaya LLM dengan output LLM yang sama persis.

Fitur utama

• Integrasi cepat: dapat ditambahkan hanya dalam 5 menit.
• Tingkat kompresi tinggi: rasio kompresi default adalah 0,6, yaitu pengurangan 40%. Rasio khusus juga didukung, seperti <promptr ratio="0.5"> untuk kompresi 50% atau <promptr ratio="0.8"> untuk kompresi 20%.
• Bagian tanpa kompresi: tag <promptr compress="false"> dapat digunakan untuk menentukan bagian teks yang tidak boleh dikompresi; bagian tanpa kompresi tidak dikenai biaya.

Petunjuk penggunaan dan dukungan API

Promptr menyediakan satu endpoint API, yaitu http://promptr.me/compress-prompt, serta mendukung integrasi cepat dalam beberapa bahasa pemrograman:

• curl: mengirim permintaan POST dengan prompt dalam format JSON.
• Python: membuat permintaan POST menggunakan pustaka requests.
• JavaScript: membuat permintaan POST menggunakan API fetch.
• C#: membuat permintaan POST asinkron menggunakan HttpClient.

Header harus menyertakan accept: text/plain, token: YOUR-API-TOKEN, dan Content-Type: application/.

Pengguna yang dituju

Promptr ditujukan untuk developer, perusahaan, dan pembuat aplikasi AI yang membutuhkan banyak panggilan API LLM, terutama untuk skenario yang menggunakan kembali prompt yang sama berkali-kali.

Keunggulan utama

• Pengurangan biaya yang signifikan: saat prompt digunakan kembali 100 kali, Promptr menghemat 40% pada GPT-4-Turbo dan GPT-4. Bahkan jika prompt hanya digunakan sekali, penghematannya adalah 30% pada GPT-4-Turbo dan 37% pada GPT-4.
• Output tanpa kehilangan: prompt yang dikompresi menghasilkan output LLM yang sama dengan versi tanpa kompresi.

Model harga dan biaya

Promptr menggunakan harga bayar sesuai pemakaian tanpa biaya tersembunyi. Biayanya adalah $1 per 1 juta token input. Sebagai contoh, jika menggunakan GPT-4 dengan biaya $30 per 1 juta token input dan menggunakan kembali prompt 100 kali, biayanya tanpa Promptr adalah $3.000. Dengan Promptr, biaya LLM turun menjadi $1.800 untuk 600 ribu token input, ditambah $1 untuk Promptr, sehingga totalnya $1.801 dan menghemat 40%.