Promptr

Chức năng cốt lõi

Promptr nén prompt của Mô hình Ngôn ngữ Lớn (LLM) thông qua một lần gọi REST API, giúp tiết kiệm đến 40% chi phí LLM mà vẫn nhận được chính xác cùng một đầu ra LLM.

Tính năng chính

• Tích hợp nhanh: có thể thêm vào chỉ trong 5 phút.
• Tỷ lệ nén cao: tỷ lệ nén mặc định là 0,6, tương đương giảm 40%. Dịch vụ hỗ trợ tỷ lệ tùy chỉnh, chẳng hạn <promptr ratio="0.5"> cho mức nén 50% hoặc <promptr ratio="0.8"> cho mức nén 20%.
• Phần không nén: dùng thẻ <promptr compress="false"> để chỉ định các phần văn bản không được nén; các phần không nén không bị tính phí.

Hướng dẫn sử dụng và hỗ trợ API

Promptr cung cấp một endpoint API duy nhất là http://promptr.me/compress-prompt và hỗ trợ tích hợp nhanh bằng nhiều ngôn ngữ lập trình:

• curl: gửi yêu cầu POST với prompt ở định dạng JSON.
• Python: thực hiện yêu cầu POST bằng thư viện requests.
• JavaScript: thực hiện yêu cầu POST bằng API fetch.
• C#: thực hiện yêu cầu POST bất đồng bộ bằng HttpClient.

Các header phải bao gồm accept: text/plain, token: YOUR-API-TOKEN và Content-Type: application/.

Đối tượng sử dụng

Dịch vụ dành cho nhà phát triển, doanh nghiệp và người xây dựng ứng dụng AI cần thực hiện nhiều lệnh gọi API LLM, đặc biệt phù hợp với các tình huống tái sử dụng cùng một prompt nhiều lần.

Ưu điểm cốt lõi

• Giảm chi phí đáng kể: khi tái sử dụng prompt 100 lần, Promptr giúp tiết kiệm 40% trên GPT-4-Turbo và GPT-4. Ngay cả khi chỉ dùng prompt một lần, mức tiết kiệm là 30% trên GPT-4-Turbo và 37% trên GPT-4.
• Đầu ra không mất mát: prompt đã nén tạo ra cùng đầu ra LLM như phiên bản chưa nén.

Mô hình giá và chi phí

Promptr sử dụng mô hình trả theo mức sử dụng, không có chi phí ẩn. Giá là 1 USD cho mỗi 1 triệu token đầu vào. Ví dụ, khi dùng GPT-4 với giá 30 USD cho mỗi 1 triệu token đầu vào và tái sử dụng prompt 100 lần, chi phí không dùng Promptr là 3.000 USD. Với Promptr, chi phí LLM giảm còn 1.800 USD cho 600.000 token đầu vào, cộng 1 USD cho Promptr, tổng cộng 1.801 USD và tiết kiệm 40%.