Promptr
核心功能:通过一个简单的REST API调用压缩大语言模型(LLM)的提示词(Prompts),在保持相同LLM输出的同时,最高可节省40%的LLM成本。
主要特点:
- 极速集成:仅需5分钟即可添加使用。
- 高压缩率:默认压缩比为0.6(即压缩40%),并支持自定义压缩比例,例如
<promptr ratio="0.5">可将文本压缩50%,<promptr ratio="0.8">可压缩20%。 - 保留关键段落:支持使用
<promptr compress="false">标签指定不需要压缩的文本部分,且未压缩的部分不收取费用。
使用说明与API支持:
提供一键调用的API端点(http://promptr.me/compress-prompt),支持多种编程语言快速接入:
- curl:通过POST请求发送JSON格式的Prompt。
- Python:使用
requests库进行POST请求。 - JavaScript:使用
fetchAPI进行POST请求。 - C#:使用
HttpClient进行异步POST请求。 请求头需包含accept: text/plain、token: YOUR-API-TOKEN和Content-Type: application/。
目标用户:需要大量调用LLM API的开发者、企业及AI应用构建者,尤其适合需要反复复用同一Prompt的场景。
核心优势:
- 显著降本:在复用Prompt 100次的情况下,使用GPT-4-Turbo可节省40%成本,使用GPT-4同样可节省40%;即使仅使用一次Prompt,GPT-4-Turbo也可节省30%,GPT-4可节省37%。
- 无损效果:压缩后的Prompt能够获得与未压缩Prompt相同的LLM输出效果。
收费模式与价格: 采用按量计费(Pay-as-you-go)模式,无隐藏费用。Promptr定价为每100万输入Token收费1美元。以使用GPT-4(100万输入Token收费30美元)且复用Prompt 100次为例,无Promptr成本为3000美元,使用Promptr后LLM成本降至1800美元(600k输入Token)加上1美元Promptr费用,总计1801美元,节省40%。
评论