Promptr

核心功能:通过一个简单的REST API调用压缩大语言模型(LLM)的提示词(Prompts),在保持相同LLM输出的同时,最高可节省40%的LLM成本。

主要特点

  • 极速集成:仅需5分钟即可添加使用。
  • 高压缩率:默认压缩比为0.6(即压缩40%),并支持自定义压缩比例,例如<promptr ratio="0.5">可将文本压缩50%,<promptr ratio="0.8">可压缩20%。
  • 保留关键段落:支持使用<promptr compress="false">标签指定不需要压缩的文本部分,且未压缩的部分不收取费用。

使用说明与API支持: 提供一键调用的API端点(http://promptr.me/compress-prompt),支持多种编程语言快速接入:

  • curl:通过POST请求发送JSON格式的Prompt。
  • Python:使用requests库进行POST请求。
  • JavaScript:使用fetch API进行POST请求。
  • C#:使用HttpClient进行异步POST请求。 请求头需包含accept: text/plaintoken: YOUR-API-TOKENContent-Type: application/

目标用户:需要大量调用LLM API的开发者、企业及AI应用构建者,尤其适合需要反复复用同一Prompt的场景。

核心优势

  • 显著降本:在复用Prompt 100次的情况下,使用GPT-4-Turbo可节省40%成本,使用GPT-4同样可节省40%;即使仅使用一次Prompt,GPT-4-Turbo也可节省30%,GPT-4可节省37%。
  • 无损效果:压缩后的Prompt能够获得与未压缩Prompt相同的LLM输出效果。

收费模式与价格: 采用按量计费(Pay-as-you-go)模式,无隐藏费用。Promptr定价为每100万输入Token收费1美元。以使用GPT-4(100万输入Token收费30美元)且复用Prompt 100次为例,无Promptr成本为3000美元,使用Promptr后LLM成本降至1800美元(600k输入Token)加上1美元Promptr费用,总计1801美元,节省40%。

评论

登录 After Sign In, you can make comments