Promptr

핵심 기능

Promptr는 한 번의 REST API 호출로 대규모 언어 모델(LLM) 프롬프트를 압축합니다. LLM 출력은 정확히 동일하게 유지하면서 LLM 비용을 최대 40% 절감할 수 있습니다.

주요 기능

• 빠른 통합: 단 5분 만에 추가할 수 있습니다.
• 높은 압축률: 기본 압축 비율은 0.6(40% 감소)이며, <promptr ratio="0.5">로 50%, <promptr ratio="0.8">로 20% 압축하는 등 사용자 지정 비율도 지원합니다.
• 비압축 구간: <promptr compress="false"> 태그로 압축하지 않을 텍스트 구간을 지정할 수 있으며, 비압축 구간에는 요금이 부과되지 않습니다.

사용 방법 및 API 지원

API 엔드포인트는 http://promptr.me/compress-prompt 하나이며, 여러 프로그래밍 언어에서 빠른 통합을 지원합니다.

• curl: 프롬프트를 JSON 형식으로 담은 POST 요청을 보냅니다.
• Python: requests 라이브러리로 POST 요청을 실행합니다.
• JavaScript: fetch API로 POST 요청을 실행합니다.
• C#: HttpClient로 비동기 POST 요청을 실행합니다.

헤더에는 accept: text/plain, token: YOUR-API-TOKEN, Content-Type: application/이 포함되어야 합니다.

대상 사용자

개발자, 기업, AI 애플리케이션 개발자를 위한 서비스입니다. 특히 동일한 프롬프트를 여러 번 재사용하는 등 LLM API를 광범위하게 호출하는 시나리오에 적합합니다.

핵심 장점

• 상당한 비용 절감: 프롬프트를 100회 재사용하면 GPT-4-Turbo와 GPT-4에서 40%를 절약할 수 있습니다. 한 번만 사용해도 GPT-4-Turbo에서 30%, GPT-4에서 37%를 절약합니다.
• 손실 없는 출력: 압축된 프롬프트는 압축하지 않은 버전과 동일한 LLM 출력을 생성합니다.

요금 및 비용

숨겨진 비용 없는 종량제 요금 모델입니다. Promptr 요금은 입력 토큰 100만 개당 1달러입니다. 예를 들어 입력 토큰 100만 개당 30달러인 GPT-4에서 프롬프트를 100회 재사용할 경우, Promptr를 사용하지 않으면 비용은 3,000달러입니다. Promptr를 사용하면 LLM 비용은 입력 토큰 60만 개 기준 1,800달러로 줄고, Promptr 비용 1달러를 더한 총액은 1,801달러로 40% 절약됩니다.