무엇을 하는가
Vercel은 AI Gateway와 AI SDK의 평가 인터페이스를 통한 Jev 액세스를 문서화하고 있습니다. 라이브러리는 애플리케이션이 호출하는 함수를 제공하고, 게이트웨이는 요청을 받아 라우팅하는 서비스입니다. 인증 정보를 설정하거나 오류를 조사할 때 이 차이가 중요합니다.
문서에 나온 AI SDK 진입점은 실험적인 평가 API입니다. 이 API는 컨텍스트와 이름이 지정된 질문을 받아 각 질문에 대한 답을 반환합니다. 여기서의 목적은 화면에 글로 쓴 답변을 스트리밍하는 것이 아니라, 애플리케이션이 후속 작업에 사용할 판단을 내리는 것입니다.
누구에게 적합한가
AI SDK가 이미 TypeScript 애플리케이션의 일부이고 팀이 배포 방식을 이해하고 있다면 이 경로를 검토할 만합니다. 기존 모델 코드 가까이에 결정을 둘 수 있으면서도 결정에 별도의 역할을 부여할 수 있습니다. 애플리케이션에 Jev 요청 하나만 필요하다면 더 넓은 추상화를 도입하는 것보다 공식 TypeSafe SDK를 유지 관리하기가 쉬울 수 있습니다.
익숙할 만한 상황
고객 지원 페이지에서 이미 추천 답변을 만들고 있다고 해 보겠습니다. 초안을 작성하기 전에 고객에게 계정 도움, 제품 지원, 결제 검토 중 무엇이 필요한지 물을 수 있습니다. 그러면 코드가 적절한 참고 자료를 선택하고 초안을 만들지 여부까지 결정합니다.
검토자가 분류 결과를 직접 확인할 수 있게 하세요. 분류가 잘못되었다면 초안만 바꿔서는 근본적인 경로를 바로잡을 수 없습니다. 같은 실수를 향후 질문 변경 사항과 비교해 확인할 수 있도록 수정 내용을 평가 예시로 저장하세요.
합리적인 첫 설정
- 문서에 나온 Jev 평가 인터페이스를 지원하는 AI SDK 버전을 확인합니다.
- 지원되는 Gateway 인증 방식을 서버 환경에 설정합니다.
- 현재 통합 가이드에 나온 Jev 평가 모델 식별자와 요청 형식을 사용합니다.
- 응답 생성과 별도로 범주 선택을 확인하는 소규모 테스트를 실행합니다.
- 대체 경로를 추가하고 의존성을 업그레이드할 때 평가 API 계약을 다시 검토합니다.
선택하기 전에 따져볼 점
SDK를 공유하면 코드베이스의 일관성을 높일 수 있지만, 실험적인 인터페이스는 업그레이드할 때 주의가 필요합니다. 의존성을 적절히 고정하고 코드가 사용하는 필드를 확인하는 소규모 통합 검사를 유지하세요. 텍스트 생성 호출이 성공했다고 해서 평가 호출도 올바르게 설정되었다는 뜻은 아닙니다.
게이트웨이에 액세스할 수 있다고 해서 모든 모델이 같은 입력을 받고 같은 작업을 지원하는 것은 아닙니다. 정확한 계정 확인과 권한 검사는 애플리케이션 코드에 두세요. 특히 고객에게 영향을 미치는 작업을 수행하기 전에는 결정 결과를 해당 규칙의 여러 입력 중 하나로만 사용하세요.
계정 및 실행 비용
계정에 적용되는 Gateway의 현재 모델 액세스 및 요금 약관을 확인하세요. 호스팅, 모델 추론, 워크플로의 기타 서비스에서 각각 별도의 비용이 발생할 수 있습니다. 들어오는 요청이 분류, 초안 작성, 재시도를 일으키는 빈도를 측정하세요. 변경되지 않은 검토 결과를 캐시하면 도움이 될 수 있지만, 캐시 키에도 평가에 사용한 질문과 모델 버전을 반영해야 합니다.