できること
Vercelは、AI GatewayとAI SDKの評価インターフェースを通じたJevへのアクセスを案内しています。ライブラリはアプリケーションが呼び出す関数を提供し、ゲートウェイはリクエストを受け取ってルーティングするサービスです。認証情報を設定したりエラーを調べたりするとき、この違いが重要になります。
ドキュメントにあるAI SDKの入口は、実験的な評価APIです。コンテキストと名前付きの質問を受け取り、それらの質問への回答を返します。ここでの目的は、画面に文章の返信をストリーミングすることではなく、アプリケーションが処理に使える判断を行うことです。
向いている人
AI SDKがすでにTypeScriptアプリケーションの一部として使われており、チームがそのデプロイ構成を理解しているなら、この方法を検討する価値があります。既存のモデルコードの近くに判断処理を置きながら、独立した役割も持たせられます。アプリケーションで必要なのが単一のJevリクエストだけなら、より広範な抽象化を導入するより、公式のTypeSafe SDKのほうが保守しやすい可能性があります。
身近に感じられる場面
カスタマーサポートページですでに返信案を作成しているとします。下書きを作る前に、顧客がアカウントのサポート、製品サポート、請求の確認のどれを必要としているかを尋ねられます。コードはその結果に応じて適切な参考資料を選び、そもそも下書きを作成するかどうかを決めます。
分類結果をレビュアーから見えるようにします。分類が間違っていた場合、下書きだけを変更しても根本のルートは直りません。修正内容を評価例として保存し、今後質問を変更したときに同じ誤りを基準に確認できるようにします。
まず行う設定
- ドキュメントにあるJev評価インターフェースに対応するAI SDKのリリースを確認します。
- 対応しているGateway認証方式をサーバー環境に設定します。
- 現在の統合ガイドに記載されたJev評価モデルの識別子とリクエスト形式を使います。
- 分類と返信生成を分けて確認する小さなテストを実行します。
- フォールバック経路を追加し、依存関係を更新するときは評価APIの契約を確認します。
選ぶ前に考えたいこと
SDKを共有するとコードベースの一貫性を保ちやすくなりますが、実験的なインターフェースではアップグレード時の確認が必要です。依存関係を適切に固定し、コードが利用するフィールドを検証する小さな統合チェックを残します。テキスト生成の呼び出しが成功しても、評価呼び出しが正しく設定されているとは限りません。
ゲートウェイを利用できても、すべてのモデルが同じ入力を受け付け、同じ操作に対応しているわけではありません。正確なアカウント確認と権限チェックはアプリケーションコードに残します。特に顧客に影響する操作の前では、判定結果をルールの入力の1つとして使ってください。
アカウントと実行コスト
アカウントで利用できるGatewayの現在のモデルと請求条件を確認します。ホスティング、モデル推論、ワークフロー内のその他のサービスには、それぞれ別のコストがかかる場合があります。受信リクエストが分類、下書き作成、再試行を引き起こす頻度を測定します。変わっていないレビュー結果をキャッシュすると役立つことがありますが、そのキーには評価した質問とモデルバージョンも反映させます。