できること
LangChainのTypeSafe統合では、呼び出し、バッチ処理、他のワークフローコンポーネントとの組み合わせが可能なRunnable、TypeSafeClassifierを通じてJevを利用できます。対応するテキストまたは構造化された状態を受け取り、判断結果を返します。エージェントの回答を書く生成モデルを置き換えるものではありません。
ドキュメントに記載された統合には、モデルの振り分けやツール呼び出しの確認に使う実験的なミドルウェアも含まれています。これらは、分類器単体で使う場合とは別の選択肢です。モデルの判断をより大きなエージェントループに組み込む前に、小さく明示的な分類ステップから始めると、動作を確認しやすくなります。
向いている人
すでにLangChainを使っていて、既存のワークフローの規則に沿って判断を組み込みたいなら、この方法を選びます。たとえばサポートエージェントが、ドキュメントのコレクションを選ぶ前に問い合わせを分類できます。作業全体が1つのカテゴリを調べるだけなら、エージェントフレームワークを導入するより、直接SDKを呼び出したほうが読みやすく、テストやデバッグもしやすい場合があります。
身近に感じられる場面
アシスタントが複数の商品について質問に答えるとします。Jevに顧客がどの商品について話しているかを判断させ、その商品のコレクションからだけドキュメントを取得できます。メッセージに2つの商品が出てきたり、文脈が少なすぎたりする場合は、アプリケーションから担当者に振り分けを確認してもらえます。
データを変更するツールでは、明示的な権限チェックをモデルの外に置きます。分類結果が妥当でも、ユーザーやアプリケーションが与えていない認可を補うことはできません。モデルはレビューの判断材料にはなりますが、許可される操作を強制するのはコードの役割です。
まず行う設定
- Pythonプロジェクトに公式のlangchain-typesafe統合をインストールします。
- TypeSafe APIキーを設定し、インストールしたリリースのリクエスト形式を確認します。
- 明示的な状態と質問を指定して分類器を呼び出し、その後で他のステップと組み合わせます (state, questions)。
- 想定するカテゴリを記録し、代表的な会話を使って誤った振り分けを確認します。
- 実験的なミドルウェアは、その動作とアップグレード要件がアプリケーションに合う場合だけ追加します。
選ぶ前に考えたいこと
既存システムに合う場合、フレームワーク統合は役立ちます。一方で依存関係が増え、結果が変換される場所も増えます。デバッグ記録には元の判断と、アプリケーションが選んだ分岐の両方を残してください。そうしないと、後の障害をモデルの誤りと取り違える可能性があります。
統合のドキュメントでは、LangSmithでのトレースと使用状況の確認について説明しています。どの顧客情報を記録するかも含め、可観測性は意図を持って設定してください。トレースはワークフローの調査に役立てるものであり、完全な非公開会話をすべてのログにコピーする理由にはなりません。
アカウントと実行コスト
この統合パッケージに無料のJev推論は含まれていません。各ワークフローステップで実行するモデル呼び出し、別途使用する生成モデル、選択したオブザーバビリティサービスの費用を予算に組み込んでください。エージェントのループが繰り返されると、1件のユーザーリクエストが複数回の評価につながることがあります。そのため、タスクを完了するまでの呼び出し回数を測定してください。利用を拡大する前に、現在のプロバイダー規約と、追加料金が発生する任意サービスの有無を確認しましょう。