TOOLAI / ToolAIガイドを読む / モデルゲートウェイ

Cloudflare AI:WorkerからJevを呼び出す

Cloudflare上のアプリケーション向けに文書化されたJevルートです。自分のWorkerと第三者のモデルサービスを明確に区別できます。

ToolAI Editorial確認日

できること

Cloudflare AIはJevを第三者モデルとして掲載し、WorkerのAIバインディングまたはHTTP APIを通じた呼び出しを案内しています。これにより、そのリクエストだけのために別のPythonやNodeサービスを構築せず、すでにCloudflareで動いているアプリケーションに判定ステップを追加できます。

Workerはリクエストを受け取り、関連するコンテキストを準備して、Jevの型付き回答を読み取ります。どこに保存するか、どの操作を許可するかは、引き続き自分のコードが決めます。Cloudflare経由で利用できるからといって、Jevの重みがWorker内やすべてのエッジロケーションで実行されるという意味ではありません。

向いている人

Workers、バインディング、Cloudflareアカウントの権限にすでに慣れているチームに適したルートです。フォーム送信を分類したり、テキストベースのリクエストをアプリケーションの既存の入口に近い場所で振り分けたりする用途に役立ちます。別のプラットフォームですでに安定して動いているジョブなら、Jevに到達するためだけにホスティングを変更するには、モデルが掲載されているという事実以上の理由が必要です。

身近に感じられる場面

ディレクトリがWorkerを通じてツールの登録を受け付けているとします。Jevに、登録内容が商品掲載、サポートに関する質問、それとも無関係な宣伝のどれに当たるかを判断させられます。その判断結果を登録内容の横に保存し、公開前に編集者が修正できるようにします。

モデルが利用できないことを理由に、有効な登録内容を消してはいけません。ワークフロー上必要であれば、まず元のリクエストを保存し、そのうえで分類を保留中にします。そうすれば、アプリケーションが後で再試行したり手動レビューを行ったりする間も、ユーザーの作業をそのまま保てます。

まず行う設定

  1. CloudflareアカウントでJevへのアクセス権と必要な権限を確認します。
  2. WorkerのAIバインディングを設定するか、ドキュメントに記載されたHTTP認証を準備します。
  3. Jevのドキュメントに示されているCloudflareのモデル識別子と入力形式を使います。
  4. アプリケーションが保存するレスポンスフィールドも含め、現実的な登録内容でテストします。
  5. 結果をキューに接続する前に、タイムアウトと不完全な分類を処理します。

選ぶ前に考えたいこと

バインディングを使うと接続用コードを減らせる場合がありますが、リクエスト制限、ネットワーク障害、モデルの誤りまでなくなるわけではありません。ユーザーの作業に合った時間制限を設定してください。フォームの確認処理とバックグラウンドのレビューキューでは、必要な条件が異なることがよくあります。

認証情報とリクエスト形式は、この経路専用のものとして管理します。TypeSafeのキーとCloudflare APIトークンは互換性がありません。また、選んだサービスに適用されるデータ取り扱い条件も確認してください。プラットフォーム経由で呼び出しただけでは、リクエストの各部分がどこで処理されるかは決まりません。

アカウントと実行コスト

Cloudflareでのモデルの現在の課金条件と、アプリケーションが使うWorkersのリソースを合わせて確認してください。サンプルの呼び出しが成功しただけでは、月間の送信内容をすべて処理する費用はわかりません。再試行、キュー、ストレージも見積もりに含め、小規模な試験運用で実際の使用量と照らし合わせましょう。今回送られた内容だけで質問に答えられるなら、過去の履歴をすべて送る必要はありません。

試してみますか?

www.cloudflare.com/products/workers-ai