Replicate

主な機能

methexis-inc/img2promptは、スタイル情報を含む近似的なテキストプロンプトを生成します。生成したプロンプトはstable diffusionで使用でき、画像や絵画に似たバージョンの再現に利用できます。stable-diffusion（clip ViT-L/14）向けに最適化されています。CLIP InterrogatorはOpenAI CLIPモデルを使い、入力画像をさまざまなアーティスト、媒体、スタイルと照合して、モデルが画像内容をどのように捉えるかを調べます。さらに、その結果をBLIPのキャプションと組み合わせてテキストプロンプトを提案します。

利用手順とワークフロー

1. 入力：端末からファイルをアップロードするか、画像URLを指定します。
2. 処理：モデルがViT-L/14を使って画像を解析します。
3. 出力：画像の内容、スタイル、関連するアーティストなどを含むテキストプロンプトを生成します。例：a cat wearing a suit and tie with green eyes, a stock photo by Hanns Katz, pexels, furry art, stockphoto, creative commons attribution, quantum wavetracing

実行方法

• API呼び出し：Node.js、Python、HTTP APIに対応しています。環境変数REPLICATE_API_TOKENの設定が必要で、モデルバージョンID 50adaf2d3ad20a6f911a8a9e3ccf777b263b8596fbd2c8fc26e8888f8a0edbb5を使用します。
• ローカル実行：CogまたはDockerを使ってダウンロードし、ローカルで実行できます。Nvidia T4 GPUが必要です。

料金とコスト

• Replicateでの実行料金は約$0.011、$1で90回程度ですが、入力内容によって異なります。
• 予測処理は通常49秒以内に完了します。最初のAPI呼び出しではモデルの起動（コールドブート）が発生するため時間がかかる場合がありますが、その後の応答は高速です。

技術的背景とソース

@pharmapsychoticによるCLIP Interrogator notebookを少し改変したバージョンです。ライセンスに基づくオープンソースで、ソースコードはGitHub（pharmapsychotic/clip-interrogator）で公開されています。