Text-To-Pokemon

主な機能と特徴

BLIPでキャプションを付けたPokémon画像を使ってStable Diffusionをファインチューニングしたモデルです。テキスト説明からPokémon風の画像を生成でき、プロンプトエンジニアリングは必要ありません。

利用方法と入力パラメータ

• prompt（string）：入力プロンプト。例："Yoda"。
• num_outputs（integer）：出力画像数。1〜4、デフォルトは1。
• num_inference_steps（integer）：ノイズ除去ステップ数。1〜50、デフォルトは25。
• guidance_scale（number）：classifier-free guidanceのスケール。1〜20、デフォルトは7.5。
• seed（integer）：乱数シード。空欄にするとランダムになります。

統合方法

1. Node.js / Python API：Replicateクライアントライブラリをインストールし、環境変数 REPLICATE_API_TOKEN を設定します。バージョンハッシュ ff6cc781634191dd3c49097a615d2fc01b0a8aae31c448e55039a04dcbf36bba を使ってモデルを実行し、画像URLを取得するかディスクに保存します。
2. HTTP API：curlを使って https://api.replicate.com/v1/predictions にPOSTリクエストを送信します。
3. Cog：Cogをインストールし、cog predict r8.im/lambdal/text-to-pokemon@sha256:... を使ってモデルをダウンロードし、ローカルで実行します。
4. Docker：docker runコマンドを使ってローカルGPU環境でモデルを実行し、APIを呼び出します。

対象ユーザーと主な利点

AIアートの愛好家、ゲーム開発者、Pokémonファンを対象としています。Pokémonスタイルに特化したファインチューニング、テーマ性の高い生成結果、オープンソースによるローカル展開への対応が主な利点です。

料金とコスト

Replicateで実行でき、料金は1回あたり約$0.047（$1で約21回）です。Nvidia T4 GPUで動作し、予測処理は通常4分以内に完了します。オープンソースモデルのため、ローカルハードウェアで無料実行できます。

一般的な用途

"Yoda"を入力するとPokémon風のヨーダのマスター画像を生成できます。"Girl with a pearl earring"や"Donald Trump"などを入力して、楽しいPokémon風キャラクターを生成することもできます。

モデルの背景

Justin PinkneyがLambda Labsで、Lambda GPU Cloud上の2xA6000 GPUsを使い、約15,000ステップ（約6時間、費用は約$10）で学習しました。データセットと重みはHugging Faceでオープンソースとして公開されています。