Segment Anything (Meta)

主な機能と特徴

Segment Anything Model（SAM）は、Meta AIが開発した新しいAIモデルです。1回のクリックで、あらゆる画像から任意の物体を「切り抜く」ことができます。SAMはプロンプトに対応したセグメンテーションシステムで、追加学習なしに未知の物体や画像へゼロショット汎化できます。

多様な入力プロンプト：画像内で何をセグメンテーションするかを指定するプロンプトにより、追加学習なしで幅広いセグメンテーションタスクに対応できます。対応するプロンプトの種類は、前景・背景のポイント、バウンディングボックス、マスクです。テキストプロンプトは論文で検討されていますが、この機能は公開されていません。

柔軟な統合：プロンプト対応の設計により、SAMは他のシステムと柔軟に統合できます。たとえば、AR/VRヘッドセットから取得したユーザーの視線を入力して物体を選択したり、物体検出器からバウンディングボックスのプロンプトを受け取り、テキストから物体を特定するセグメンテーションを実現したりできます。

拡張可能な出力：出力マスクは、他のAIシステムへの入力として利用できます。たとえば、動画内で物体マスクを追跡したり、画像編集アプリケーションに利用したり、3Dに展開したり、コラージュなどのクリエイティブな作業に使ったりできます。

ゼロショット汎化：SAMは、物体とは何かについての一般的な概念を学習しています。この理解により、追加学習なしで未知の物体や画像へゼロショット汎化できます。

効率的で柔軟なモデル設計：SAMは、データエンジンを動かすのに十分な効率性を目指して設計されています。モデルは、1）一度だけ実行する画像エンコーダーと、2）軽量なマスクデコーダーに分離されています。画像エンコーダーはViT-Hベースで、パラメータ数は632M、NVIDIA A100 GPU上で約0.15秒かかります。マスクデコーダーはTransformerベースで、プロンプトエンコーダーと合わせて4Mパラメータです。マルチスレッドSIMD実行を使えば、ブラウザー上のCPUで約50msで動作します。プラットフォームについては、画像エンコーダーはPyTorchで実装されており、GPUが必要です。プロンプトエンコーダーとマスクデコーダーはPyTorchで直接実行できるほか、ONNXに変換して、ONNXランタイムに対応するプラットフォーム上でCPUまたはGPUにより効率的に実行できます。モデルは256基のA100 GPUで3～5日間かけて学習されました。

データエンジンとデータセット

SAMの高度な機能は、モデルを活用した「データエンジン」によって収集された数百万枚の画像とマスクで学習した結果です。研究者はSAMとそのデータを使って画像を対話的にアノテーションし、モデルを更新するサイクルを繰り返して、双方を改善しました。SAMの支援で十分な数のマスクをアノテーションした後、曖昧さを考慮したSAMの設計を活用し、画像上にポイントのグリッドを提示して各ポイントで全要素をセグメンテーションするようSAMに指示することで、新しい画像を完全自動でアノテーションしました。最終データセットのSA-1Bには、約1,100万枚のライセンス取得済みでプライバシーに配慮した画像から収集された、11億件を超えるセグメンテーションマスクが含まれています。

よくある質問

• モデルはマスクのラベルを生成しますか？いいえ。モデルが予測するのは物体マスクのみで、ラベルは生成しません。
• モデルは動画で使えますか？現在は、画像または動画から取り出した個々のフレームのみをサポートしています。
• コードはどこで入手できますか？コードはGitHubで公開されています。

料金情報

ページには料金情報の記載がありません。モデルのコードとデータセットは無料で利用できます。