Point-E

Point-Eは、論文「Point-E: A System for Generating 3D Point Clouds from Complex Prompts」の公式コードおよびモデル公開です。

主な機能と使い方

1. 画像から点群へ（image2pointcloud）：サンプルの合成ビュー画像を条件として、点群を生成します。
2. テキストから点群へ（text2pointcloud）：小規模で品質の低い純粋なテキストから3Dへのモデルを使い、テキスト説明から直接3D点群を生成します。性能には限界がありますが、単純なカテゴリや色の一部は理解できます。
3. 点群からメッシュへ（pointcloud2mesh）：SDF回帰モデルを使い、点群からメッシュを生成します。

評価とレンダリング

P-FIDおよびP-ISの評価スクリプトに加え、Blender用のレンダリングコードを提供します。

リソース

論文バナー画像用のシード画像と点群、およびCOCO CLIP R-Precision評価に使用したシード画像をダウンロードできます。

主な利点：点群拡散による3Dモデル合成、テキストと画像の両モダリティへの対応、研究向けのオープンソースコードと事前学習済みモデルを提供します。本プロジェクトはMITライセンスで公開されており、完全に無料で利用できます。