Point-E: model 3D generatif dengan AI

Point-E adalah rilis kode dan model resmi untuk makalah “Point-E: A System for Generating 3D Point Clouds from Complex Prompts”.

Fitur dan penggunaan

1. Gambar ke point cloud (image2pointcloud): mengambil sampel point cloud yang dikondisikan pada beberapa gambar tampilan sintetis contoh.
2. Teks ke point cloud (text2pointcloud): menggunakan model teks-ke-3D kecil dengan kualitas yang lebih rendah untuk menghasilkan point cloud 3D secara langsung dari deskripsi teks. Kemampuannya terbatas, tetapi model ini memahami beberapa kategori dan warna sederhana.
3. Point cloud ke mesh (pointcloud2mesh): menggunakan model regresi SDF untuk menghasilkan mesh dari point cloud.

Evaluasi dan rendering

Point-E menyediakan skrip evaluasi P-FID dan P-IS serta kode rendering Blender.

Sumber daya

Gambar dan point cloud seed untuk gambar banner makalah, serta gambar seed yang digunakan dalam evaluasi COCO CLIP R-Precision, tersedia untuk diunduh.

Keunggulan utamanya mencakup sintesis model 3D melalui difusi point cloud, dukungan untuk modalitas teks dan gambar, serta kode sumber terbuka dan model pralatih untuk penelitian. Proyek ini menggunakan lisensi MIT dan sepenuhnya gratis untuk digunakan.