Point-E: modelli 3D generativi con IA

Point-E è la pubblicazione ufficiale del codice e dei modelli dell'articolo “Point-E: A System for Generating 3D Point Clouds from Complex Prompts”.

Funzioni e utilizzo

1. Da immagine a nuvola di punti (image2pointcloud): campiona una nuvola di punti condizionata da immagini sintetiche di esempio.
2. Da testo a nuvola di punti (text2pointcloud): utilizza un modello testo-3D piccolo e di qualità inferiore per produrre direttamente nuvole di punti 3D da descrizioni testuali. Le sue capacità sono limitate, ma comprende alcune categorie e alcuni colori semplici.
3. Da nuvola di punti a mesh (pointcloud2mesh): utilizza un modello di regressione SDF per produrre mesh a partire da nuvole di punti.

Valutazione e rendering

Point-E fornisce script di valutazione P-FID e P-IS, oltre a codice di rendering per Blender.

Risorse

Sono disponibili per il download immagini e nuvole di punti seed per le immagini banner dell'articolo, oltre alle immagini seed utilizzate nelle valutazioni COCO CLIP R-Precision.

I principali vantaggi includono la sintesi di modelli 3D tramite diffusione di nuvole di punti, il supporto a testo e immagini e la disponibilità di codice open source e modelli preaddestrati per la ricerca. Il progetto è distribuito con licenza MIT ed è completamente gratuito.