Point-E: generative 3D-Modelle mit KI

Point-E ist die offizielle Veröffentlichung des Codes und der Modelle zum Paper „Point-E: A System for Generating 3D Point Clouds from Complex Prompts“.

Funktionen und Verwendung

1. Bild zu Punktwolke (image2pointcloud): Erzeugt eine Punktwolke, die durch synthetische Beispielansichten bedingt ist.
2. Text zu Punktwolke (text2pointcloud): Verwendet ein kleines Text-zu-3D-Modell geringerer Qualität, um direkt aus Textbeschreibungen 3D-Punktwolken zu erzeugen. Seine Fähigkeiten sind begrenzt, es versteht jedoch einige einfache Kategorien und Farben.
3. Punktwolke zu Mesh (pointcloud2mesh): Verwendet ein SDF-Regressionsmodell, um aus Punktwolken Meshes zu erzeugen.

Evaluierung und Rendering

Point-E stellt Skripte zur P-FID- und P-IS-Evaluierung sowie Blender-Code für das Rendering bereit.

Ressourcen

Referenzbilder und Punktwolken für die Bannerbilder des Papers sowie die in den COCO-CLIP-R-Precision-Evaluierungen verwendeten Referenzbilder stehen zum Download bereit.

Zu den wichtigsten Vorteilen zählen die Synthese von 3D-Modellen durch Punktwolken-Diffusion, die Unterstützung von Text und Bildern sowie quelloffener Code und vortrainierte Modelle für die Forschung. Das Projekt steht unter der MIT-Lizenz und kann vollständig kostenlos genutzt werden.