Point-E

Point-E est la publication officielle du code et des modèles associés à l’article « Point-E: A System for Generating 3D Point Clouds from Complex Prompts ».

Fonctionnalités et utilisation

1. Image vers nuage de points (image2pointcloud) : génère un nuage de points à partir d’images de vues synthétiques fournies en exemple.
2. Texte vers nuage de points (text2pointcloud) : utilise un modèle texte vers 3D de petite taille et de qualité inférieure pour produire directement des nuages de points 3D à partir de descriptions textuelles. Ses capacités sont limitées, mais il comprend certaines catégories et couleurs simples.
3. Nuage de points vers maillage (pointcloud2mesh) : utilise un modèle de régression SDF pour produire des maillages à partir de nuages de points.

Évaluation et rendu

Le projet fournit des scripts d’évaluation P-FID et P-IS, ainsi que du code de rendu Blender.

Ressources

Des images et nuages de points de départ pour les bannières de l’article, ainsi que les images de départ utilisées pour les évaluations COCO CLIP R-Precision, sont disponibles au téléchargement.

Avantages principaux : synthèse de modèles 3D par diffusion de nuages de points, prise en charge des modalités texte et image, et code open source avec modèles préentraînés pour la recherche. Le projet est distribué sous licence MIT et entièrement gratuit.