Point-E: modelos 3D generativos con IA

Point-E es la publicación oficial del código y los modelos del artículo «Point-E: A System for Generating 3D Point Clouds from Complex Prompts».

Funciones y uso

1. Imagen a nube de puntos (image2pointcloud): muestrea una nube de puntos condicionada por imágenes sintéticas de vista de ejemplo.
2. Texto a nube de puntos (text2pointcloud): utiliza un modelo pequeño de texto a 3D, de menor calidad, para producir nubes de puntos 3D directamente a partir de descripciones de texto. Sus capacidades son limitadas, pero comprende algunas categorías y colores sencillos.
3. Nube de puntos a malla (pointcloud2mesh): utiliza un modelo de regresión SDF para producir mallas a partir de nubes de puntos.

Evaluación y renderizado

Point-E proporciona scripts de evaluación P-FID y P-IS, además de código de renderizado para Blender.

Recursos

Se pueden descargar imágenes y nubes de puntos semilla para las imágenes de portada del artículo, así como las imágenes semilla utilizadas en las evaluaciones COCO CLIP R-Precision.

Entre sus ventajas principales se incluyen la síntesis de modelos 3D mediante difusión de nubes de puntos, la compatibilidad con texto e imágenes y código de código abierto y modelos preentrenados para investigación. El proyecto utiliza la licencia MIT y es completamente gratuito.