Point-E: modelos 3D generativos com IA

Point-E é a publicação oficial do código e dos modelos do artigo “Point-E: A System for Generating 3D Point Clouds from Complex Prompts”.

Principais recursos e uso

1. Imagem para nuvem de pontos (image2pointcloud): amostra uma nuvem de pontos condicionada por imagens sintéticas de exemplo.
2. Texto para nuvem de pontos (text2pointcloud): usa um modelo pequeno de texto para 3D, de qualidade inferior, para produzir nuvens de pontos 3D diretamente a partir de descrições de texto. Seus recursos são limitados, mas ele entende algumas categorias e cores simples.
3. Nuvem de pontos para malha (pointcloud2mesh): usa um modelo de regressão SDF para produzir malhas a partir de nuvens de pontos.

Avaliação e renderização

O projeto fornece scripts de avaliação P-FID e P-IS, além de código de renderização para o Blender.

Recursos

Imagens e nuvens de pontos de referência para as imagens de banner do artigo, assim como as imagens de referência usadas nas avaliações COCO CLIP R-Precision, estão disponíveis para download.

Entre as principais vantagens estão a síntese de modelos 3D por difusão de nuvens de pontos, o suporte a texto e imagem e a oferta de código aberto e modelos pré-treinados para pesquisa. O projeto está sob a licença MIT e é totalmente gratuito.