Point-E

Point-E is de officiële release van de code en het model voor het artikel Point-E: A System for Generating 3D Point Clouds from Complex Prompts.

1. Afbeelding naar point cloud: bemonstert een point cloud op basis van voorbeeldafbeeldingen van synthetische weergaven.
2. Tekst naar point cloud: gebruikt een klein, kwalitatief minder sterk puur tekst-naar-3D-model om rechtstreeks 3D-point clouds uit tekstbeschrijvingen te maken. De mogelijkheden van dit model zijn beperkt, maar het begrijpt enkele eenvoudige categorieën en kleuren.
3. Point cloud naar mesh: gebruikt een SDF-regressiemodel om meshes uit point clouds te maken.

Voor evaluatie en rendering zijn P-FID- en P-IS-evaluatiescripts en Blender-renderingcode beschikbaar. Seed images en point clouds voor bannerafbeeldingen van het artikel, evenals seed images voor COCO CLIP R-Precision-evaluaties, kunnen worden gedownload. De belangrijkste voordelen zijn 3D-modelsynthetisering via point-cloud-diffusie, ondersteuning voor tekst en afbeeldingen en open-sourcecode met pretrained models voor onderzoek. Het project valt onder de MIT-licentie en is volledig gratis te gebruiken.