Point-E

Point-E — официальный выпуск кода и модели для статьи Point-E: A System for Generating 3D Point Clouds from Complex Prompts.

1. Изображение в облако точек: создает облако точек на основе примеров синтетических изображений ракурса.
2. Текст в облако точек: использует небольшую чисто текстовую модель преобразования текста в 3D с более низким качеством для непосредственного создания 3D-облаков точек по текстовым описаниям. Возможности модели ограничены, но она понимает некоторые простые категории и цвета.
3. Облако точек в меш: использует модель регрессии SDF для создания мешей из облаков точек.

Для оценки и рендеринга доступны скрипты оценки P-FID и P-IS, а также код рендеринга Blender. Можно скачать seed images и point clouds для баннеров статьи, а также seed images, использованные для оценок COCO CLIP R-Precision. Ключевые преимущества Point-E — синтез 3D-моделей с помощью диффузии облаков точек, поддержка текстового и графического ввода, а также открытый код и pretrained models для исследований. Проект распространяется по лицензии MIT и полностью бесплатен для использования.