Point-E: mô hình 3D tạo sinh bằng AI

Point-E là bản phát hành chính thức của mã nguồn và mô hình cho bài báo “Point-E: A System for Generating 3D Point Clouds from Complex Prompts”.

Tính năng và cách sử dụng

1. Ảnh sang đám mây điểm (image2pointcloud): lấy mẫu đám mây điểm dựa trên một số ảnh góc nhìn tổng hợp làm ví dụ.
2. Văn bản sang đám mây điểm (text2pointcloud): sử dụng một mô hình văn bản sang 3D nhỏ, có chất lượng thấp hơn, để tạo trực tiếp đám mây điểm 3D từ mô tả văn bản. Khả năng của mô hình còn hạn chế, nhưng mô hình hiểu được một số danh mục và màu sắc đơn giản.
3. Đám mây điểm sang lưới (pointcloud2mesh): sử dụng mô hình hồi quy SDF để tạo lưới từ đám mây điểm.

Đánh giá và kết xuất

Point-E cung cấp các tập lệnh đánh giá P-FID và P-IS, cùng mã kết xuất Blender.

Tài nguyên

Có thể tải xuống các ảnh và đám mây điểm seed dùng cho ảnh banner của bài báo, cũng như các ảnh seed được sử dụng trong đánh giá COCO CLIP R-Precision.

Ưu điểm chính gồm tổng hợp mô hình 3D thông qua khuếch tán đám mây điểm, hỗ trợ cả văn bản và hình ảnh, cùng mã nguồn mở và các mô hình được huấn luyện trước cho nghiên cứu. Dự án được phát hành theo giấy phép MIT và hoàn toàn miễn phí sử dụng.