Point-E

Point-E는 「Point-E: A System for Generating 3D Point Clouds from Complex Prompts」 논문의 공식 코드 및 모델 공개 프로젝트입니다.

주요 기능 및 사용 방법

1. 이미지에서 포인트 클라우드로 (image2pointcloud): 예시 합성 뷰 이미지를 조건으로 포인트 클라우드를 생성합니다.
2. 텍스트에서 포인트 클라우드로 (text2pointcloud): 소형의 낮은 품질을 가진 순수 텍스트-3D 모델을 사용해 텍스트 설명에서 직접 3D 포인트 클라우드를 생성합니다. 기능에는 한계가 있지만 일부 단순한 범주와 색상을 이해합니다.
3. 포인트 클라우드에서 메시로 (pointcloud2mesh): SDF 회귀 모델을 사용해 포인트 클라우드에서 메시를 생성합니다.

평가 및 렌더링

P-FID 및 P-IS 평가 스크립트와 Blender 렌더링 코드를 제공합니다.

리소스

논문 배너 이미지용 시드 이미지와 포인트 클라우드, COCO CLIP R-Precision 평가에 사용된 시드 이미지를 다운로드할 수 있습니다.

주요 장점: 포인트 클라우드 확산을 통한 3D 모델 합성, 텍스트와 이미지 모달리티 지원, 연구용 오픈 소스 코드 및 사전 학습 모델을 제공합니다. MIT 라이선스로 제공되며 완전히 무료로 사용할 수 있습니다.