概览
TRELLIS.2 以结构化三维潜在表示生成带材质的形状,仓库提供 TRELLIS.2-4B 预训练模型、图片到三维示例和已有形状的纹理生成入口。它可用作从概念图到三维初稿的一步,再交给三维软件检查几何、材质和导出表现。对游戏原型、商品展示和研究实验而言,关键是把生成结果与目标引擎的规格连接起来,而不是只查看预览视频。
主要功能
- 从单张参考图片生成三维形状。
- 采用紧凑的结构化三维表示。
- 支持具有复杂拓扑的物体建模。
- 生成 PBR 材质并导出 GLB。
- 提供已有形状的纹理生成示例。
- 提供本地网页演示和训练代码。
要求、安装和快速入门
1. 准备 Linux 和至少 24GB 显存的 NVIDIA GPU,安装相应 CUDA Toolkit。
2. 执行 git clone -b main https://github.com/microsoft/TRELLIS.2.git --recursive。
3. 进入目录并按 README 使用 setup.sh 安装基本环境和所需扩展。
4. 从 microsoft/TRELLIS.2-4B 加载 Trellis2ImageTo3DPipeline。
5. 参照 example.py 输入图片并生成网格,再使用导出步骤写出 GLB。
6. 需要界面时运行 python app.py;纹理任务参考 example_texturing.py 与 app_texturing.py。
2. 执行 git clone -b main https://github.com/microsoft/TRELLIS.2.git --recursive。
3. 进入目录并按 README 使用 setup.sh 安装基本环境和所需扩展。
4. 从 microsoft/TRELLIS.2-4B 加载 Trellis2ImageTo3DPipeline。
5. 参照 example.py 输入图片并生成网格,再使用导出步骤写出 GLB。
6. 需要界面时运行 python app.py;纹理任务参考 example_texturing.py 与 app_texturing.py。
用法
制作一个道具原型时,先使用背景简单、主体完整的参考图,生成后同时查看旋转预览与实际 GLB。导入 Blender 或目标引擎,检查背面补全、细小结构、材质通道、面数与尺度;需要实时渲染时再安排减面和碰撞体制作。保留原图及生成参数,便于对不同输入构图进行比较。
实施要点
单张图片没有提供物体所有面的信息,遮挡区域需要重点检查。导出的 GLB 默认使用 OPAQUE 模式,即便包含透明度数据,也可能需要在三维软件中重新连接透明度设置。
实施要点
单张图片没有提供物体所有面的信息,遮挡区域需要重点检查。导出的 GLB 默认使用 OPAQUE 模式,即便包含透明度数据,也可能需要在三维软件中重新连接透明度设置。
模型兼容性与使用场景
上游当前仅声明在 Linux 测试,推荐 CUDA 12.4;部分包需要编译。24GB 是 README 提出的硬件门槛,具体分辨率和任务仍会影响显存占用。
许可证与风险说明
模型和代码采用 MIT;nvdiffrast、nvdiffrec 等依赖有各自许可证,打包或部署时应分别核对。