多模态 AI

TRELLIS.2:从图片生成带材质的 3D 资产

microsoft/TRELLIS.2

微软的 3D 生成项目,提供图片转三维、PBR 纹理生成与 GLB 导出,适合具备 GPU 环境的资产制作流程。

★ 11.2K星级
⑂ 1.4KFork 数
143未解决的问题
Python语言
MIT许可证
Q84编辑评分

概览

TRELLIS.2 以结构化三维潜在表示生成带材质的形状,仓库提供 TRELLIS.2-4B 预训练模型、图片到三维示例和已有形状的纹理生成入口。它可用作从概念图到三维初稿的一步,再交给三维软件检查几何、材质和导出表现。对游戏原型、商品展示和研究实验而言,关键是把生成结果与目标引擎的规格连接起来,而不是只查看预览视频。

主要功能

  • 从单张参考图片生成三维形状。
  • 采用紧凑的结构化三维表示。
  • 支持具有复杂拓扑的物体建模。
  • 生成 PBR 材质并导出 GLB。
  • 提供已有形状的纹理生成示例。
  • 提供本地网页演示和训练代码。

要求、安装和快速入门

1. 准备 Linux 和至少 24GB 显存的 NVIDIA GPU,安装相应 CUDA Toolkit。
2. 执行 git clone -b main https://github.com/microsoft/TRELLIS.2.git --recursive。
3. 进入目录并按 README 使用 setup.sh 安装基本环境和所需扩展。
4. 从 microsoft/TRELLIS.2-4B 加载 Trellis2ImageTo3DPipeline。
5. 参照 example.py 输入图片并生成网格,再使用导出步骤写出 GLB。
6. 需要界面时运行 python app.py;纹理任务参考 example_texturing.py 与 app_texturing.py。

用法

制作一个道具原型时,先使用背景简单、主体完整的参考图,生成后同时查看旋转预览与实际 GLB。导入 Blender 或目标引擎,检查背面补全、细小结构、材质通道、面数与尺度;需要实时渲染时再安排减面和碰撞体制作。保留原图及生成参数,便于对不同输入构图进行比较。

实施要点
单张图片没有提供物体所有面的信息,遮挡区域需要重点检查。导出的 GLB 默认使用 OPAQUE 模式,即便包含透明度数据,也可能需要在三维软件中重新连接透明度设置。

模型兼容性与使用场景

上游当前仅声明在 Linux 测试,推荐 CUDA 12.4;部分包需要编译。24GB 是 README 提出的硬件门槛,具体分辨率和任务仍会影响显存占用。

许可证与风险说明

模型和代码采用 MIT;nvdiffrast、nvdiffrec 等依赖有各自许可证,打包或部署时应分别核对。

UniRL

Tencent-Hunyuan/UniRL

★ 854Python

diffusers

huggingface/diffusers

★ 34.5KPython

GLM-V

zai-org/GLM-V

★ 2.4KPython