关键字 · OBJECT
一张图变成一个 3D 物体:开源项目 Idol 把单张照片变成可以转着看的高斯泼溅模型
开源项目 Idol:上传一张照片,得到一个能从各个角度转着看的 3D 物体。先在浏览器免费试玩,再按 README 命令在自己的显卡上运行。
给一个杯子、一个玩具或一盆植物拍一张照片,就能得到一个可以转来转去、从每个角度看的 3D 物体,连相机没拍到的背面也有。这就是开源项目 Idol,来自 Speridlabs,采用 Apache-2.0 许可。这篇指南先教你在浏览器里免费试玩(不用安装),再按 README 的原样命令在自己的电脑上运行。不需要懂 3D,会上传图片就行。
01你会得到什么:Idol 怎样处理你的图片
你可以给 Idol 一张照片、渲染图或生成的图片。它会自动做三件事:
- 去掉背景:用去背景模型 BiRefNet 把物体抠出来;
- 把物体摆正框好:裁切并放好位置,还会把处理后的图存下来,方便你检查;
- 补出看不到的那几面:背面、底部和被挡住的角落都会生成出来,得到一个完整的物体。
结果是一个 3D 高斯泼溅(3DGS),存成标准的 .ply 文件,高斯数量从 32,768 到 1,048,576(默认 262,144)。高斯就是许多柔和的小斑点,越多细节越丰富。用任何一个高斯泼溅查看器都能打开。README 说峰值显存约 7.2 GB,消费级显卡就能跑。
02先在浏览器里试玩(不用安装)
- 打开 Hugging Face 上的演示页面,它已载入一个背包示例。在右边的查看器里拖动,就能转着看;
- 点 Input image 上传你自己的图片,一张图只放一个物体效果最好,不用自己去背景;
- 在 Input type 里选择:手机或相机拍的选 Real photo,电脑生成的图选 Synthetic;
- 按 Generate,完成后转一转物体。想调整就展开 Settings,可以改高斯数量、步数、种子等,或勾选 Random seed。
03在自己的电脑上运行
需要一张 NVIDIA 显卡、Python 3.10 或更新版本、PyTorch 2.5 或更新版本。
- 从 GitHub 下载 idol-sdk 的代码,在它的文件夹里打开终端;
- 运行下面的安装命令;
- 登录 Hugging Face,申请两个受限模型的访问权限:facebook/dinov3-vith16plus-pretrain-lvd1689m 和 black-forest-labs/FLUX.2-dev;
- 在终端运行 hf auth login。权重第一次使用时才下载,所以第一次会比较久;
- 用下面的生成命令处理图片,再用高斯泼溅查看器打开生成的 .ply 文件。
pip install -e . # Python >= 3.10, PyTorch >= 2.5 pip install -e ".[demo]" # + Gradio, to run the demo locally
python -m idol.sample --image photo.jpg --mode real python -m idol.sample --image renders/ --mode synthetic --out outputs
每张图会输出三个文件:<name>.ply(3D 模型)、<name>_input.png(模型实际看到的图,结果奇怪时先看它)、<name>_camera.json(预测的拍摄位置)。常用参数:--seed(默认 42,同一种子得到同一物体)、--num_gaussians(默认 262144,必须是 32 的倍数)、--steps(默认 50)。
from idol import IdolPipeline
pipeline = IdolPipeline.from_pretrained("speridlabs/idol")
output = pipeline("photo.jpg", mode="real", seed=42, num_gaussians=1_048_576)
output.gaussian.save_ply("photo.ply")
output.preprocessed_image.save("photo_input.png")
04需要什么显卡?
README 的速度表(262,144 个高斯、50 步):RTX 4090 约 19.1 秒,RTX 5090 约 14.1 秒,10 GB 的 RTX 3080 约 46.2 秒,H100 约 6.7 秒。峰值显存约 7.2 GB,所以 10 GB 的显卡就够。
05相关链接
资料来源
下一个好用的工具是什么?
每条视频都有一篇完整详情。关注 @serrini666,第一时间看到新分享。