谷歌研究团队开发了一种名为“Alchemist”的方法，允许用户在保持照片真实感的同时，对图像中对象的材料属性（如颜色、光泽和透明度）进行参数化编辑。也就是能够在真实图像中线性改变材料属性（粗糙度、金属度、反照率、透明度）。
该方法通过使用合成数据集对文本到图像（T2I）生成模型进行微调，实现了对材料属性的精确控制。模型被训练成在保持对象几何形状不变的情况下，仅编辑特定的材料属性，并保持其他属性的一致性。
Alchemist的功能特点
-
精确材料属性编辑：能够对图像中的物体进行细致的材料属性调整，如增加或减少物体的光滑度、改变物体的金属光泽、调整颜色和透明度等。
视频播放器00:0000:00 -
保持其他图像属性不变：在编辑材料属性的同时，保持图像中的其他属性（如物体的形状和背景）不变，确保编辑后的图像看起来自然且真实。
视频播放器00:0000:00 -
高度真实感：Alchemist 使用文本到图像（T2I）生成模型，并通过合成数据进行微调，确保编辑后的图像保持高度的真实感。即使是对透明度的调整，模型也能正确填充背景并生成逼真的光影效果。
-
无需额外辅助信息：不同于传统方法，Alchemist不需要额外的3D几何数据、深度图或环境贴图，只需要输入图像和编辑指令即可进行材料属性的调整。
-
合成数据训练与泛化：通过使用生成的合成数据进行训练，Alchemist能够将其学习到的材料属性编辑能力有效地应用于真实图像。
-
多属性同时编辑：支持在单次操作中同时编辑多个材料属性，使用户能够更加灵活地对图像中的物体进行复杂的材料调整。
-
用户友好：Alchemist 的编辑操作简单直观，无需专业的图像处理技能。用户只需输入所需的编辑指令和强度值，模型即可自动完成复杂的材料属性调整。
-
应用于3D重建：Alchemist不仅适用于静态图像，还可以将其编辑能力扩展到3D重建技术（如NeRF），对3D场景中的材料属性进行控制。
- 室内设计：用户可以轻松模拟不同颜色和材质的房间效果，帮助做出装修决策。
- 产品设计：设计师可以快速生成不同材料和颜色的产品效果图，方便产品开发和市场测试。
- 3D 渲染：通过与NeRF（神经辐射场）结合，Alchemist 能够生成一致的3D渲染图像，支持下游的3D任务。
材料编辑示例：
- 粗糙度：改变各种物体的粗糙度，如鸡蛋、花瓶和陶器。
视频播放器00:0000:00
- 透明度：调整物体的透明度，如尤达、南瓜和花瓶。
视频播放器00:0000:00
- 金属度：修改物品的金属属性，如茶壶、苹果和玩具。
视频播放器00:0000:00
- 反照率：改变物体的反照率，如苹果、鞋子和雕像。
视频播放器00:0000:00
-
Support authors and subscribe to content
This is premium stuff. Subscribe to read the entire article.
Login if you have purchased
论文、PPT、作业报告，再也不用熬夜写！只需要一键，万能小in就能帮你完成~还有更多AI助手等你解锁！