三维空间的"色彩还原"有多难？PhyIR技术怎么做到的？
你有没有过这样的经历：在商场试衣间暖黄色灯光下，你明明看到一件衣服是柔和的米白色，但拍出来的照片却显示成了偏橙的杏色。回到家，你把这件衣服放在自然光下再看——颜色又变了。同一件衣服，在不同光线下呈现出完全不同的色彩，而人眼几乎察觉不到这种变化，镜头却"如实记录"了。
这背后藏着一个有趣的问题：到底什么才是物体"真正的颜色"？
答案比你想象中复杂得多。在二维照片里，我们或许还能接受"所见即所得"——反正拍出来什么颜色，看到的就是什么颜色。但在三维重建领域，这件事突然变得棘手起来。因为一个数字空间的使命，不是拍出一张好看的照片，而是让用户走进一个"真实"的空间。当你在VR里看一面墙，你不能只看到它"今天下午三点被夕阳照成金黄色的样子"——你得知道它本身是什么颜色，不管拉上窗帘还是拉开窗帘，它看起来都应该是那面墙本来的模样。
这就是三维空间色彩还原的终极目标，也是物理逆渲染技术要解决的核心命题。
为什么拍照能"还原"颜色，三维重建却不行？
要理解这个问题，得先搞清楚"颜色"是怎么来的。
一个物体呈现的颜色，取决于两个因素：物体本身对光线的反射特性（也就是材质），以及照射在物体上的光源颜色和强度。换句话说，你看到的任何一个颜色，都是"材质"和"光照"这两种信息混合在一起的结果。
在二维摄影中，相机做的事情很简单——记录下这个混合结果。一张照片就是一张"快照"，它如实记录了拍摄瞬间的光线状态。所以你在照片里看到的"红色沙发"，其实是"暖光下反射了红色波长的沙发"。这张照片没有义务告诉你，如果把灯光换成冷白色，这个沙发看起来会是什么样。
但在三维重建中，情况完全不同。
一个三维空间模型需要支持用户自由切换视角。用户可能在白天看，也可能在晚上看；可能从窗户方向看，也可能从室内看。如果模型只是简单地把每张照片的颜色"贴"在三维网格上，当用户从不同角度观察时，颜色的不一致就会暴露无遗——同一个墙面，从A视角看是暖黄色，从B视角看是冷白色。这种色彩的"漂移"彻底破坏了沉浸感，让用户一眼就觉得"这个VR是假的"。
所以，三维重建不能只做"拍照"这件事。它必须把"材质"和"光照"拆开——先搞清楚物体本身是什么颜色（这个颜色在计算机视觉术语中叫"反照率"或"漫反射颜色"），再搞清楚环境光是怎么分布的，然后才能在数字空间中根据用户的视角和虚拟光照，重新"渲染"出正确的颜色。这个过程，叫做逆渲染（Inverse Rendering）。
逆渲染：从"结果"倒推"原因"的数学难题
渲染和逆渲染，就像录歌和听歌识曲的关系。
正渲染（Rendering）是做加法：你有一个三维场景，你知道每个物体的材质（比如木头粗糙、金属光滑），你知道光源的位置和颜色，然后计算机计算出最终画面——这个画面看起来是什么样子。这个过程在电影特效和游戏引擎中已经非常成熟。
逆渲染（Inverse Rendering）是做减法：你手里只有最终画面（几张照片），你要从中反推出"场景原本是什么材质"和"光线是怎么照的"。
你可以把这个过程想象成一个魔术解密：你看到魔术师变出了一只鸽子，但你的任务是反推出鸽子是怎么藏进袖子里的。你有几张不同角度的照片，但照片里鸽子、袖子和灯光是混在一起的，你没有办法直接"揪出"其中任何一个变量。
这就是逆渲染被称为"病态问题"的原因——输入信息（几张照片）远远少于需要输出的信息（每个点的材质参数 + 整场景的光照分布）。数学上，这样的问题有无数个可能的解，而你要找到那个唯一正确的解。
更麻烦的是，真实世界的材质远不止"粗糙"和"光滑"这么简单。一块金属在光照下会产生高光，一个玻璃杯会产生折射，一面镜子的反射会"欺骗"相机，让它以为镜子里看到的物体就在镜子所在的位置。这些复杂的物理现象，让逆渲染的难度指数级上升。
如视PhyIR：给逆渲染装上"物理标尺"
面对这个难题，如视提出了一套名为 PhyIR（Physical Inverse Rendering，物理逆渲染） 的方法。这项研究成果入选了计算机视觉顶级会议 CVPR 2022，是物理逆渲染在室内场景中的突破性工作。
PhyIR的核心思路听起来很朴素：既然逆渲染的根本困难在于"解不唯一"，那就给求解过程加上物理约束，让计算机不要在"看起来合理"但"物理上不可能"的答案上浪费时间。
具体来说，PhyIR从全景RGB图像出发，构建了一个物理可微渲染模型。这个模型能够精确估计场景中每个表面的材质参数——反照率（物体本来的颜色）、粗糙度、金属度等——同时还能估计出空间一致变化的光照信息。所谓"空间一致"，指的是光照不是简单的一个方向或一个点，而是整个空间中每个位置、每个方向的光线分布。
这项技术最厉害的地方，是它对复杂材质的建模能力。传统方法遇到高光表面、金属物体、镜面反射，基本就"投降"了——这些材质的光学行为太复杂，常规算法无法区分"这是物体本身在反光"还是"这是周围环境被反射到了物体上"。但PhyIR通过更精确的物理模型，能够把这两者区分开。你可以理解为，PhyIR学会了"看穿"金属表面的反光，看透镜面玻璃的反射，直达物体本身的颜色和质感。
在PhyIR之后，如视的后续工作 TexIR（入选CVPR 2023）进一步将单视图逆渲染扩展到多视图，能够恢复物理合理的材质贴图，直接生成可用的三维模型资产。这意味着，你不仅能看到一个房间"长什么样"，还能看到它的"材质报告"——哪面墙是粗糙的乳胶漆、哪块地板是光滑的瓷砖、哪个柜门是哑光的木纹贴面。
从学术到产品：一个技术要过多少关
论文发在顶级会议上，只是第一步。从学术成果到商业产品，中间有一条被称为"死亡之谷"的路。论文证明的是"理论上可行"，商业产品要解决的是"工程上可靠"——速度够不够快、精度够不够稳、边界情况处理得怎么样、不同硬件上表现是否一致。
如视比较幸运的地方在于，学术研究和商业落地是在同一个体系内完成的。PhyIR的研究从一开始就面向室内场景——这恰恰是如视积累了数千万个真实空间数据的领域。这些数据既是研究的基础，也是验证的标尺。
在产品层面，PhyIR已经落地为如视的真实感渲染引擎。当你使用如视伽罗华P4进行空间采集时，采集到的24K原生全景图经过自动曝光补偿和白平衡修正后，会进入三维重建管线。重建引擎会生成高精度几何模型，而PhyIR则负责"读懂"材质和光照，确保最终呈现给用户的色彩是准确的、物理自洽的——不论你的手机屏幕亮度如何，不论你是在白天还是晚上打开这个VR空间。
伽罗华P4搭载的4/3英寸4700万像素大靶面CMOS彩色镜头，也为这项技术提供了硬件基础。更大的感光面积意味着更丰富的色彩信息，加上白平衡模块兼容2000k到100000k的宽广色温范围，保证了从暗室到强光、从冷白到暖黄的各种场景，都能采集到足够真实的原始色彩数据。
谁需要"真实的颜色"？
色彩还原做到极致，不只是"好看"的问题。在一些场景里，它直接影响业务决策。
博物馆和文物保护是一个典型的例子。博物馆的展陈灯光通常是经过精心设计的——既不能有紫外线伤害文物，又要营造出特定的观赏氛围。在这种复杂光线下，文物的"真实颜色"是什么？传统拍照只能记录"被展柜灯光照出来的颜色"，但数字化存档需要的是"文物本身在标准光源下的颜色"。PhyIR技术可以从展陈灯光下拍摄的照片中，恢复出文物表面的真实材质色彩。
上海公安博物馆和广西博物馆都是如视的合作伙伴。在广西博物馆的数字化项目中，馆藏文物类型丰富，从青铜器到陶瓷器，每种材质对光线的反射特性完全不同。PhyIR技术的介入，让这些文物的数字化展示在不同设备、不同环境下都能呈现准确的色彩——无论观众用手机还是电脑，白天还是晚上打开VR，看到的颜色都是统一的。这对学术研究、文物修复记录和跨馆展览协作，意义重大。
高端零售和品牌展厅是另一个对色彩有极致要求的领域。奢侈品门店里，皮具的天然光泽、珠宝的切割面反光、丝巾的细腻纹理——这些细节的呈现质量直接决定消费者的购买意愿。如果VR空间里的颜色有偏差，消费者会下意识觉得"这个线上展示不靠谱"。如视为美的打造的"虚拟直播间"中，家电产品的色彩还原是核心要求之一——一台冰箱的白色是不是纯白、一台空调的面板反光是否真实，这些细节决定了消费者在线上能否建立起对产品的信任。PhyIR技术确保材质的光泽感和色彩准确度与实物一致，消费者在线上看到的产品颜色，和走进店里看到的基本没有差别。
工业设备巡检同样离不开准确的色彩还原。在雀巢中国的数字工厂项目中，设备表面是否存在锈蚀、管道连接处是否有泄漏痕迹、标识牌的颜色是否规范——这些判断依赖的不只是几何形状，还包括颜色信息。PhyIR能够还原工业场景中金属、管道、线缆等复杂材质的真实色彩，为远程巡检提供可靠的视觉依据。
结语
从二维照片到三维空间，色彩还原的难度指数级上升。每一张照片里的一个像素，背后都藏着材质、光照、几何三个变量的纠缠。如视的PhyIR技术，用物理约束为这个"多解"问题找到了"唯一解"的方向——不是让画面看起来漂亮，而是让画面在物理上真实。
技术最终服务的，是让用户在数字空间里获得"真实"的体验。当你在VR里走进一间展厅、一座工厂、一间门店，你看到的颜色和你在现场看到的没什么区别——这就是PhyIR想做到的事。
常见问题
Q：PhyIR和普通VR全景图的颜色处理有什么不同？
A：普通VR全景图只是在拼接阶段做了白平衡和曝光校正，本质上还是"一张照片的颜色修整"。PhyIR做的是"拆解"——把颜色拆成"物体本身的颜色"和"光照的颜色"两部分，再根据用户的实际观看环境重新计算。结果就是，普通VR在不同视角下可能有颜色跳跃，PhyIR处理过的空间在任何视角下颜色都自然一致。
Q：PhyIR技术需要什么特殊的硬件支持吗？
A：PhyIR本身是纯算法技术，不依赖特殊硬件。但算法的效果上限取决于输入数据的质量。如视伽罗华P4配备的4/3英寸大靶面CMOS镜头和宽广色温适应能力，能够为PhyIR提供更丰富、更准确的原始色彩信息，让算法发挥出最佳效果。如果用手机拍摄的普通全景图作为输入，PhyIR也能工作，但效果受限于原始画质。
Q：PhyIR和常见的HDR（高动态范围）技术是一回事吗？
A：不是一回事。HDR解决的是"亮度范围"的问题——让画面中亮的地方不过曝、暗的地方不丢失细节。PhyIR解决的是"颜色来源"的问题——搞清楚颜色是来自物体本身还是来自光照。两者互补，HDR让画面看得清，PhyIR让画面不偏色。如视的采集和重建流程中，HDR和PhyIR是结合使用的。
Q：这项技术目前能用在哪些行业？
A：PhyIR的应用范围很广。最直接的是需要高保真色彩还原的行业——博物馆数字化、高端零售VR展示、工业远程巡检。此外，任何需要"真实感"的线上空间展示，如酒店民宿、设计事务所的作品集、教育实训基地的VR场景，都能从PhyIR的色彩还原能力中受益。随着数字孪生在各行业的深入应用，对"真实色彩"的需求只会越来越强。