混合现实解读

虚拟现实（MR， Mixed Reality）在沉浸式真实感混合现实领域发挥重要作用，它通过计算机技术将虚拟的信息叠加到现实中，实现内容、空间几何、时间、光照等多个层面的融合，提升人的感官体验。虚拟物品合成需要做到几何和光照一致性，几何一致性用以保证虚拟物体与真实世界保持空间几何的一致，符合正确的透过关系、遮挡关系，光照一致性要求虚拟物品具有与真实场景相似的光照环境，产生正确的着色效果，并在真实场景中投下符合光照的阴影。

为了保证几何一致性，利用三维扫描设备对室内场景进行三维重建，构建以房源中心为原点的世界坐标系，通过AI摆放技术在不同的房间摆放虚拟家具，将虚拟家具从模型坐标系转换到世界坐标系下，结合室内场景位置已知的相机，使得虚拟物品在场景中具有符合真实效果的尺度和透视关系。

室内场景光源除了太阳与天空光源外，还包括吸顶灯、射灯等灯人工光源，由于室内场景墙面和门的遮挡关系使得光源的可见性更加复杂。为了保证光照一致性，我们利用不同位置采集的HDR全景图和三维几何信息，计算虚拟物品摆放位置处的精确局部光照，即IBL（Iamge based lighting）光照。

MR虚拟家具摆放效果如图所示：