商汤科技SenseMARS火星混合现实平台，以更低成本、更易普及的AI视觉技术为核心，以高效低成本的方式实现室内外精准定位和AR导航。

商汤SenseMARS火星混合现实平台由浙江大学-商汤科技三维视觉联合实验室与商汤产品团队联合打造，具备专业级高精度三维数字化地图构建、跨平台和终端的空间感知计算、全场域厘米级的端云协同定位等空间定位和构建能力，并可支持Android/iOS/Web/小程序等系统平台，以及手机、平板电脑、AR/MR眼镜等多种终端设备，从而实现室内、室外等不同场景的AR/MR特效、导航和导览等功能。

虽然，自1967年卫星导航技术开放民用以来，经过50多年的发展，导航定位已经广泛应用于交通物流、地理信息、高精度测量等行业，提高了现代社会的运行效率，给个人生活和旅行带来了极大的便利。导航定位技术在室外场景中已经非常流行，但室内导航的应用还没有得到很好的发展。

一方面由于卫星信号的衰减，卫星导航定位在室内几乎毫无用武之地。另一方面，尽管基于蓝牙信标定位、Wi-Fi信号等专用设备的解决方案在一定程度上可以辅助室内导航定位，但却部署和维护成本高昂，不具备大规模推广的条件。

商汤科技SenseMARS火星混合现实平台基于视觉高精定位的AR导航

室内导航的难点在哪里？展览馆、博物馆、商场、交通枢纽等大型室内场景环境复杂，规模巨大，并存在很多无纹理空间区域和视觉歧义区域，地图数据的采集、制作及表达是一大难点。同时，伴随光照、视点变化，用户如何精准快速地实现重定位也是一项挑战。

稀疏点云地图构建采用运动恢复结构（Structure from Motion，简称SfM）技术。利用离线采集的视频或图片提取场景中的视觉特征，恢复图片的相机位姿和场景的稀疏三维点云，视觉特征和三维点云主要用于视觉重定位，而相机位姿可用来做进一步的稠密三维几何构建。

稀疏点云地图

稠密三维点云

以采集的视频或图片以及SfM恢复的相机位姿为输入，经过稠密深度估计、深度融合、网格构建和纹理贴图，最终输出场景的精细化稠密点云和带纹理的三维网格模型，这就是稠密三维几何构建。

得益于商汤在原创技术研发上的产学研优势，浙江大学-商汤三维视觉联合实验室研究团队经过两年多时间的技术攻关和打磨，提出基于单目/多目/全景相机、惯性测量单元、GPS等多源数据的采集方案和多源数据融合建图算法，实现了高效稳定的地图数据采集、重建和更新。

2万平米场景一般可在1小时内完成数据采集，6个小时左右完成三维重建和纹理贴图（单节点服务器上），重建精度可达厘米级。

重建的高精度三维网格可以用来正确处理虚拟物体和真实场景的遮挡以及碰撞关系，实现具有高度真实感的增强现实效果。 

大规模3D地图重建，SenseMARS生成的50万平方米杭州钱江世纪城园区地图。

高精度三维数字化模型和纹理贴图，SenseMARS生成的变压器三维模型

让机器输出准确匹配场景

有了地图数据之后，用户如何透过终端将导航指示箭头等虚拟内容无缝融合在现实场景中？

关键就在于实时、准确地获取用户的相机位姿，由视觉重定位和SLAM一起来实现。

视觉重定位以用户拍摄图像为输入，将图像中的特征与地图数据中的特征进行匹配，获取图像特征点和地图三维点的2D-3D对应关系，并计算图像相机位姿，在SLAM过程中帮助进行累积误差的矫正。

SenseMARS视觉定位技术在商超、展馆等典型室内场景成功率高于95%，结合SLAM 技术实现连续稳定的位姿跟踪，同时拓展地图未覆盖到的区域。

SLAM技术利用相机、IMU等常见的传感器信息可以实时计算出当前设备的6DoF位姿，保证图像上AR效果与真实环境的一致性、稳定性及贴合性。
再借助离线高精度地图和高精定位结果，就可以保证在大尺度场景下长时间的高精定位和跟踪。

此外，针对目前APP方案比较重且SLAM算法的机型覆盖率不足的问题，商汤同时提供了轻量级的Web SLAM能力，能够在H5和小程序中实时运行。
用户无需安装App只需简单扫描二维码，即可体验完整的室内外定位和AR导航导览能力。

基于以上这些技术，商汤SenseMARS平台可以支撑多种实际复杂场景中的高精度增强/混合现实需求。在GPS信号难以覆盖的区域，让用户可通过图像或视频实时准确地获取自身位置。

结合商汤SLAM技术还能以增强/混合现实的方式获取场景的额外信息如导航、导览、商家介绍等基于位置的内容增强，切身感受AR与生活场景的巧妙融合。