浅析AR技术及其产业发展策略.doc

《浅析AR技术及其产业发展策略.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、浅析AR技术及其产业发展策略　　去年苹果发布ARKit软件框架，以及今年发布ARKit2，这两次的发布对AR产业的发展将有很大的促进作用，值得我们保持很高的关注。　　　　从技术上来说，AR牵涉到的面很广，从传感器（视觉/IMU等）、手机/眼镜等硬件设备、软件框架SDK、内容生产工具（建模/渲染等）、各种交互技术（语音、视觉、触觉等）、AR云平台，以及基于云平台之上的地图、AI识别等技术，可以说是集各种先进技术于一体。　　苹果ARKit的软件框架，主要包含了三层，第一层主要是快速稳定的物理定位，包括实时运算、运动定位；第二层是让虚拟内容和现实环境的无缝衔接，包括平面和边界的感知；第

2、三部分是渲染。按照下图的软件架构，ARKit的工作流程为：　　1、ARSCNView加载场景SCNScene　　2、SCNScene启动相机ARCamera开始捕捉场景　　3、捕捉场景后ARSCNView开始将场景数据交给ARSession　　4、ARSession通过管理ARSessionConfiguration实现场景的追踪并且返回一个ARFrame　　5、给ARSCNView的scene添加一个子节点（3D物体模型）　　　　　　而在ARKit2上又增加了新的功能，包括满足多个设备同时显示同一个虚拟场景，满足多人合作游戏、工作的需求，以及统一的AR文件格式USDZ（类似于做

3、成PDF统一的格式）。在WWDC大会上还用AR演示了乐高模型，用iPad对准一个真实的乐高模型之后，它在屏幕中也变得“虚拟”了，用户可以打开模型的墙面看到里面的结构。这说明ARKit已经能支持识别、3D重建技术了。　　　　Google的ARCore从软件架构与原理上与ARKit类似，都允许使用手机摄像头，并能调整虚拟物体与物理世界的匹配，都支持Java/OpenGL，Unity和Unreal等。当然ARKit只支持苹果系列的产品，是相对封闭的，而Google是支持安卓系统的。由于不同厂商的手机型号兼容性问题，而AR是需要软硬件的紧密依赖，特别是在传感器端，需要Google做大量的

4、工作，所以从这个角度来看，苹果会走的更靠前。　　在传感器端，VIO（VisualInertialOdometry，视觉惯性测量系统）一直是关注重点。高通推出了针对VR/AR的专用芯片XR1，推出的VIO技术，用以追踪头部6-DOF（6自由度）运动，这个系统使用Hexagon682DSP来处理摄像头约30fps的视频流，同时使用始终唤醒（All-WaysAware）的DSP以800Hz或1000Hz的速率捕捉加速度计和陀螺仪的数据。将这些数据相结合，就能得到6自由度的位置信息。　　　　深度信息的提取对VIO是至关重要的，从传感器技术路线来说包含了ToF、结构光和双目，各技术路线都有

5、优缺点，但只有3D信息才能为AR带来更多的应用服务，包括视觉定位服务、跟踪、3D重建、交互等。深度视觉在手机的应用一直是个挑战，苹果IphoneX在前置端采用结构光，而Vivo的NEX在前置采用的是ToF。采用ToF的最大好处是不需要DOE，相比结构光整个硬件结构更为紧凑。据传下代苹果会推后置的ToF，那对AR的应用生态会带来很大的变化。　　　　　　　　　　　　目前市面上的大部分AR都没有对物理实体的3D重建，AR中的虚拟内容看起来仅仅是在镜头中现实物体的前面移动而已。但实际上3D重建（我的老本行，可惜荒废了）对AR来说具有重大的意义，3D重建系统能够找出场景中真实物体的形状和结

6、构，并且允许虚拟事物之间相互碰撞以及隐藏在真实世界的后面。3D重建通过从场景中获取的点云，然后将其转换为网格，并将隐形网格传递给Unity(连同真实世界的坐标)。之后将真实世界网格精准地放置在所捕获的场景上，这意味着虚拟事物似乎能够与现实世界互动。　　　　　　在3D重建之后，从语义上对3D场景的理解会非常有意思。有别于现在CV厂商做的二维图像识别，这是三维的世界（当然并不排斥在很多AR场景应用中，采用2D的识别技术来做），所以会围绕3D的数据建立新的知识图谱，这里面肯定需要大量AI技术的应用。　　目前传统的地图仍然存在着起点看不懂，转向难辩认的问题，AR地图则是很好的工具。目前国

7、内的AR导航，例如“随便走”，采用的是识别关键字标签+摄像头传感器+直观箭头指引，为用户指明方向。　　　　这种技术实际上还是比较初级的，其一是由于与传统地图GPS的简单映射，误差很大，其二是你无法知晓路上、建筑物、商场等的信息。英国的Blippar公司通过整合ARkitVIO和GPS，在图像的特征点提取匹配的基础上加上IMU，将里程计、光流和惯导做数据融合，实现更高精度的定位。利用类似于Google街景数据库的可视化数据，根据用户对周围环境的识别来确定用户的坐标位置。同时能够实现