(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111635965.4 (22)申请日 2021.12.3 0 (65)同一申请的已公布的文献号 申请公布号 CN 114003190 A (43)申请公布日 2022.02.01 (73)专利权人 江苏移动信息系统集成有限公司 地址 210000 江苏省南京市虎 踞路59号 (72)发明人 李婕　吴利航　孙迎春　董陵　 曾琦娟　王剑辉　 (74)专利代理 机构 南京泰普专利代理事务所 (普通合伙) 32360 代理人 方晓雯 (51)Int.Cl. G06F 3/14(2006.01) G06V 20/20(2022.01)G06V 10/82(2022.01) G06N 3/08(2006.01) G06T 19/00(2011.01) H04N 13/128(2018.01) H04N 13/194(2018.01) (56)对比文件 EP 2355442 A1,201 1.08.10 CN 110598139 A,2019.12.20 CN 110598139 A,2019.12.20 WO 2017107 758 A1,2017.0 6.29 US 2020394819 A1,2020.12.17 CN 10871264 4 A,2018.10.26 佚名. 《MEC系统与5G网络的关系介绍》 . 《http://www.elecfans.com/to ngxin/ 201909051066097.html》 .2019, 审查员 陈雪梅 (54)发明名称 一种适应多场景和多设备的增强现实方法 和装置 (57)摘要 本发明提出了一种适应多场景和多设备的 增强现实方法和装置， 其中方法具体包括： 步骤 一、 通过信息采集设备采集实际应用场景中的原 始图像信息； 步骤二、 通过适配器将所述原始图 像信息传输中云端处理单元进行数据处理； 步骤 三、 云端处理单元通过数据传输通道将处理后的 图像信息回传至适配器中； 步骤四、 适配器将接 收到的回传数据通过数据传输通道传输给AR设 备终端进行现实世界与虚拟世界的图像数据融 合； 步骤五、 对融合后的图像数据进行可视化的 呈现。 通过将多个深度学习算法整合到一个装置 内， 增强对不同场景的适应能力， 实现用户体验 的提升。 另外， 利用5G技术， 将深度学习算法同AR 技术融合， 让AR技术摆脱设备限制的同时获得更 好的体验。 权利要求书3页 说明书8页 附图3页 CN 114003190 B 2022.04.01 CN 114003190 B 1.一种适应多场景和多设备的增强现实方法， 其特 征在于， 具体包括以下步骤： 步骤一、 通过信息采集设备采集实际应用场景中的原 始图像信息； 步骤二、 通过适配 器将所述原 始图像信息传输中云端处 理单元进行数据处理； 步骤三、 云端处 理单元通过数据传输通道将处 理后的图像信息回传至适配 器中； 步骤四、 适配器将接收到的回传数据通过数据传输通道传输给AR设备终端进行现实世 界与虚拟世界的图像数据融合； 步骤五、 对融合后的图像数据进行 可视化的呈现； 其中， 整体实现过程采用分布式布局实现， 通过划分边缘处理端和云端运算的实现过 程， 减轻边缘处理端的运算压力； 所述云端处理单元支持部署在云计算的虚拟机上， 也支持 部署在有GPU能力的硬件服 务器上； 云端处理单元中将后台管理服务器、 资源分配服务器放在了核心网一端； 将具备渲染 能力及编解码能力的应用服 务器放在了边 缘节点一端， 使其更贴近用户侧， 用于降低时延； 云端处理单元进行数据处理时， 采用深度 学习模型对获取到图像数据进行目标部位检 测和识别， 具体过程包括： 步骤2.1、 获取原 始图像数据； 步骤2.2、 对图像数据中的移动物体进行位移估计； 步骤2.3、 基于位移估计的结果进行位移补偿； 步骤2.4、 结合 位移补偿后的图像数据和当前图像数据帧的变化确定候选目标； 步骤2.5、 基于候选目标确定目标区域； 步骤2.6、 结合选定区域和原始图像数据的预处理结果， 对目标进行识别分类， 进而获 取最终的目标检测结果； 在深度学习模型中， 采用添加残差块的方式构成特征提取主干网络， 用于克服训练过 程中的过拟合问题； 在基于位移估计的结果进行位移补偿时， 采用异常值过滤的方式提高位移估计值的准 确度； 具体的， 异常值过 滤的方式为： 步骤2.3.1、 从所有原 始数据中随机 选取一个最小子集； 步骤2.3.2、 基于这个子集拟合成一个模型； 步骤2.3.3、 根据上一步求解出的模型去判断所有数据， 将数据分为外点和内点， 如果 内点太少， 则跳转至步骤2.3.1； 步骤2.3.4、 根据划分出的所有内点， 重新拟合模型； 步骤2.3.5、 根据最 新拟合出的模型， 判断内外点数目； 步骤2.3.6、 根据判断结果跳转至对应步骤并完成异常值的过滤； 所述判断结果包括： 如果达到最终要求， 则跳出循环； 如果内点太少， 则跳转至步骤2.3.1； 如果内点数目有增加 但是还没有达 到最终要求， 则跳转至步骤2.3.2； 适配器通过数据传输通道与AR设备进行数据传输， 并通过临时存储单元存储从云端和 AR设备终端传输过来的图像数据， 在数据进行传输的过程中， 采用混合加密的报文认证方 式进行认证。 2.根据权利要求1所述的一种适应多场景和多设备的增强现实方法， 其特征在于， 在采 用分布式布局实现整体分析的过程中， 进一 步为：权　利　要　求　书 1/3 页 2 CN 114003190 B 2采用基于5G架构的MEC服务器部署模式， 通过计算和渲染将实时运行结果回传到用户 一体机上； 另外， 云端处理单元在MEC架构中， 属于MEC应用层， 提供云AR渲染及编解码能力， 是基 于虚拟化平台进行部署和搭建的， 与M EC平台架构中的功能组件层提供网络 接口层服 务； 其中所述M EC表示多接入边 缘计算。 3.根据权利要求1所述的一种适应多场景和多设备的增强现实方法， 其特征在于， 所述 云端处理单元对AR设备终端传输过来的数据进 行图像数据处理 时， 采用的算法单元包含至 少两种深度学习的运 算算法， 不同的算法调用根据不同需求进行选择； 进一步的， 基于预设数值设定高分辨率、 低分辨率、 高帧率、 低帧率， 对应算法选择的条 件为： 在网络环境良好且AR设备终端硬件支持的场景 下， 选用高分辨 率、 高帧率 算法； 在网络环境良好， 同时对图像精度要求高的场景 下， 选用高分辨 率、 低帧率 算法； 在网络环境或硬件设备不支持的场景 下， 选用低分辨 率算法； 若对时延要求极低的场景， 选用低分辨 率、 高帧率的算法。 4.根据权利要求1所述的一种适应多场景和多设备的增强现实方法， 其特征在于， 所述 云端处理单元对AR设备终端传输过来的数据进行图像数据处 理时， 进一 步为： 步骤1、 通过 预先训练的深度学习模型对图像信息进行目标部位检测 和识别； 步骤2、 通过深度学习模型提取图像的特 征点； 步骤3、 将提取的特 征点和识别目标的特 征点匹配， 对检测到的目标进行 标记； 步骤4、 标记目标的三维姿态估计， 根据识别目标的特征点、 图像的特征点和摄像装置 的参数， 计算摄 像装置姿态和标记目标的变换矩阵， 从而确定标记的三维坐标； 步骤5、 在云端处理单元进行虚拟场景渲染， 并渲染结果画面传回用户终端， 所传回虚 拟场景和图像标记的三维坐标对齐， 实现虚拟和现实场景的融合。 5.根据权利要求4所述的一种适应多场景和多设备的增强现实方法， 其特征在于， 所述 深度学习模型对获取到图像数据进行目标部位检测 和识别的过程进一 步包括： 获取原始图像数据； 对图像数据中的移动物体进行位移估计； 基于位移估计的结果进行位移补偿； 结合位移补偿后的图像数据和当前图像数据帧的变化确定候选目标； 基于候选目标确定目标区域； 结合选定区域和原始图像数据的预处理结果， 对目标进行识别分类， 进而获取最终的 目标检测结果。 6.一种适应多场景和多设备的增强现实装置， 用于实现权利要求1 ‑5任意一项增强现 实方法， 该装置具体包括： AR设备终端、 被设置为 根据获取到真实场景 数据信息， 完成虚实结合场景的交 互操作； 云端处理单元、 被设置为接收AR设备终端获取到的真实场景数据信息， 并进行数据分 析 适配器、 被设置为与AR设备终端， 用于根据需求 转换信号并进行 数据传输 。 7.根据权利要求6所述的一种适应多场景和多设备的增强现实装置， 其特 征在于，权　利　要　求　书 2/3 页 3 CN 114003190 B 3