(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111673556.3 (22)申请日 2021.12.31 (71)申请人 西安交通大 学 地址 710049 陕西省西安市咸宁西路28号 (72)发明人 魏平　危文文　王帅杰　郑南宁　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 代理人 李鹏威 (51)Int.Cl. G06T 17/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于点云的3D场景图生成方法、 系统、 设备及可读存 储介质 (57)摘要 本发明公开了一种基于点云的3D场景图生 成方法、 系统、 设备及可读存储介质， 基于语义关 系和几何关系建立3D场景图数据集， 实现了点云 数据集在 物体关系的扩充， 然后从3D场景图数据 集中提取基础点云特征； 基于生成的基础点云特 征进行点 云目标检测生成3D边界框； 建立场景图 生成初始网络模 型， 采用基础点 云特征及对应生 成的3D边界框训练场景图生成初始网络模型直 至达到设定最大迭代次数， 得到端到端的3D场景 图生成模型， 将室内环境的原始数据整理为标准 的点云格式， 利用场景图生成 网络模型生成3D场 景图， 本发明能够有效地对3D场景中物 体间的关 系进行预测。 权利要求书2页 说明书7页 附图3页 CN 114266863 A 2022.04.01 CN 114266863 A 1.一种基于点云的3D场景图生成方法， 其特 征在于， 包括以下步骤： S1， 基于语义关系和几何关系建立3D场景图数据集； S2， 从3D场景图数据集中提取基础点云特 征； S3， 基于生成的基础点云特 征进行点云目标检测生成3D边界框； S4， 建立场景图生成初始网络模型， 采用基础点云特征及对应生成的3D边界框训练场 景图生成初始网络模型直至达到设定最大迭代次数， 得到场景图生成网络模型， 将室内环 境的原始数据整理为标准的点云格式， 利用场景图生成网络模型生成3D场景图。 2.根据权利要求1所述的一种基于点云的3D场景图生成方法， 其特征在于， 语义关系 包 括用于描述物体间的内在关系的identical、 same  set和part  of； 几何关系包括用于描述 物体间的相对位置关系的support、 on、 below、 above、 near、 beside、 pushedin、 pulled  out 和pulledin。 3.根据权利要求1所述的一种基于点云的3D场景图生成方法， 其特征在于， 采用最远点 采样算法对输入点云进行下采样， 然后使用最近邻算法检索以采样点为中心的其他点云从 而形成若干个点簇， 最后采用一组全连接层对点簇进行特征提取， 并将每个点簇提取得到 的特征作为其对应的采样点的特 征。 4.根据权利要求3所述的一种基于点云的3D场景图生成方法， 其特征在于， 采用距离反 比加权平均的KN N来进行特征内插， 其计算公式为： 其中d(·)为两点的欧式距离， f(j)(x)为点x的第j维特 征。 5.根据权利要求1所述的一种基于点云的3D场景图生成方法， 其特征在于， 采用八维向 量[cls,x,y,z,l,w,h, θ]来表征基于基础点云特征的物体的3D边界框， 其中cls为框的类 别， [x,y,z]为框的中心坐标， [l,w,h]为框的长、 宽、 高， θ 为框沿水平方向的转角。 6.根据权利要求1所述的一种基于点云的3D场景图生成方法， 其特征在于， 将基础点云 特征输入至投票模块， 投票模块预测每一点的坐标偏置Δxi和特征偏置Δ ai,最后输出g＝ {gi|gi＝[xi+Δxi； ai+Δai],i＝1,…,M}， 一个候选框生成模块将投票模块的输出进行聚 类， 并通过一组全 连接层得到初始的Q个候选框， 然后经过一个3D  NMS模块过滤掉重叠的候 选框， 最终得到所 预测的q个边界框 。 7.根据权利要求1所述的一种基于点云的3D场景图生成方法， 其特征在于， 以基础点云 特征和3D边界框的几何属性值为输入； 对每个3D边界框， 首先查询到所有在该边界框内部 的点， 然后将这些点按照它们到边界框中心的距离进行排序； 经过排序的点以及它们对应 的特征通过双向LSTM网络对点之间的上下文信息进行编码， 再经过一个2层的MLP 网络， 即 可得到最后的边界框Ro I特征。 8.一种基于点云的3D场景图生成系统， 其特 征在于， 包括： 数据处理模块， 用于基于语义关系和几何关系建立3D场景图数据集， 并从3D场景图数 据集中提取基础点云特 征， 基于生成的基础点云特 征进行点云目标检测生成3D边界框；权　利　要　求　书 1/2 页 2 CN 114266863 A 23D场景图生成模块， 用于根据基础点云特征及对应生成的3D边界框训练场景图生成初 始网络模型直至达到设定最大迭代次数， 得到场景图生成网络模型， 将室内环境的原始数 据整理为标准的点云格式， 利用场景图生成网络模型生成3D场景图。 9.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至7任 一项所述方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现权利要求1至7任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114266863 A 3