(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111648908.X (22)申请日 2021.12.3 0 (71)申请人 北京鹰之眼智能健康科技有限公司 地址 100097 北京市海淀区正福寺路10号 西区1幢1层3号 (72)发明人 李洪娟　王乐平　李丽单　常嘉　 (74)专利代理 机构 北京德崇智捷知识产权代理 有限公司 1 1467 代理人 邢飞飞 (51)Int.Cl. G16H 50/30(2018.01) G16H 50/20(2018.01) G06F 16/332(2019.01) G06T 7/00(2017.01) G06T 7/11(2017.01)G06V 10/46(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于头部图像对人体健康状态进行评估的 方法和装置 (57)摘要 本申请公开了一种基于头部图像对人体健 康状态进行评估的方法和装置， 包括： 确定目标 人体对象在同一检测时期的目标红外面诊图像、 目标可见光面诊图像以及目标舌诊图像； 分别提 取红外面诊图像特征数据、 可见光面诊图像特征 数据以及舌诊图像特征数据； 并分别输入训练得 到的红外面诊评估模型、 可见光面诊评估模型以 及舌诊评估模 型， 并输出针对目标人体对象 的红 外面诊结果、 可见光面诊结果以及舌诊结果； 基 于目标人体对象针对问诊库中预设问题输入的 答案确定问诊结果； 将红外面诊结果、 可见光面 诊结果、 舌诊结果以及问诊结果进行整合并提取 综合特征数据； 并输入训练得到的综合评估模 型， 输出四诊 合参评估结果。 从而， 提升健康评估 的准确性以及可靠性。 权利要求书3页 说明书10页 附图7页 CN 114334151 A 2022.04.12 CN 114334151 A 1.一种基于 头部图像对人体健康状态进行评估的方法， 其特 征在于， 包括： 确定目标人体对象在同一检测时期的目标红外面诊图像、 目标可见光面诊图像以及目 标舌诊图像； 分别对所述目标红外面诊图像、 目标可见光面诊图像以及目标舌诊图像进行图像处 理， 提取红外面诊图像特 征数据、 可见光面诊图像特 征数据以及舌诊图像特 征数据； 将所述红外面诊图像特征数据、 可见光面诊图像特征数据以及舌诊图像特征数据分别 输入训练得到的红外面诊评估模型、 可见光面诊评估模型以及舌诊评估模型， 并输出针对 所述目标 人体对象的红外面诊结果、 可 见光面诊结果以及舌诊结果； 基于所述目标 人体对象针对问诊库中预设问题输入的答案确定问诊结果； 将所述红外面诊结果、 可见光面诊结果、 舌诊结果以及 问诊结果进行整合并提取综合 特征数据； 将所述综合特征数据输入训练得到的综合评估模型， 输出针对所述目标人体对象的四 诊合参评估结果。 2.如权利要求1所述的基于头部图像对人体健康状态进行评估的方法， 其特征在于， 确 定目标人体对象在同一检测时期的目标 红外面诊图像、 目标可见光面诊图像以及目标舌诊 图像， 具体包括： 实时采集或从图像数据库中获取目标人体对象在同一检测时期的目标红外面诊图像、 目标可见光面诊图像以及目标舌诊图像。 3.如权利要求1或2所述的基于头部图像对人体健康状态进行评估的方法， 其特征在 于， 实时采集目标 人体对象的目标红外面诊图像， 具体包括： 实时分别从多个角度采集目标 人体对象的红外图像； 分别对采集的多个红外图像通过深度 学习神经网络算法进行头面部图像分割， 得到每 个红外图像的面部分区； 将面部分区重叠的每个红外图像对应的区域的温度加和求平均得到该重叠区域对应 的面部分区的第一温度； 将所述多个红外图像分割得到的所有重叠面部分区的第二温度以及所有不重叠面部 分区的第二温度投影到所述目标人体对象的三维头部图像模型上， 得到所述目标人体对象 的目标红外面诊图像； 其中， 在通过深度 学习神经网络算法进行头面部图像分割时， 设计神经网络算法模型， 选取UNet网络， 应用先编 码再解码结构形成像素级分割网络； 进 行数据清洗、 数据筛选并进 行数据标注， 用标注好的数据对模型进 行训练； 利用训练好对模型对目标 红外面诊图像、 目 标可见光面诊图像进行推理运 算， 得到头面部图像各个区域对分割结果。 4.如权利要求1或2所述的基于头部图像对人体健康状态进行评估的方法， 其特征在 于， 在确定目标人体对 象在同一检测时期的目标红外面诊图像、 目标可见光面诊图像以及 目标舌诊图像之后， 所述方法还 包括： 基于计算机自动识别以及全息技术， 将所述目标红外面诊图像、 目标可见光面诊图像 分别划分为预设功能 区域。 5.如权利要求1或2所述的基于头部图像对人体健康状态进行评估的方法， 其特征在 于， 所述红外面诊评估 模型通过以下 方式训练得到：权　利　要　求　书 1/3 页 2 CN 114334151 A 2获取第一样本数据集， 并对所述第一样本数据集中每个样本数据进行图像预处理操 作， 其中， 所述第一样本数据集包含多个人体对象的红外面诊图像， 且每个红外面诊图像均 标注有体质证候； 将进行图像预处理操作之后的第一样本数据集划分为第一训练集、 第一 验证集和第一测试集； 基于所述第一训练集中每个样本数据以及其中标注的体质证候， 对 所述待训练的神经网络模型中的参数进行调整， 得到训练后的第一神经网络模型； 分别基 于所述第一验证集和所述第一测试集对训练后的第一神经网络模型进 行处理后， 确定出最 优神经网络模型作为红外面诊评估 模型； 所述可见光面诊评估 模型通过以下 方式训练得到： 获取第二样本数据集， 并对所述第二样本数据集中每个样本数据进行图像预处理操 作， 其中， 所述第二样本数据集包含多个人体对象的可见光面诊图像， 且每个可见光面诊图 像均标注有体质证候； 将进行图像预处理操作之后的第二样本数据集划分为第二训练集、 第二验证集和 第二测试集； 基于所述第二训练集中每个样本数据以及其中标注的病灶的位 置， 对所述第二待训练的神经网络模型中的参数进行调整， 得到训练后的第二神经网络模 型； 分别基于所述第二验证集和所述第二测试集对训练后的第二神经网络模型进行处理 后， 确定出最优神经网络模型作为可 见光面诊评估 模型； 所述舌诊评估 模型通过以下 方式训练得到： 获取第三样本数据集， 并对所述第三样本数据集中每个样本数据进行图像预处理操 作， 其中， 所述第三样本数据集包含多个人体对象的舌诊图像， 且每个舌诊图像均标注有体 质证候； 将进行图像预处理操作之后的第三样本数据集划分为第三训练集、 第三验证集和 第三测试集； 基于所述第三训练集中每个样本数据以及其中标注的体质证候， 对所述第三 待训练的神经网络模型中的参数进行调整， 得到训练后的第三神经网络模型； 分别基于所 述第三验证集和所述第三测试集对训练后的第三神经网络模型进 行处理后， 确定出最优神 经网络模型作为 舌诊评估 模型。 6.如权利要求5所述的基于头部图像对人体健康状态进行评估的方法， 其特征在于， 将 所述红外面诊图像特征数据、 可见光面诊图像特征数据以及舌诊图像特征数据分别输入训 练得到的红外面诊评估模型、 可见光面诊评估模型以及舌诊评估模型， 并输出针对所述 目 标人体对象的红外面诊结果、 可 见光面诊结果以及舌诊结果， 具体包括： 将所述红外面诊图像特征数据输入所述红外面诊评估模型， 得到对应该目标红外面诊 图像的红外面诊结果， 其中， 所述红外面诊结果为能够反映目标人体对 象气血方面体质证 候的评估数据； 将所述可见光面诊图像特征数据输入所述可见光面诊评估模型， 得到对应该目标可见 光面诊图像的可见光面诊结果， 其中， 所述可见光面诊结果为能够反映目标人体对 象病灶 感染证候的评估数据； 将所述舌诊图像特征数据输入所述舌诊评估模型， 得到对应该目标舌诊图像的舌诊结 果， 其中， 所述 舌诊结果 为能够反映目标 人体对象舌象证候的评估数据。 7.如权利要求1所述的基于头部图像对人体健康状态进行评估的方法， 其特征在于， 将 所述红外面诊结果、 可见光面诊结果、 舌诊结果以及问诊结果进行整合并提取综合特征数 据， 具体包括： 根据所述目标人体对象的属性类别， 选择匹配的权重组， 对得到的各个结果进行整合权　利　要　求　书 2/3 页 3 CN 114334151 A 3