(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211300249.5 (22)申请日 2022.10.24 (71)申请人 之江实验室 地址 311121 浙江省杭州市余杭区之江实 验室南湖总部 (72)发明人 杨坤　乔波　杨文珍　姚帅　 栾俊达　李南阳　方世世　 (74)专利代理 机构 北京志霖恒远知识产权代理 有限公司 1 1435 专利代理师 戴莉 (51)Int.Cl. G06F 16/951(2019.01) G06F 16/953(2019.01) G06K 7/10(2006.01) G06K 17/00(2006.01)H04L 67/12(2022.01) G01G 19/00(2006.01) (54)发明名称 一种产品信息多 模态融合再现装置及方法 (57)摘要 本发明实施例提供一种产品信息多模态融 合再现装置及方法， 包括产品信息扫码装置和多 模态融合再现装置， 所述产品信息扫码装置用于 完成盒装产品任意面的条形码的扫描以及称重 计量， 并将扫描所得信息和计量信息传输给所述 多模态融合再现装置， 所述多模态融合再现装置 包括信息识别模块、 检索模块、 网上检索模块、 信 息云平台、 用药监控模块、 信息转化模块， 实现对 产品信息的听觉和触觉的多融合再现， 以及对药 品的用量监控； 将服药时间差以及产品详细信息 通过盲文、 语音、 图文转化模块进行转化并播报 和显示， 实现了产品触觉、 音频和图文信息综合 展示， 便于视弱人士、 全盲人士、 聋盲症人士等各 种视障人士使用。 权利要求书2页 说明书6页 附图5页 CN 115374333 A 2022.11.22 CN 115374333 A 1.一种产品信息多模态融合再现装置， 其特征在于： 包括产品信息扫码装置和多模态 融合再现装置， 所述产品信息扫码装置用于完成盒装产品任意面的条形码的扫描以及称重 计量， 并将扫描所得信息和计量信息传输给所述多模态融合再现装置， 所述多模态融合再 现装置包括信息识别模块、 检索模块、 网上检索 模块、 信息 云平台、 用药监控模块、 信息转化 模块， 实现对产品信息的听觉和触觉的多融合再现， 以及对药品的用量 监控； 信息云平台： 用于储 存产品基础信息和详细信息； 信息识别模块： 连接产品信息扫码装置与检索模块、 用药监控模块， 用于对扫描信 息进 行甄别、 判断和基础信息的提取； 检索模块： 连接信息识别模块和信息云平台， 用于检索信息云平台中是否存储有相同 的基础信息； 网上检索模块： 连接信息云平台， 用于对基础信息进行检索， 得到产品的详细信息； 用药监控模块： 连接信息识别模块与信息云平台， 用于存储产品的质量与时间标记信 息组， 并计算判定有效服药时间； 信息转化模块： 用于将详细信息及服药时间信 息转化为语音、 盲文、 图文并进行播报和 显示。 2.如权利要求1所述的一种产品信 息多模态融合再现装置， 其特征在于： 所述产品信 息 扫码装置包括外壳(1)、 支撑板(2)、 旋转平台组件(3)和扫描组件(4)， 所述支撑板上转动设 有旋转平台组件(3)、 所述旋转平台组件(3)包括全透明的盛放框(31)， 所述盛放框(31)内 设有称重计量模块(37)， 所述外壳(1)内设有绕所述旋转平台组件(3)转动的扫描组件(4)， 所述扫描组件(4)包括扫描支撑架(4 4)， 所述扫描支撑架(4 4)上安装有扫描模块(45)。 3.如权利要求2所述的一种产品信 息多模态融合再现装置， 其特征在于： 所述支撑板上 安装有旋转驱动电机(35)和 滚珠轴承(33)， 所述滚珠轴承(33)上安装有环状齿轮(32)， 所 述旋转驱动电机(35)输出轴固定设有驱动齿轮(34)， 所述驱动齿轮(34)与所述环状齿轮 (32)啮合连接， 所述环状齿轮(32)上固定安装所述盛放框(31)。 4.如权利要求2所述的一种产品信 息多模态融合再现装置， 其特征在于： 所述盛放框 内 壁固定安装所述称重计量模块(37)， 所述盛放框(31)底部设有透明盛放板(36)， 所述透明 盛放板(3 6)与固定连接在称重计量模块(37)测量端。 5.如权利要求2所述的一种产品信 息多模态融合再现装置， 其特征在于： 所述扫描支撑 架(44)转动设在所述外壳(1)内， 所述扫描支撑架(44)的转动轴上固定设有扫描配合齿轮 (43)， 所述外壳(1)上固定安装有扫描驱动电机(41)， 所述扫描驱动电机(41)输出轴固定设 有与扫描配合齿轮(43)啮合连接的扫描驱动齿轮(42)。 6.如权利要求2所述的一种产品信息多模态融合再现装置， 其特征在于： 所述支撑板 (2)靠近所述扫描组件一侧设置有中空部分(21)， 所述支撑板(2)上旋转平 台组件(3)底部 设有扫描窗口(2 2)。 7.一种产品信息多模态融合再现方法， 其特 征在于： 包括如下步骤： 步骤1、 将盒装药品放入盒装产品信息扫码装置， 对药品进行信息扫描以及称重计量， 将条形码信息和质量信息 输入多模态融合再现装置； 步骤2、 对药品信 息进行信息识别并提取基础信息， 判断信 息云平台中是否存在相同基 础信息， 若不存在， 执 行步骤3； 若存在， 执 行步骤5；权　利　要　求　书 1/2 页 2 CN 115374333 A 2步骤3、 对基础信息进行检索， 得到产品的详细信息； 步骤4、 将产品详细信息与基础信息进行匹配， 并存 储在信息云平台 中； 步骤5、 将步骤1中得到的产品对应的质量信息储存在用药监控模块中， 并对所述质量 信息进行时间标记； 步骤6、 对比用药监控模块中之前储存的质量信息和对应的时间信 息， 计算得到目前时 间与上次服药时间的时间差， 并将时间差信息送入信息云平台 中存储； 步骤7、 将时间差信息和产品的详细信息 输入语音转 化模块、 盲 文转化模块进行转 化； 步骤8、 播报以及盲 文显示产品的详细信息和距离上次服药的时间差 。 8.如权利要求7所述的一种产品信 息多模态融合再现方法， 其特征在于： 所述条形码信 息包括GS ‑1编码、 国家药品电子监管码、 厂家公众号信息； 所述基础信息包括产品名称、 产 品型号、 厂家； 所述产品详细信息包括产品名称、 产品用量说明、 特别注意事项。 9.如权利要求7所述的一种产品信息多模态融合再现方法， 其特征在于： 所述步骤3具 体为： 通过网上检索模块依次检索中国医药信息查询平台、 国家药监局、 厂商官网、 搜索引 擎方式， 获取产品的详细信息 。 10.如权利要求7所述的一种产品信 息多模态融合再现方法， 其特征在于： 所述步骤6的 具体子步骤如下： 步骤6.1： 根据详细信息中药品用量设置质量区间值； 步骤6.2： 提取储存在用药监控模块中前一 时间的质量信息， 并与当前时间标记对应的 质量信息作差； 步骤6.3： 若差值在质量区间值内， 表示前一时间已正常服用药品， 标记此时时间为上 一次服药时间， 执行步骤6.5； 若差值不在质量区间内， 表 示前一时间并未服用药品， 执行步 骤6.4； 步骤6.4： 将用药监控模块中前一 时间的质量信息删除， 并提取用药监控模块中更早一 次时间的质量信息与前时间标记对应的质量信息作差， 直至选取的时间标记对应的质量时 间与当前时间标记对应的质量信息差值在质量区间值内， 标记选取的时间为上一次服药时 间； 步骤6.5： 计算上一次服药时间与当前时间的时间差， 将时间差信息送入信息云平台中 存储。权　利　要　求　书 2/2 页 3 CN 115374333 A 3