(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111552530.3 (22)申请日 2021.12.17 (71)申请人 澜途集思生态科技 集团有限公司 地址 100000 北京市海淀区蓝靛厂东路2号 院金源时代商务中心 2号楼A座6D (72)发明人 任南琪　王爱杰　王旭　路璐　 冯骁驰　 (74)专利代理 机构 北京市京师律师事务所 11665 代理人 黄熊 (51)Int.Cl. G06F 30/28(2020.01) G06F 30/27(2020.01) G06F 16/13(2019.01) G06F 16/182(2019.01)G06F 111/02(2020.01) G06F 113/08(2020.01) G06F 119/14(2020.01) (54)发明名称 一种基于Apache Spark的分布式流体动力 学计算方法 (57)摘要 本发明公开了一种基于Apache  Spark的分 布式流体动力学计算方法， 包括如下步骤： 接收 特定流域所产生的流体数据， 使用分布式收集实 时采集的流体数据， 采用开源的Apache  Hadoop 分布式文件系统来存储数据； 使用Spark来提供 高效的大规模分析计算； 数据以一定的方式进行 索引分组， 依次序和层级进行， 以提升查询效率； 利用Apache  Spark框架对流体数据训练子卷积 神经网络模型， 完成异常数据的检测； 构建流体 计算区域的物理数学模型， 物理数学模型包括全 耦合的流体力学控制方程、 固体力学控制方程、 网格移动方程及流固界面方程； 对物理数学模型 进行计算， 以获得最终流体参数。 本发明采用 Spark分布式计算处理数据， 保证数据处理快速 可靠， 增加计算能力， 扩展便捷， 计算效率高， 精 准度高。 权利要求书1页 说明书3页 附图1页 CN 114218876 A 2022.03.22 CN 114218876 A 1.一种基于Apac he Spark的分布式流体动力学计算方法， 其特 征在于， 包括如下步骤： S1接收特定流域所产生的流体数据， 使用分布式收集实时采集的流体数据， 采用开源 的Apache Hadoop分布式文件系统来存 储数据； S2使用Spark 来提供高效的大规模分析计算； S3数据以一定的方式进行索引分组， 依次序和层级 进行， 以提升查询效率； S4利用Apache  Spark框架对流体数据训练子卷积神经网络模型， 完成异常数据的检 测； S5构建流体计算区域的物理数学模型， 物理数学模型包括全耦合的流体力学控制方 程、 固体力学控制方程、 网格移动方程及流固界面方程； S6对物理数 学模型进行计算， 以获得最终流体参数。 2.根据权利要求1所述的一种基于Apache  Spark的分布式流体动力学计算方法， 其特 征在于， 所述步骤S5还可以对数据采进行定期清除处理， 支持分布式文件系统、 行式数据 库、 列式数据库及对象存 储系统存 储。 3.根据权利要求1所述的一种基于Apache  Spark的分布式流体动力学计算方法， 其特 征在于， 所述 步骤S1接收的流体数据还进行 数据预处 理， 对数据的关键内容进行泛化处 理。 4.根据权利要求1所述的一种基于Apache  Spark的分布式流体动力学计算方法， 其特 征在于， 所述步骤S1对于流体数据不存在物理删除的情况， 采用增量采集， 根据数据的更新 时间采集增量更新和新增的数据提升采集效率。 5.根据权利要求1所述的一种基于Apache  Spark的分布式流体动力学计算方法， 其特 征在于， 所述步骤S1对于流体数据有物理删除情况当业务数据不多考虑全量采集， 反之考 虑通过数据库binlog加消息通知实现数据采集， 最 终将数据存储在大数据的ODS层， 作为分 析源数据。 6.根据权利要求1所述的一种基于Apache  Spark的分布式流体动力学计算方法， 其特 征在于， 所述步骤S2还设置有数据处理系统， 数据处理系统采用Spark分布式计算引擎， 对 各原始数据首 先进行清洗 。 7.根据权利要求1所述的一种基于Apache  Spark的分布式流体动力学计算方法， 其特 征在于， 所述步骤S6之后采用HDFS分布式文件存储系统对数据参数进行存储， 采用基于 HDFS的HAW Q SQL查询引擎， 参数 结果集均保存在HDFS中， 提供实时查询。 8.根据权利要求1所述的一种基于Apache  Spark的分布式流体动力学计算方法， 其特 征在于， 所述步骤S6对物理数学模型进行迭代收敛计算， 同时获得计算区域的流体参数及 网格变化参数， 并根据网格 变化参数更新计算区域。权　利　要　求　书 1/1 页 2 CN 114218876 A 2一种基于Apache  Spark的分布式流体动力学计算方 法 技术领域 [0001]本发明涉及流体动力学技术领域， 尤其涉及一种基于Apache  Spark的分布式流体 动力学计算方法。 背景技术 [0002]随着计算机技术及大规模并行计算技术的迅猛发展， 计算流体力学已经成为一种 常用的流体力学研究方法， 在科学研究和工程应用领域具有非常广泛的应用。 然而， 流体流 动现象非常复杂， 求解流体流动的控制方程难度较高， 流体流场细节不足以满足相关的计 算要求， 计算效率 不高。 发明内容 [0003]基于背景技术存在的技术问题， 本发明提出了一种基于Apache  Spark的分布式流 体动力学计算方法。 [0004]本发明提出的一种基于Apache  Spark的分布式流体动力学计算方法， 包括如下步 骤： [0005]S1接收特定流域所产生的流体数据， 使用分布式收集实时采集的流体数据， 采用 开源的Apac he Hadoop分布式文件系统来存 储数据； [0006]S2使用Spark 来提供高效的大规模分析计算； [0007]S3数据以一定的方式进行索引分组， 依次序和层级 进行， 以提升查询效率； [0008]S4利用Apache  Spark框架对流体数据训练子卷积神经网络模型， 完 成异常数据的 检测； [0009]S5构建流体计算区域的物理数学模型， 物理数学模型包括全耦合的流体力学控制 方程、 固体力学控制方程、 网格移动方程及流固界面方程； [0010]S6对物理数 学模型进行计算， 以获得最终流体参数。 [0011]优选的， 所述步骤S5还可以对数据采进行定期清除处理， 支持分布式文件系统、 行 式数据库、 列式数据库及对象存 储系统存 储。 [0012]优选的， 所述步骤S1接收的流体数据还进行数据预处理， 对数据的关键内容进行 泛化处理。 [0013]优选的， 所述步骤S1对于流体数据不存在物理删除的情况， 采用增量采集， 根据数 据的更新时间采集增量更新和新增的数据提升采集效率。 [0014]优选的， 所述步骤S1对于流体数据有物理删 除情况当业务数据不多考虑全量采 集， 反之考虑通过数据库binlog加消息通知实现数据采集， 最终将数据存储在大数据的ODS 层， 作为分析源数据。 [0015]优选的， 所述步骤S2还设置有数据处理系统， 数据处理系统采用Spark分布式计算 引擎， 对各原 始数据首 先进行清洗 。 [0016]优选的， 所述步骤S6之后采用HDFS分布式文件存储系统对数据参数进行存储， 采说　明　书 1/3 页 3 CN 114218876 A 3