(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111659386.3 (22)申请日 2021.12.3 0 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市钱塘新区白杨 街道2号大街1 158号 (72)发明人 吴向阳　朱威特　 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06F 8/34(2018.01) G06F 3/0486(2013.01) G06F 11/36(2006.01) (54)发明名称 一种拖拽式PyTorch神经网络模型可视化系 统 (57)摘要 本发明公开了一种拖拽式搭建及调试 PyTorch神经网络模型的可视化系统。 首先， 本发 明通过系统的模型构建页面拖拽工具栏中的网 络层和模块栏中的局部模块构建模型； 然后， 根 据模型结构数据以及模块内结构数据， 生成具体 模块信息； 接着， 对模块以及模块内节点排序， 按 排序结果逐个生成模块以及网络层； 最后， 模型 训练数据呈现在调试页面， 通过修改超参数和修 剪模型干预训练， 结构模块分析模型结构， 性能 模块观察模 型训练过程中准确度和损失值变化， 剪枝模块修剪卷积通道， 历史模块对模型采用多 种策略反复调试， 对比模块比较不同调试策略对 模型的影 响， 测试模块分析当前模 型在测试数据 上的准确性。 权利要求书1页 说明书6页 附图5页 CN 114897153 A 2022.08.12 CN 114897153 A 1.一种拖拽式PyTorch神经网络模型可视化系统， 其特征在于， 包括： 模型局部模块、 整 体构建模块、 PyTorc h数据生成模块和调试模块； 模型局部模块和整体构建模块用于模型局部模块及整体的构建； 用户在模型构建页面 拖拽工具栏中的网络层以及模块栏中的局部模块到主页面， 在弹出窗口中设置网络层参 数， 设置主页面内网络层之间连接关系， 结构保存为 新的局部模块或者作为完整模型； PyTorch数据生成模块用于在服 务端按照以下步骤生成模型 结构数据文件； 步骤1， 系统深度优先遍历模型 结构节点， 为模块节点 生成对应的结构数据； 步骤2， 服务端生成PyTorch深度学习模型； 系统根据模块uid对模块排序， 按照顺序逐 个生成模块， 步骤3， 模型生成后进入训练状态； 调试模块， 用于调试PyTorch数据 生成模块生成的模型， 包括： 剪枝模块、 历史模块和对 比模块； 系统跳转到模型调试页面， 调试页面展示模型训练过程中准确度以及损失值变化 曲线， 提供超参数设置工具栏以及模型剪枝模块干预训练过程， 历史模块保存用户调 试历 史,对比模块比较不同调试 策略下模型训练情况。 2.根据权利要求1所述的一种拖拽式PyTorch神经网络模型可视化系 统， 其特征在于， 所述整体构建模块中， 所述的网络层及模型局部模块以矩形节点展示， 拖拽网络层及模型 局部模块时， 系统生成uid作为节点的识别标志； 局部模块及完整模型中需要包含一个 “input”层和一个“output”层分别作为结构的输入口和输出口。 3.根据权利要求1所述的一种拖拽式PyTorch神经网络模型可视化系 统， 其特征在于， 所述步骤1， 深度优先遍历模型结构节点方法中， 模型结构包含网络层节点和模块节点， 遍 历到模块节点时， 对相应的模块结构数据遍历， 同时使用 “/”作为连接符号， 将模块节 点uid 和模块内部节 点原uid拼接生 成新uid， 遍历结束后生 成新的结构数据加入到模块字典， key 值为模块节点名， value值 为模块的数据结构。 4.根据权利要求3所述的一种拖拽式PyTorch神经网络模型可视化系 统， 其特征在于， 所述步骤2 中按模块uid对模块排序， 模块uid按 “/”分割， 根据分割后生成的数组长度对模 块降序排序， 系统按照排序结果逐个生成模块， 生成的模块存入模块字典中， key值为模块 uid， value为 生成完毕的模块； 所述的生成模块， 将模块内节点按输入关系拓扑排序， 按照拓扑顺序生成网络层或模 块， 遇见模块节 点时， 根据模块节点uid从模块字典 中取出相应模块； 模块全部生成结束后， 遍历模型 结构数据生成最终模型。 5.根据权利要求1所述的一种拖拽式PyTorch神经网络模型可视化系 统， 其特征在于， 所述调试模块还包括： 性能模块、 模型结构模块和测试模块； 性能模块显示模型训练过程中 准确度和损失值的变化曲线； 历史模块为树形视图， 提供了迭代模型调试过程的概述， 树的 每个分支都链接了来自调试过程的一系列中间模型； 对比模块比较来自不同调试策略下模 型的性能变化 曲线； 模型结构模块以流程图显示模型结构； 剪枝模块使用两种 方式计算卷 积层通道重要， 以散点图显示， 通过刷子选取卷积通道进行剪枝； 测试模块分析当前模型在 测试数据上的准确性。权　利　要　求　书 1/1 页 2 CN 114897153 A 2一种拖拽式PyTorch神经 网络模型可视化系统 技术领域 [0001]本发明涉及机器学习领域， 尤其涉及一种拖拽式搭建及调试PyTorch神 经网络模 型的可视化系统。 背景技术 [0002]深度学习已经被广泛应用到很多领域， 例如图像分类， 语音识别以及自然语言处 理等， 并且都取 得了很好的效果， 在某些 领域已经达 到甚至超 越了人类的表现。 [0003]然而深度学习的理解及研究并不容易， 有很高的入门条件。 以代码形式展现的深 度学习模型有着较低的可理解性， 模型规模越大模型可理解性越来越低， 虽然有 Tensorboard、 Netron等框架能够在事后可视化模 型结构， 然而在编写模型代码过程中对 结 构的理解依旧存在着难题。 同时， 由于模型行为的不透明性， 模型的调试往往是一个极度依 赖经验的过程。 目前有很多深度学习相关书 籍， 入门者仍然很难清晰了解其过程。 且当前深 度学习网络模型层出不穷， 面临着模型结构复杂、 参数量级高、 测试数据量大等难题， 在一 定程度上限制了深度学习方法的快速推广。 发明内容 [0004]本发明的目的在 于提供一种拖拽式搭建及调试PyTorch神经 网络模型的可视化系 统， 该系统方便用户交互式手动拖拽模块搭建神经网络以及反 复测试调试方案以选取较优 方法修剪模型及调整训练超参数。 技 术方案如下： [0005]一种拖拽式PyTorch神经网络模型可视化系统， 包括： 模型局部模块、 整体构建模 块、 PyTorc h数据生成模块和调试模块； [0006]模型局部模块和整体构建模块用于模型局部模块及整体的构建； 用户在模型构建 页面拖拽工具栏中的网络层以及模块栏中的局部模块到主页面， 在弹出窗口中设置网络层 参数， 设置主页面内网络层之间连接关系， 结构保存为 新的局部模块或者作为完整模型； [0007]PyTorch数据生成模块用于在服务端按照以下步骤生成模型结构数据文件； 步骤 1， 系统深度优先遍历模型 结构节点， 为模块节点 生成对应的结构数据； [0008]步骤2， 服务端生成PyTorch深度学习模型； 系统根据模块uid对模块排序， 按照顺 序逐个生成模块， [0009]步骤3， 模型生成后进入训练状态； [0010]调试模块， 用于调试PyTorch数据生成模块生成的模型， 包括： 剪枝模块、 历史模块 和对比模块； 系统跳转到模型调试页面， 调试页面展示模型训练过程中准确度以及损失值 变化曲线， 提供超参数设置工具栏以及模型剪枝模块干预训练过程， 历史模块保存用户调 试历史,对比模块比较不同调试 策略下模型训练情况。 [0011]作为优选， 所述整体构建模块中， 所述的网络层及模型局部模块以矩形节点展示， 拖拽网络层及 模型局部模块时， 系统生 成uid作为节 点的识别标志； 局部模块及完整模型中 需要包含一个“input”层和一个“output”层分别作为结构的输入口和输出口。说　明　书 1/6 页 3 CN 114897153 A 3