中文题名: |
深度神经网络数据流图划分与优化策略研究 |
姓名: | |
学号: | 1049721701635 |
保密级别: | 公开 |
论文语种: | chi |
学科代码: | 083500 |
学科名称: | 软件工程 |
学生类型: | 硕士 |
学位: | 工学硕士 |
学校: | 武汉理工大学 |
院系: | |
专业: | |
研究方向: | 深度学习 |
第一导师姓名: | |
第一导师院系: | |
完成日期: | 2020-03-25 |
答辩日期: | 2020-05-21 |
中文关键词: | |
中文摘要: |
近年来,深度神经网络在众多行业得到了有效的应用。与此同时,随着神 经网络模型复杂度的增加,其参数量和计算量也变的越来越大。使用多台计算 设备并行计算神经网络是提高其应用时效性的主要手段,故一个理想的并行计 算策略将对神经网络的运算效率产生重要影响。“使用数据流图表示神经网络” 这一思想诞生以后,深度神经网络并行计算策略的搜索可以建模为数据流图的 划分问题。启发式图划分算法和强化学习技术是目前解决神经网络数据流图划 分问题的两种方法,其中,启发式算法的计算速度快,但是划分结果容易受到 初始解的扰动;强化学习的搜索结果较准确,但是其模型的训练成本较高。本 文根据两种方法的特点,将强化学习技术与启发式算法结合,通过对深度神经 网络数据流图的划分,为其生成了一个较理想的并行计算策略。具体工作内容 如下: (1)根据深度神经网络数据流图的特点,改进了图划分算法 Metis 本文首先对神经网络数据流图的结构特点进行了分析,然后根据 Metis 算 法,为数据流图制定了一个高效的划分方式;在此基础上,本文根据数据流图 在计算框架中的编译特点,改进了 Metis 算法中的权重计算方式,解决了数据流 图中具有内存复用和中间数据的顶点无法参与划分计算的问题。 (2)建立强化学习数学模型,减少 Metis 对初始解的依赖 Metis 是一种启发式算法,它的最终划分结果通过在一组初始分区上进行迭 代计算得到,一组不合适的初始分区会造成最终结果的不理想。本文将强化学 习与 Metis 算法结合,利用强化学习模型为 Metis 生成一个最优的初始分区,使 Metis 在数据流图的划分问题上有了更好的表现。 (3)为文中提出的“强化学习+Metis”模型,设计了一个高效的训练方法 “强化学习+Metis”模型在实际训练时,具有模型参数更新速度慢、收敛效 果不稳定等问题。为此,本文结合 PPO 算法,设计了一个训练策略,使模型在 该策略下具有了更高的训练效率。 |
参考文献: |
[1] 朱虎明,李佩,焦李成,等. 深度神经网络并行化研究综述[J]. 计算机学报,2018,41 (8):1861-1881. [2] 周志华. 机器学习[M]. 北京:清华大学出版社,2016:97-115. [3] 张军阳,王慧丽,郭阳,等. 深度学习相关研究综述[J]. 计算机应用研究,2018,35(7): 1921-1936. [28] Petar V, Guillem C, Arantxa C. Graph Attention Networks[J]. ArXiv preprint: 1710.10903, 2017. |
中图分类号: | TP311.13 |
馆藏号: | TP311.13/1635/2020 |
备注: | 403-西院分馆博硕论文库;203-余家头分馆博硕论文库 |