- 无标题文档
查看论文信息

中文题名:

 

基于深度学习网络的时间序列预测模型及优化研究

    

姓名:

 王博    

学号:

 1049722005639    

保密级别:

 公开    

论文语种:

 chi    

学科代码:

 081100    

学科名称:

 工学 - 控制科学与工程    

学生类型:

 硕士    

学校:

 武汉理工大学    

院系:

 自动化学院    

专业:

 控制科学与工程    

研究方向:

 智能控制    

第一导师姓名:

 张丹红    

第一导师院系:

 自动化学院    

完成日期:

 2023-04-15    

答辩日期:

 2023-05-15    

中文关键词:

 

时间序列预测 ; 深度学习 ; Encoder-Decoder结构 ; 鲸鱼优化算法

    

中文摘要:

在数字化时代,时间序列数据广泛分布在所有领域,对其进行精准预测能够为调度和决策提供帮助。由于时间序列数据维度高、耦合关系复杂、存在长期依赖性,对其进行预测难度较大。当下深度网络预测模型以其强大的学习能力逐步取代机器学习模型成为主流,其中卷积-长短期记忆网络(Convolution Neural Network-Long Short Term Memory,CNN-LSTM)凭借强大特征提取能力和序列学习能力在预测任务中有出色表现,但也存在一定局限性:1)CNN-LSTM网络的预测表现随序列长度增加而劣化;2)网络的最佳结构参数难以确定。

为准确对时间序列进行预测,本文在CNN-LSTM网络的基础上进行改进,提出了一种双阶段注意力机制的并行门控卷积网络-双向长短期记忆网络(Dual-Stage Attention Based Gated Convolution Neural Network-Bi-direction Long Short Term Memory,DA-GCNN-BiLSTM),通过增强网络长期依赖处理能力来提升CNN-LSTM在长序列学习任务上的表现;为获得最佳的网络参数,本文对鲸鱼优化算法(Whale Optimization Algorithm,WOA)进行改进,提出了一种自适应遗传-鲸鱼(Genetic Algorithm-Whale Optimization Algorithm,GA-WOA)混合优化算法用于搜索网络的最佳结构参数。本文主要工作和创新如下:

1)网络设计和验证。DA-GCNN-BiLSTM采用Encoder-Decoder结构。多个并行的GCNN和自注意力机制作为Encoder一是可以捕获不同步长下的数据特征,二是GCNN和自注意力机制均允许重要特征跨长时间传递,增强网络捕获长期依赖特征的能力。Decoder中BiLSTM网络较之LSTM处理长序列的能力更强,时间注意力机制的引入则进一步提升Decoder对长序列的学习表现。网络在工业生产、民用建筑能耗和金融股市三个不同数据集上进行性能测试,实验证明模型预测准确性良好,具备较好的处理长期依赖的能力。

2)网络最佳结构参数确定。WOA算法拥有强大的全局搜索能力,但局部搜索能力略差,可能错过最佳结构参数。本文对WOA改进,首先引入新参数评估搜索阶段并对WOA参数进行自适应调整,其次引入GA变异和交叉策略强化局部搜索能力。实验证明自适应GA-WOA的寻优精度强于三种常见优化算法,且寻优表现较WOA有明显提升,能找到更好的解。在自适应GA-WOA算法对网络最佳参数搜索实验中,优化后网络预测准确性在三个数据集上均有所提升。

参考文献:

[1] Petropoulos F, Apiletti D, Assimakopoulos V, et al. Forecasting: theory and practice[J]. International Journal of Forecasting, 2022,38(3): 705-871.

[2] Deb C, Zhang F, Yang J, et al. A review on time series forecasting techniques for building energy consumption[J]. Renewable & Sustainable Energy Reviews, 2017,74: 902-924.

[3] Alsahref A, Aggarwal K, Sonia, et al. Review of ML and AutoML Solutions to Forecast Time-Series Data[J]. Archives of Computational Methods In Engineering, 2022,29(7): 5297-5311.

[4] Zhang G P. Time series forecasting using a hybrid ARIMA and neural network model[J]. Neurocomputing, 2003,50: 159-175.

[5] 姚金海, 邹家骏. CPI预测的SVM-ARIMA模型构建与数值模拟[J]. 统计与决策, 2022,38(21): 48-52.

[6] 姚金海. 基于ARIMA与信息粒化SVR组合的股指预测研究[J]. 运筹与管理, 2022,31(5): 214-220.

[7] 杨霜, 刘芸男, 杨小丽, 等. 基于ARIMA乘积季节模型的红细胞临床用量预测[J]. 郑州大学学报(医学版), 2021,56(5): 708-712.

[8] Li H, Liu Y, Luo X, et al. A novel nonlinear multivariable Verhulst grey prediction model: A case study of oil consumption forecasting in China[J]. Energy Reports, 2022,8: 3424-3436.

[9] 张天瑞, 周福强, 吴宝库, 等. 基于ARIMA和XGBoost的滚动轴承故障预测模型研究[J]. 制造技术与机床, 2022(4): 176-182.

[10] Alsahref A, Aggarwal K, Sonia, et al. Review of ML and AutoML Solutions to Forecast Time-Series Data[J]. Archives Of Computational Methods In Engineering, 2022,29(7): 5297-5311.

[11] Chen B, Lin R, Zou H, et al. A Short Term Load Periodic Prediction Model Based on GBDT: 2018 IEEE 18th International Conference on Communication Technology (ICCT)[Z]. 18th IEEE International Conference on Communication Technology (IEEE ICCT): 20181402-1406.

[12] Liu S, Cui Y, Ma Y, et al. Short-term Load Forecasting Based on GBDT Combinatorial Optimization: 2018 2nd IEEE Conference on Energy Internet and Energy System Integration (EI2)[Z]. 2nd IEEE Conference on Energy Internet and Energy System Integration (EI2): 2018737-741.

[13] 丁婷婷, 杨明, 于一潇, 等. 基于误差修正的短期风电功率集成预测方法[J]. 高电压技术, 2022,48(2): 488-496.

[14] 张宗新, 陈莹. 系统性金融风险动态测度与跨部门网络溢出效应研究[J]. 国际金融研究, 2022(1): 72-84.

[15] Lim B, Zohren S. Time-series forecasting with deep learning: a survey[J]. Philosophical Transactions of the Royal Society A-Mathmatical Physical and Engineering Science, 2021,379(2194):20200209.

[16] Zheng H T, Yuan J B, Chen L. Short-Term Load Forecasting Using EMD-LSTM Neural Networks with a Xgboost Algorithm for Feature Importance Evaluation[J]. Energies, 2017,10(8):10081168.

[17] 王悦, 付娉娉. 基于改进ESN的时间序列数据预测及误差分析[J]. 黑龙江科技大学学报, 2016,26(4): 458-462.

[18] 琚垚, 祁林, 刘帅. 基于改进乌鸦算法和ESN神经网络的短期风电功率预测[J]. 电力系统保护与控制, 2019,47(4): 58-64.

[19] Li J, Liu Y, Li Q. Intelligent fault diagnosis of rolling bearings under imbalanced data conditions using attention-based deep learning method[J]. Measurement, 2022(189-):189.

[20] 赵星宇, 何浩, 范双南, 等. 一种融合双向LSTM和CNN的混合情感分析模型[J]. 湘潭大学学报(自然科学学报), 2021,43(4): 69-76.

[21] 张爱枫, 段新宇, 何枭峰. 基于CNN和LightGBM的新型风电功率预测模型[J]. 电测与仪表, 2021,58(11): 121-127.

[22] 王立, 吴羽溪, 王小艺, 等. 基于遥感图像3D–CNN及氮磷循环的水华预测[J]. 控制理论与应用, 2021,38(10): 1683-1691.

[23] 王玉静, 李少鹏, 康守强, 等. 结合CNN和LSTM的滚动轴承剩余使用寿命预测方法[J]. 振动、测试与诊断, 2021,41(3): 439-446.

[24] 朱学超, 张飞, 高鹭, 等. 基于残差网络和门控卷积网络的语音识别研究[J]. 计算机工程与应用, 2022,58(7): 185-191.

[25] Festag S, Spreckelsen C. GAN-Based Prediction of Time Series.[J]. Studies in health technology and informatics, 2021,281: 500-501.

[26] 闫保中, 苏邓军. 基于GAN网络的时间序列预测算法[J]. 应用科技, 2022,49(2): 114-118, 126.

[27] 刘玉玲, 赵国龙, 邹自然, 等. 基于情感分析和GAN的股票价格预测方法[J]. 湖南大学学报(自然科学版), 2022,49(10): 111-118.

[28] 赵厚翔, 沈晓东, 吕林, 等. 基于GAN的负荷数据修复及其在EV短期负荷预测中的应用[J]. 电力系统自动化, 2021,45(16): 143-151.

[29] 曹桃云. 基于随机森林的变量重要性研究[J]. 统计与决策, 2022,38(4): 60-63.

[30] 高岳林, 杨钦文, 王晓峰, 等. 新型群体智能优化算法综述[J]. 郑州大学学报(工学版), 2022,43(03): 21-30.

[31] 伍洲, 杨寒石, 邬俊俊, 等. 进化迁移优化算法综述[J]. 计算机工程, 2023,49(1): 1-14.

[32] Yang X, Gandomi A H. Bat algorithm: a novel approach for global engineering optimization[J]. Engineering Computations, 2012,29(5-6): 464-483.

[33] S. M, Z. Q, F. X R, et al. Optimal Reactive Power Dispatch Using Chaotic Bat Algorithm[J]. IEEE Access, 2020,8: 65830-65867.

[34] Pan W. A new Fruit Fly Optimization Algorithm: Taking the financial distress model as an example[J]. Knowledge-Based Systems, 2012,26: 69-74.

[35] Tang H, Sun W, Yu H, et al. A novel hybrid algorithm based on PSO and FOA for target searching in unknown environments[J]. APPLIED INTELLIGENCE, 2019,49(7): 2603-2622.

[36] Chen C. RWFOA: a random walk-based fruit fly optimization algorithm[J]. Soft Computing, 2020,24(16): 12681-12690.

[37] Mirjalili S, Lewis A. The Whale Optimization Algorithm[J]. Advances in Engineering Software, 2016,95: 51-67.

[38] Qais M H, Hasanien H M, Alghuwainem S. Enhanced whale optimization algorithm for maximum power point tracking of variable-speed wind generators[J]. Applied Soft Computing Journal, 2020,86.

[39] Abualigah L, Shehab M, Alshinwan M, et al. Salp swarm algorithm: a comprehensive survey[J]. Neural Computing & Applications, 2020,32(15): 11195-11215.

[40] Kamboj V K, Nandi A, Bhadoria A, et al. An intensify Harris Hawks optimizer for numerical and engineering optimization problems[J]. Applied Soft Computing, 2020,89.

[41] 刘永利, 李仁杰. 非洲蜂优化算法[J]. 哈尔滨工程大学学报, 2020,41(5): 738-746.

[42] Tang J, Deng C, Huang G. Extreme Learning Machine for Multilayer Perceptron[J]. IEEE transactions on neural networks and learning systems, 2016,27(4): 809-821.

[43] S. L, L. G C. Face recognition: a convolutional neural-network approach[J]. IEEE Transactions on Neural Networks, 1997,8(1): 98-113.

[44] A G, J S. Framewise phoneme classification with bidirectional LSTM and other neural network architectures.[J]. Neural Networks: The Official Journal of the International Neural Network Society, 2005,18(5/6): 602-610.

[45] Xiong Z, D. L A, S. C. Distributed source coding for sensor networks[J]. IEEE Signal Processing Magazine, 2004,21(5): 80-94.

[46] 朱张莉, 饶元, 吴渊, 等. 注意力机制在深度学习中的研究进展[J]. 中文信息学报, 2019,33(6): 1-11.

[47] 张维, 张浩晨. 一种基于最优集成随机森林的小样本数据特征提取方法[J]. 西北工业大学学报, 2022,40(6): 1261-1268.

[48] Abualigah L, Shehab M, Alshinwan M, et al. Salp swarm algorithm: a comprehensive survey[J]. Neural Computing & Applications, 2020,32(15): 11195-11215.

[49] 王金甲, 崔琳, 杨倩, 等. 基于注意力门控卷积循环神经网络的通用音频标记[J]. 复旦学报(自然科学版), 2020,59(3): 360-367.

[50] 李浩, 樊建聪. 基于多头注意力门控卷积网络的特定目标情感分析[J]. 山东科技大学学报(自然科学版), 2022,41(2): 99-107.

[51] 赵传武, 黄宝柱, 阎跃观, 等. 一种非线性权重的自适应鲸鱼优化算法[J]. 计算机技术与发展, 2020,30(10): 7-13.

[52] 涂春梅, 陈国彬, 刘超. 混沌反馈自适应鲸鱼优化算法研究[J]. 统计与决策, 2019,35(7): 17-20.

[53] 马永杰, 云文霞. 遗传算法研究进展[J]. 计算机应用研究, 2012,29(4): 1201-1206, 1210.

中图分类号:

 TP183    

条码号:

 002000070876    

馆藏号:

 TD10058150    

馆藏位置:

 403    

备注:

 403-西院分馆博硕论文库;203-余家头分馆博硕论文库    

无标题文档

   建议浏览器: 谷歌 火狐 360请用极速模式,双核浏览器请用极速模式