极限学习机(Extreme Learning Machine, ELM)是一种在各个领域被广泛应用 的机器学习算法. ELM的算法策略是通过多次训练挑选参数, 在这个过程中隐藏层输出矩阵是随机选择的, 不同的输出矩阵得到不同的算法误差, 如何得到好的输出矩阵成为重要研究课题. 本文研究了ELM算法中如何通过挑选和改进隐藏层输出矩阵达到降低训练误差的问题. 研究算法误差来源, 确定存在目标矩阵的范数指标与算法误差呈线性相关, 进而根据线性相关性应用Gaussian滤波和启发式算法思想, 提出了基于隐藏层输出矩阵的ELM算法优化和基于启发式算法思想的ELM算法优化两种改进方法. 主要工作如下: 1. 确定目标矩阵的范数指标与算法误差呈线性相关, 提出了基于隐藏层输出矩阵的ELM算法优化. 首先针对ELM中隐藏层到输出层存在误差的问题, 分 析发现误差来源于隐藏层输出矩阵H求解其Moore-Penrose广义逆矩阵H†的过程. 基于目标矩阵和广义逆矩阵的定义, 确定了目标矩阵HH†和误差指标HH†的L21范数, 根据实验发现HH†的L21范数与ELM的误差呈显著线性相关, 最后通过引入Gaussian滤波对目标矩阵进行降噪处理, 有效降低了目标矩阵的L21范数, 同时降低了ELM的误差, 达到优化ELM算法误差的目的. 2. 进行理论推导和实验确定隐藏层输出矩阵的改进价值, 提出了基于启发式算法思想的ELM算法优化, 尝试直接改进输出矩阵来缩小算法误差. 首先通过实验探明ELM算法误差与隐藏层输出矩阵的相关性, 分别应用缩小广义逆误差和稀疏化隐藏层神经元两种方法, 来直接改进输出矩阵降低算法误差.发现探索方法结果不稳定, 结合启发式算法的思想, 提出“优胜劣汰”地保留有效改进步骤的方法, 来实现设定的目标阈值, 从而降低算法误差. 3. 基于两种优化算法均是在实验数据集上训练, 进行实证分析来验证, 对股票预测(回归问题)和UCI数据集(聚类问题)来测试优化算法的可行性和泛化性. 实证结果表明两种ELM优化算法在股票预测和UCI数据集上运算速度较快, 表现出较好的拟合能力和较高的准确度. 本文通过对极限学习机算法的误差来源分析, 提出了上述两种ELM优化算法, 在优化目标矩阵后, 均缩小了算法误差. 最后将优化算法应用到了 UCI 数据 集和股票数据上, 实证分析表明了两种优化算法具有较好的可行性和泛化性.

[1] Huang Guangbin, Zhu Qinyu, Siew C K. Extreme learning machine: Theory and applications[J]. Neurocomputing, 2006, 70(1/3): 489-501.

[2] Huang Guangbin, Wang Dianhui, Yuan Lan. Extreme learning machines: A survey[J]. International Journal of Machine Learning and Cybernetics, 2011, 2(02): 107-122.

[3] Duan Ganglong, Huang Zhiwen, Wang Jianren. Extreme Learning Machine for Bank Clients Classification. International Conference on Information Management[C]. Xian: Innovation Management and Industrial Engineering, 2009, 2: 496-499.

[4] 尹刚, 张英堂, 李志宁, 等. 运用在线贯序极限学习机的故障诊断方法[J]. 振动: 测试与诊断, 2013, 11(02): 155-159.

[5] 赵立杰, 袁德成, 柴天佑. 基于多分类概率极限学习机的污水处理过程操作工况识别[J]. 化工学报, 2012, 17(10): 170-179.

[6] 陆慧娟, 张金伟, 马小平, 等. 极限学习机集成在肿瘤分类中的应用[J]. 数学的实践与认识, 2012, 42(17): 148-154.

[7] Sun Wei, Sun Jingyi. Prediction of carbon dioxide emissions based on principal component analysis with regularized extreme learning machine: The case of China[J]. Environmental Engineering Research, 2017, 22(03): 302-311.

[8] 雷一鸣, 赵希梅, 王国栋, 等. 基于一种改进的LBP算法和超限学习机的肝硬化识别[J]. 计算机科学, 2017, 44(10): 45-50.

[9] 黄强, 王永雄. 感知器残差网络和超限学习机融合的 3D 物体识别[J]. 中国图象图形学报, 2019, 43(10): 1738-1749.

[10] 吴学华. 超限学习机的优化改进及应用研究[D]. 杭州: 浙江理工大学, 2017.

[11] 杨伊. 极限学习机算法的改进与应用[D]. 大连: 辽宁师范大学, 2018.

[12] Huang Gao, Huang Guangbin. Trends in extreme learning machines: A review[J]. Neural Networks, 2015, 61: 32-48.

[13] Man Zihong, Lee K, Wang Dianhui, et al. A new robust training algorithm for a class of singlehidden layer feedforward neural networks[J]. Neurocomputing, 2011, 74(16): 2491-2501.

[14] Yu Qi, Miche Y, Eirola E, et al. Regularized extreme learning machine for regression with missing data[J]. Neurocomputing, 2013, 102: 45-51.

[15] Huang Guangbin, Chen Lei. Convex incremental extreme learning machine[J]. Neurocomputing, 2007, 70(16): 3056-3062.

[16] Yang Yimin, Wang Yaonan, Yuan Xiaofang. Bidirectional extreme learning machine for regression problem and its learning effectiveness[J]. IEEE Transactions on Neural Networks and Learning Systems, 2012, 23(09): 1498-1505.

[17] Zhang Rui, Lan Yuan, Huang Guangbin, et al. Universal approximation of extreme learning machine with adaptive growth of hidden nodes[J]. IEEE Transactions on Neural Networks and Learning Systems, 2012, 23(02): 365-371.

[18] Deng Jing, Li Kang, Irwin G W. Fast automatic two-stage nonlinear model identification based on the extreme learning machine[J]. Neurocomputing, 2011, 74(16): 2422-2429.

[19] Wang Yuguang, Cao Feilong, Yuan Yubo. A study on effectiveness of extreme learning machine[J]. Neurocomputing, 2011, 74(16): 2483-2490.

[20] Yuan Yubo, Wang Yuguang, Cao Feilong. Optimization approximation solution for regression problem based on extreme learning machine[J]. Neurocomputing, 2011, 74(16): 2475-2482.

[21] 马超. 基于元启发优化极限学习机的分类算法及其应用研究[D]. 长春: 吉林大学, 2014.

[22] 刘通. 智能优化极限学习机方法研究及在疾病诊断中的应用[D]. 长春: 吉林大学, 2020.

[23] Lv Yang , Li Bang , Yu Jinhu, et al. Reduce Training Error of Extreme Learning Machine by Selecting Appropriate Hidden Layer Output Matrix[J]. Journal of Systems Science and Systems Engineering, 2021, 1(01), 132-150.

[24] 罗宏远, 王德运, 刘艳玲, 等. 基于二层分解技术和改进极限学习机模型的 PM_(2.5)浓度预测研究[J]. 系统工程理论与实践, 2018, 38(05): 1321-1330.

[25] 单佐伟. 双级执行器建模和控制方法研究[D]. 杭州: 浙江理工大学, 2017.

[26] 王宏, 张强, 王颖, 等. 基于 ELM 的改进 CART 决策树回归算法[J]. 计算机系统应用, 2021, 30(02): 201-206.

[27] 陈颖, 崔行宁, 肖春艳, 等. 复杂水质环境下基于 PSO-ELM 的 BOD 快速检测[J]. 计量学报, 2021, 42(01): 105-110.

[28] 董浩, 李明星, 张淑清, 等. 基于核主成分分析和极限学习机的短期电力负荷预测[J]. 电子测量与仪器学报, 2018, 32(01): 188-193.

[29] 李新, 何传江. 矩阵理论及其应用[M]. 重庆: 重庆大学出版社, 2005: 200-203.

[30] Shin D H, Park R H, Yang S, et al. Block-based noise estimation using adaptive Gaussian filtering[J]. IEEE Transactions on Consumer Electronics, 2005, 35: 218-226.

[31] 何雨. 超启发式算法综述[J]. 数字技术与应用, 2020, 38(09): 94-95.

[32] 陈可心. 基于深度神经网络的股票走势预测研究与应用[D]. 南京: 南京邮电大学, 2020.

[33] 李金轩, 杜军平, 薛哲. 基于多视角股票特征的股票预测研究[J]. 南京大学学报(自然科学), 2021, 57(01): 68-74.

[34] 张玉婧. 股市基本面分析与技术面分析结合方法探讨[J]. 商业文化(上半月), 2011, 02(10): 201.

[35] 徐树方, 高立, 张平文. 数值线性代数[M]. 北京: 北京大学出版社, 2013: 44-45.

[36] 来杰, 王晓丹, 李睿, 等. 基于去噪自编码器的极限学习机[J]. 计算机应用, 2019, 21(06): 1619-1625.

[37] Ahmad I, Basheri M, Iqbal M J, et al. Performance comparison of support vector machine, random forest, and extreme learning machine for intrusion detection[J]. IEEE access, 2018, 6: 33789-33795.

[38] Huang Jinhong, Zhu Liangyu, Gu Zhenghui. A clustering method based on extreme learning machine[J]. Neurocomputing, 2018, 277: 108-119.

[39] O N Eshtay M, Faris H, A competitive swarm optimizer with hybrid encoding for simultaneously optimizing the weights and structure of extreme learning machines for classification problems[J]. International Journal of Machine Learning and Cybernetics, 2020, 11: 1801-1823.

[40] 王杰, 毕浩洋. 一种基于粒子群优化的极限学习机[J]. 郑州大学学报(理学版), 2013,45(01): 100-104.

[41] 鲁迪, 王星华, 贺小平. 基于混合粒子群算法和多分位鲁棒极限学习机的短期风速预测方法[J]. 电力系统保护与控制, 2019, 47(05): 115-122.

[42] 甘露. 极限学习机的研究与应用[D]. 西安: 西安电子科技大学, 2014.

[43] 林梅金, 罗飞, 苏彩红, 等. 一种新的混合智能极限学习机[J]. 控制与决策, 2015, 30(06): 1078-1084.

[44] 姜闪闪, 夏旻. 基于自适应极限学习机模型的经济增长率预测[J]. 统计与决策, 2015, 438(18): 20-23.

[45] 李栋, 张文宇. 基于 ELM 和 FOA 的股票价格预测[J]. 计算机工程与应用, 2014, 50(18): 14-18.

[46] 张卫国, 李家铭. 双层 DE-ELM 预测模型及股指中短期预测[J]. 华南理工大学学报(社会科学版), 2016, 18(002): 18-26.

[47] Li Xiaodong, Xie Hhaoran. Empirical analysis: stock market prediction via extreme learning machine[J]. Neural Computing and Applications, 2016, 27(01): 67-78.

[48] Peng Yi, He Kang, Yu Qing. Stock Index Prediction Method based on ARIMA-ELM Combination Model[J]. Computers and Software Engineering, 2021, 4(01): 16-24.

[49] 廖洪一, 王欣. 基于极限学习机的股票价格预测[J]. 计算机与现代化, 2014, 11(12): 19-22.

[50] 朱正, 陶岚. 基于 ELM 的成本预测方法实证检验[J]. 统计与决策, 2015, 443(23): 65-67.

[51] 唐仕. 基于极限学习机的制造业上市企业财务预警研究[D]. 成都: 成都理工大学, 2015.

[52] 王珏, 齐琛, 李明芳. 基于 SSA-ELM 的大宗商品价格预测研究[J]. 系统工程理论与实践, 2017, 37(08): 2004-2014.

[53] Gaier A, Ha D. Weight agnostic neural networks[J]. Neural Information Processing Systems, 2019, 34: 5365-5379.

[54] Cao Weipeng, Zhong Ming. Improved bidirectional extreme learning machine based on enhanced random search[J]. Memetic Computing, 2019, 11(01): 19-26.

[55] Zhu Xiaobin, Li Zhuangzi. Deep convolutional representations and kernel extreme learning machines for image classification[J]. Multimedia Tools and Applications, 2018, 78(20):29271-29290.

[56] Huang Gao, Song Shiji. Semi-supervised and unsupervised extreme learning machines[J].IEEE Transactions on Cybernetics, 2014, 44(12): 2405-2417.

[57] 徐睿, 梁循, 齐金山, 等. 极限学习机前沿进展与趋势[J]. 计算机学报, 2019, 42(07): 1640-1670.

[58] Pan Zuozhou, Meng Zong, Chen Zijun, et al. A two-stage method based on extreme learning machine for predicting the remaining useful life of rolling-element bearings[J]. Mechanical Systems and Signal Processing, 2020, 144: 106-112.