摘要：超限学习机（ELM）是一种用于广义单隐层前馈神经网络的新兴学习算法，它的隐藏节点参数是随机生成的，并且会分析计算自身的输出权重。然而，由于它的架构较浅，即使具有大量的隐藏节点，但对于自然信号（图像、视频等）来说可能是无效的。为了解决这个问题，在本文中采用了一个新的基于ELM的层次学习框架—多层感知器。所采用的架构被分为两个主要组成部分：（1）自学习特征提取和监督特征分类；（2）它们通过随机初始隐藏权重来桥接。

关键词  超限学习机  多层感知器  特征抽取  监督特征分类

毕业设计说明书外文摘要

Title   Extreme Learning Machine for Multilayer Perceptron

Abstract：Extreme learning machine (ELM) is an emerging learning algorithm for the generalized single hidden layer feedforward neural networks, of which the hidden node parame-ters are randomly generated and the output weights are analyti-cally computed. However, due to its shallow architecture, feature learning using ELM may not be effective for natural signals (e.g., images/videos), even with a large number of hidden nodes. To address this issue, in this paper, a new ELM-based hierarchical learning framework is proposed for multilayer perceptron. The proposed architecture is pided into two main components: 1) self-taught feature extraction followed by supervised feature classification and 2) they are bridged by random initialized hidden weights.

Keywords  multilayer perceptron   Extreme learning machine    self-taught  supervised feature classification

目   次

1  绪论 6

1.1  工程背景及相关现状 6

1.2  总体技术方案 7

1.3  论文章节安排 7

2  ELM的基本概念和理论 9

2.1  ELM理论 9

2.2  ELM学习算法 10

2.3  基于ELM的自动编码器 11

3  H-ELM框架及稀疏自动编码器 12

3.1  H-ELM框架 12

3.2  稀疏自动编码器 13

4  性能评估和分析 16

4.1  H-ELM和ELM之间的比较 16

4.2  与最先进的MLP算法的比较 19

4.3  性能分析 20

5  应用 22

5.1汽车检测 22

5.2  手势识别 23

5.3  在线增量跟踪 24

结  论 27

致  谢 27

参 考 文 献 29

1  绪论

超限学习机（ELM）是一种用于广义单隐层前馈神经网络的新兴学习算法，它的隐藏节点参数是随机生成的，并且会分析计算自身的输出权重。然而，由于它的架构较浅，即使具有大量的隐藏节点，但对于自然信号（图像、视频等）来说可能是无效的。为了解决这个问题，在本文中采用了一个新的基于ELM的层次学习框架—多层感知器。所采用的架构被分为两个主要组成部分：（1）自学习特征提取和监督特征分类；（2）它们通过随机初始隐藏权重来桥接。

1.1  工程背景及相关现状

在过去的几年里，超限学习机（ELM）由于其独特的特性，即极快的训练，良好的泛化性和通用的分类能力，已经成为人工智能机器学习中越来越重要的研究课题。ELM是单隐层前馈网络（SLFN）的有效解决方案，并已被证明在各种应用（面部分类、图像分割和人类行为识别）中具有极好的学习精度和速度。

与其他传统学习算法（比如基于反向传播（BP）的神经网络（NN）或支持向量机（SVM））不同，ELM的隐藏层的参数是随机生成的并且不需要被调谐，它可以在采集训练样本之前建立隐藏节点。即使没有更新隐藏层的参数，它能通过正则化最小二乘调谐的输出权重来保持其通用近似能力[5],[6]。此外，解决ELM中的正则化最小二乘问题比标准SVM中的二次规划问题或传统的基于BP的NN中的梯度法更快。因此，ELM倾向于实现比NN[5]和SVM[7]的更快和更好的泛化性能。