摘要：本课题以数据分析模型为背景，重点对随机森林算法的实现和应用展开研究。本课题首先探讨了集成学习中的典型算法bagging和boosting方法，深入理解了集成学习的算法思想。同时进一步理解了在bagging基础上由多棵决策树集合而成的随机森林算法的基本原理，并通过编程实现其算法流程并对算法性能做出评估。本课题使用MATLAB和C语言混合编程完成上述设计内容，并实现了数据分析结果的可视化。实验结果表明，在数据分析应用中随机森林算法不仅训练速度快，而且在分类和回归应用中都表现出较高的正确率，同时还可以实现隐式特征选择。

关键词  集成学习  bagging方法  决策树  随机森林

毕业设计说明书外文摘要

Title    The Application and Implementation of Random Forests Algorithm in Data Analysis and Modeling        

Abstract：This project conducts a research on data analysis and modeling, with particular emphasis on the implementation and application of random forests algorithm. This thesis starts with a discussion about typical methods of ensemble learning, including bagging and boosting methods, for the purpose of an in-depth understanding of the algorithmic idea of ensemble learning. In addition, this thesis investigates the principle of random forests algorithm that relies on bagging method to construct random forests by a variety of decision trees. This thesis further implements the algorithmic flow of random forests and evaluates the performance of the implemented algorithm. The implementation procedure was done by the hybrid programming with MATLAB and C language, while providing the visualization of data analysis results. Experimental results demonstrate that the implemented algorithm not only fast achieves training speed in data analysis applications, but also shows high accuracy in classification and regression applications. Moreover, this algorithm is capable of performing implicit feature selection during data processing.

Keywords ensemble learning  bagging method  decision tree  random forest

目   次

1   绪论 1

1.1  研究背景及意义 1

1.2  研究现状及相关文献 1

1.3  本文研究工作 2

1.4  总体技术方案及其社会影响 3

1.5  技术方案的经济因素分析 3

1.6  本文结构 3

2   随机森林相关理论基础 4

2.1  随机森林算法概述 4

2.2  集成学习法 4

2.3  bagging和boosting算法 5

2.4  决策树 6

2.5  本章小结 8

3  随机森林算法具体实现 9

3.1  设计原理及目标 9

3.2  总体设计框架 9

3.3  随机森林算法的详细流程 12

3.4  程序框架及主要数据结构 14

3.5  本章小结 16

4  实验结果 17

4.1  实验环境和工具 17

4.2  实验数据 17

4.3  实验过程 19

4.4  测试结果及分析 19

4.5  本章小结 26

结  论 27

致  谢 28

参 考 文 献 29

图2. 1 集成学习流程图 6

图3. 1 基于MATLAB的随机森林算法实现总流程图 11

图3. 2 随机森林算法详细流程图 14

图4. 1 4维数据袋外错误率图 21

图4. 2 15维数据袋外错误率图 22

图4. 3 4维数据的重要度排序 23

图4. 4 15维数据的重要度排序 23

图4. 5 6维数据实际值与预测值对比图 24

图4. 6 12维数据实际值与预测值对比图 24

图4. 7 6维数据的重要度排序 25

图4. 8 12维数据的重要度排序 25

表3. 1 分类程序结构表 11

表3. 2 回归程序结构表 12

表3. 3 MATLAB环境下模块结构表 12

表3. 4 关键变量定义 16

表3. 5 classRF参数定义 17

表3. 6 regRF参数定义 18