基于MATLAB的逻辑回归与SVM的二分类比较

分别通过逻辑回归与SVM两种方法对数据进行分类,并比较两种方法的优缺点和适用性。该论文主要是从分析二分类的比较入手的,并且目前常用的二元线性分类器分别是逻辑回归LR和线性SVM。


摘 要:本文分别通过逻辑回归与SVM两种方法对数据进行分类,并比较两种方法的优缺点和适用性。该论文主要是从分析二分类的比较入手的,并且目前常用的二元线性分类器分别是逻辑回归LR和线性SVM。LR对不正常值敏感,SVM对不正常的值的异常却是十分迟钝的,当然也有一些方面是SVM比较有优势的,如在分析训练集比较小的样本量时。与SVM相反的是,LR适用于样本较多的训练。虽然对非线性问题的处理方式不同,但它们的目的都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重。

关键词:逻辑回归;SVM;二分类

Based on MATLAB Logistic Regression SVM and Binary

Classification Comparison

Abstract: In this paper, classifying data by two methods respectively, and compare the advantages and disadvantages and applicability of the two methods. Logistic regression LR and linear SVM is two common binary linear classifier. LR is sensitive to outliers, SVM is not sensitive to outliers. in the training set is small, the SVM is applicable, and LR need more samples. find the hyperplane, LR model is to let all point away from it, and the hyperplane SVM to find, is the most close to the middle line only to those points away from as far as possible, that is, only to those who support vector samples. in a different way to deal with nonlinear problem, LR mainly characteristic structure, must cross combination feature discretization. SVM can also such, can be controlled by the kernel. From the point of the objective function, the difference is that logistic regression is the logistical loss, SVM is the hinge loss. The purpose of this two loss function is to increase the weight of the data points for a greater influence on the classification, classification relationship smaller proportion of data points.

Key Words: Logistic regression; The SVM; Dichotomy

目  录

摘要 1

引言 2

1. 案例数据 2

2. 数据分析 5

3. 逻辑回归 7

3.1概念 7

3.2数据建模 8

3.3 Matlab实现 9

3.4测试验证 10

4. SVM 12

4.1 SVM原理 12

4.2 Libsvm安装与测试 14

4.3 Libsvm的使用 15

4.4 Matlab程序的设计与实现 16

4.5实验结果 17

5. 总结 18

6. 结束语 18

参考文献 19

附录 20

致谢 21

基于MATLAB的逻辑回归和SVM的二分类比较

引言

社会的快速发展需要学生们拥有更高的口语交际能力,那么对于学生的口语交际能力,使其在一定程度上得到提高就成为一个大问题,教师又是如何教学的呢,据了解教师大多是采用多种教学方法教学的。如通过组织学生进行英语演讲,举行英语主题班会,英语小品,英语对话等方式让学生对口语的理解和掌握更加深刻。

生物学研究表明,外部环境对大脑的连续刺激形成记忆,在教学时,教师们通常使出浑身解数让知识能够在学生们的脑海中形成深刻的印象,帮助学生们集中注意力,形成知识结构网络。

在培养学生练习口语时的方法也有很多,口语交际是其中之一。当然,很重要的一步是设法有计划地引导,最好是能激起学生们主动学习的动力,使他们满心欢欣愿意的去学习要有目的性的对学生进行训练。就像对于那些有个性的有才艺的学生,如歌唱的很美妙,跳舞极佳的学生,就可以引导他们和教师一起创造情境[1]。需要注意的是,这个过程也是要从简单到复杂,一字一句都要让他们自己揣摩,重复,读准,读熟。一起进步,快乐的学习,争取不让学生有“英语难学”得感觉。

1. 案例数据

德国的心理学家艾宾浩斯做过相应的研究,他在实验中证明了人们的遗忘是有迹可循的,即总是先快后慢的[2]。通俗的说就是对于刚刚掌握的材料,在刚刚开始学到知识的时间里,被遗忘的速度是最快的,在这以后的七八天的时间里,如果没有重复的观看复习所学知识,记忆就会模糊甚至是完全消失。所以,学习过程中也要克服遗忘现象,这就要求教师有计划地引导学生进行口语训练,让同学们对自己学到的交际用语进行重复的记忆,多听多说,重复运用,以便加深对知识的深刻印象,对知识体系脉络的了解和顿悟。