MATLAB支持向量机中核函数的作用及其选取

本文主要介绍支持向量机以及核函数的作用与选取。在统计学习理论的基础上产生的解决办法,就是支持向量机。支持向量机它最重要的部分是核函数的选取。


摘   要:在统计学习理论的基础上,近年来我们提出了一种通用有效的机器学习方法,这种方法就是支持向量机。它目前已成为机器学习的研究热点,能够被广泛地应用于数据挖掘问题,如:模式识别、函数估计、时间序列预测等;同时,被应用于很多领域,如:手写体数字识别、文本分类、图像识别、语音信号处理、信息安全领域、时间序列、核方法等。尽管,支持向量机的在某些方面取得成功,但它还是存在很多问题没有解决,如:由核函数的特定性征确定误差界、统计学习理论与其它理论之间的关系、领域知识与支持向量机的融合、核函数的选择、对大规模数据集的处理、对于给定问题的泛化能力等。

支持向量机通过引用核函数的方法,把非线性分划转换为线性分划,来解决问题。它最重要的部分是核函数的选取。针对一个特定的问题,如果选择不同种类的核函数,会有与之对应的分类效果和回归效果。因此,要想选择合适的核函数,必须了解这个问题,同时也必须了解各种核函数的特性。其中,常见的核函数有:线性核函数、多项式核函数、Gauss径向基核函数、Sigmoid核函数。同时,还提出了混合核函数。混合核函数方法是将不一样种类的核函数混合在一起。因此,混合核函数会有优于原来的效果,同时,具有较好的插值能力和较好的外推能力。

本文就是主要对核函数进行研究:首先,通过线性分划和非线性分划,从而引出支持向量机并对其进行介绍。接着,介绍核函数,并且明确支持向量机中核函数的选择办法。最后,对于一个已知的问题,使用MATLAB SVM 工具箱通过采用不同的核函数来解决。

研究支持向量机中核函数这一方向,是对统计学这个方向进行扩展和延伸。由于它诞生不久,在各方面还不是很成熟,有些方面还存在很多问题。但是,随着它的不断发展和成熟,在某些方面,已经应用到实际生活中。因此,它是具有实用价值和发展潜力的,对它进行研究是很有必要的。

关键字:支持向量机;核函数;MATLAB SVM 工具箱

Abstract:On the basis of statistical learning theory, we have proposed a general and effective machine learning method in recent years. This approach is to support vector machines. It has become a research hot spots in machine learning and can be widely used in data question. Such as: pattern recognition, function estimation, time series prediction, etc. At the same time, it is applied to many areas. Such as: handwritten digital recognition, text classification, image recognition, voice signal processing, information security, time series, nuclear methods. Although the support vector machine is successful in some aspects, but it still exists a lot of problems. Such as: the existence of the kernel function, the relationship between the statistical learning theory and other theories, the fusion of the domain knowledge and the support vector machine, the selection of the kernel function, the processing of the large-scale data set, the given problem The generalization ability.

By referring to the kernel function of the method, the support vector machine transforms the nonlinear partition into linear pision. The most important part of it is the selection of kernel functions. For a specific problem, if you choose a different kind of kernel function, there will be a corresponding classification effect and regression effect. Therefore, in order to select the appropriate kernel function, you must understand this problem and understand the characteristics of various kernel functions.The common kernel functions are: linear kernel function, polynomial kernel function, Gaussian radial basis function, Sigmoid kernel function. At the same time, a hybrid kernel function is proposed. The mixed kernel function method is to mix different kernel functions of different kinds. Therefore, the hybrid kernel function will be better than the original effect, with good interpolating ability and better extrapolation ability.