svm最小值有多个解,SVM原理

svm最小值有多个解,SVM原理

在深度学习变得火热之前，SVM是最受欢迎的模型，因为SVM有充分的数学原理支撑，并且可得到全局最优解(使用梯度下降的线性模型只能得到局部最优解) ,一般用于处理二分类任务，SVM是定义一般地，当训练数据集线性可分时，存在无穷个分离超平面可将两类数据正确分开。感知机利用误分类最小的策略，求得分离超平面，不过这时的解有无穷多个。线性可分支持向量机利用间隔最大

＋▂＋ 你可以把间隔距离想象成经营收入，而损失值想象成经营成本，我们的目标则转化为同时考虑收入和成本因素去最大化我们的利润。这个对应底下形成的间隔，我们称之为软间隔soft margin, 然后求解min_{w,b} max_{\alpha}L(w,b,\alpha),但是这个不太好求，特别是极大值。通常拉格朗日乘子法可以通过求解对偶问题得到原始问题的最优解，而对偶问题往往

​maxγγ=imin​∣∣w∣∣1​yi​(wxi​+b)​ 值的注意的是：对于任意一组w ww、b bb值，任意缩放若干倍，并不影响分隔面本身，也不影响目标问题的解。那我们不妨选择合适的一组w ww然后就可以把求最小值的操作去掉，姑且认为等于1. SVM的目标函数求解求极大值不好操作，最好可以转换为求极小值。变换到w2,加二分之一是为了方便进行变换操作。​ 拉格朗日乘子法，求

可以把硬间隔想象为收入，异常数据(损失loss)想象为成本，那么软间隔就为收入- 成本=利润，它试图寻找最大利润值，即最大软间隔(Max Soft Margin)。决策超平面的求解(SVM模型的推导)公式中R(w)就是真实风险，Remp(w)就是经验风险，Ф(n/h)就是置信风险。统计学习的目标从经验风险最小化变为了寻求经验风险与置信风险的和最小，即结构风险最小。

对目标函数取负号，求最小值可以得到和SVM分类模型类似的求极小值的目标函数如下：对于这个目标函数，我们依然可以用第四篇讲到的SMO算法来求出对应的α∨,α∧,进而求出我们的回归模但问题来了：这无数条直线中应该选择哪一条作为最优决策边界呢？我想作为一个具有机器学习算法常识的人来说，虽然对SVM还不了解，但凭直觉一定会选择H 3 H_{3}H3​