一、smo算法
序列最小化优化算法（sequential minimal optimization,smo）是一种用于解决支持向量机训练过程中所产生优化问题的算法。smo由微软研究院的约翰·普莱特在1998发明，用于训练svm。在smo之前，svm的训练必须使用复杂的方法，并需要昂贵的第三方二次规划工具。smo算法将大优化问题分解为了多个小优化问题来求解的，这些小优化问题通常比较容易求解，并且对它们进行顺序求解的结果与将它们作为整体求解的结果是完全一致的。在结果完全相同的同时，smo算法的求解时间要短很多。
smo算法的目标是求解参数α和b，然后通过参数α来求解权重ω，从而获取到分割超平面的方程。
smo算法的工作原理：每次循环中选择两个α进行优化处理。一旦找到一对合适的α，就增大其中一个α减少另一个α来保证，约束条件的成立。“合适”需要满足两个条件，第一个条件就是这两个α必须要在间隔边界之外，第二个条件是指两个α还没有进行过区间化处理或者不在边界上。
二、smo算法的参数更新过程
在上一篇文章的最后，我们给出了这个公式。我们假设更新的参数是α1和α2，其它的α保持不变，根据约束条件我们可以获得几个下面的等式
所以我们将ω转换成为α1和α2的函数
根据约束条件可得
将α1代入到上式，可得
根据分割超平面的方程和已知参数条件，可得v1-v2
截距参数b的更新过程
三、实现一个简版的smo算法
下面，我们使用python来实现一个简版的smo算法。
1.《机器学习实战》
2.《机器学习》
3.https://zhuanlan.zhihu/p/29212107