[机器学习]【转】SVM学习之三——简单世界和复杂世界

dskongenius 发表于 2008/3/26 14:23:07

统计学习理论（Vapnik V N, 许建华 张学工译, 电子工业出版社, 2004）是SVM的坚实的理论基础，其作者指出，在可以只用几个变量描述的简单世界中，传统的科学哲学的目标是“发现普遍的自然规律”。但是，这一目标在需要用很多变量描述的复杂世界中不一定可行。因此，在一个复杂世界中，我们需要放弃寻找一般规律的目标，而考虑其他目标。   在Vapnik的The nature of statistical learning theory(1995年)一书中，作者对复杂世界的推理提出了如下法则：“在解决一个感兴趣的问题时，不要把解决一个更一般的问题作为一个中间步骤。要试图得到所需要的答案，而不是更一般的答案。很可能你拥有足够的信息来很好地解决一个感兴趣的特定问题，但却没有足够的信息来解决一个一般性的问题。”   东亚人就是这种理论的坚决执行者，“他们注重在其所处环境中的对象，很少关心类别和普适规则，基于在特定时刻施加于对象个体上的各种作用来解释其行为。没有太多地采用形式逻辑，而常常采用各种辩证推理规则，包括综合、超越和归一。”而西方人则注重对象及其特性（即一般性规律），并且用这种假定的基于分类的规则来预测和解释对象的行为（这样经常是错误的）。形式逻辑就是西方人的“法宝”，在推理、分类和规则验证中发挥了作用。