李航统计学习方法第二版 学习笔记

第一章 统计学习及监督学习概论

主要记录了监督学习内容

1.1 统计学习

• 监督学习

  1. 输入输出所有可能的取值分别称之为输入空间,输出空间.通常输出空间远小于输入空间(分类问题中 , 输入的是图片特征 , 只输出"是","否)
  2. 一个具体的输入为实例由特征向量表示所有可能的特征向量的取值构成的空间是特征空间.
     模型都是定义再特征空间上的.
  3. 监督学习的目的是找到输入空间到输出空间的映射 , 由模型来表示. 所有映射的集合为假设空间.
  4. 监督学习的数据有标注.
  5. 映射有概率型(p(y|x))或者非概率型(y=f(x))

• 贝叶斯学习

  1. 贝叶斯定理:

  其中A是模型参数(可以看成是模型) , B是数据 . 贝叶斯学习就是利用现有数据 , 寻找一种可以生成这些数据的模型
  2. 注意到公式中的P(A)既贝叶斯学习中假设模型的参数是有分布规律的(不是均匀分布的 , 均匀分布是极大似然估计)

• 核方法

  1. 用核函数表示学习非线性模型的方法.
     现如今只能理解到这了 , 之后详细学习了再说.