统计学习方法_1

统计学习方法 第一章 概论

如果一个系统能通过执行某个过程改进性能，就是学习

关于统计学习：

基本流程：

1. 基于数据构建概率统计模型
2. 使用模型进行预测，分析

基本假设：

同类数据具有统计规律性

统计学习三要素：

1.模型：

• 模型定义于特征空间（输入空间映射到特征空间）
• 属于输入空间到输出空间的映射的集合（假设空间）

假设空间

非概率模型$Y=f(X)$（决策函数）

$F= \left \{f | Y=f_{θ}(X),θ ∈R^{n} \right \}$

$\theta$：参数空间

F：函数族，由$\theta$决定

概率模型 $P(Y | X)$（条件概率）

$F=\left\{ P|P_{\theta}(Y|X), \theta∈R^{n} \right\}$

$\theta$：参数空间

F：函数族，由$\theta$决定