1.机器学习分类

机器学习大致分为监督学习，无监督学习两类

2.线性回归模型

在线性回归中，(f_{w,b}(x)) 就是预测值 (\hat{y})，两者表示相同的含义，即：

[ \hat{y}=f_{w,b}(x)=wx+b ]

其中，(x) 是输入特征，(w) 是权重或斜率，(b) 是偏置或截距；(\hat{y}) 表示模型计算出的预测值，(y) 表示数据中的真实值。因此，模型的预测误差可以写成：

[ \hat{y}-y=f_{w,b}(x)-y ]

线性回归的目标是不断调整参数 (w) 和 (b)，使预测值 (\hat{y}) 尽可能接近真实值 (y)，从而减小代价函数 (J(w,b))。

在线性回归中，模型的预测函数为：

[ f_{w,b}(x^{(i)})=wx^{(i)}+b ]

其中，(w) 表示直线的斜率，(b) 表示截距，(x^{(i)}) 表示第 (i) 个样本的输入，(y^{(i)}) 表示该样本的真实值。

为了衡量模型预测值与真实值之间的差距，通常使用平方误差代价函数：

[ J(w,b)=\frac{1}{2m}\sum_{i=1}^{m}\left(f_{w,b}(x^{(i)})-y^{(i)}\right)^2 ]

把预测函数代入后，可以写成：

[ J(w,b)=\frac{1}{2m}\sum_{i=1}^{m}\left(wx^{(i)}+b-y^{(i)}\right)^2 ]

其中：

公式中的误差需要平方，这样可以避免正负误差相互抵消，同时会让较大的误差受到更明显的惩罚。分母中的 (2) 是为了在求导时抵消平方产生的系数，使后续计算更加简洁，不会影响代价函数最小值所在的位置。

线性回归训练的目标是寻找合适的 (w) 和 (b)，使代价函数尽可能小：

[ \min_{w,b}J(w,b) ]

(J(w,b)) 越小，说明预测值越接近真实值，模型的拟合效果通常越好。梯度下降算法就是通过不断调整 (w) 和 (b)，逐步找到使 (J(w,b)) 最小的参数。

Image Name