白板逻辑回归思路。
一. 概括
- 解决问题：二分类
基本假设：
因变量y服从二元分布（伯努利分布）
样本集独立同分布（训练集、验证集）
- 模型参数估计：极大似然法
- 损失函数：对数似然损失
- 计算：梯度下降
- 生成式 or 判别式：判别式
二. 推导
1.线性回归拟合对数几率
$ ln(\frac{y}{1-y}) = w^Tx + b $
$ y = \frac{1}{1+e^{-(w^Tx+b)}} $
2.最大似然
最大化似然
$ L(\theta) = \prod_{i=1}^{m}y^{yi}*(1-y)^{1-yi} $
最小化似然损失
$ l(\theta) = -\frac{1}{m} \sum_{i=1}^{m}{[y_i\log(y) + (1-y_i)\log(1 - y)]} $
3.损失函数
$ Cost(h_\theta(x,y)) = - \log(h_\theta(x)) if y = 1 $
$ Cost(h_\theta(x,y)) = - \log(1 - h_\theta(x)) if y = 0 $