回帰に関する数式メモ

最小二乗法

$$E(\theta)=\displaystyle \frac{1}{2}\sum_{i=1}^n (y^{(i)})-f\theta(x^{(i)}))^2$$

最急降下法

$$x := x-\eta\frac{d}{dx}g(x) $$

多項式回帰

重回帰

$$f\theta(x) = \theta^Tx$$

$$\theta_j := \theta_j – \eta\displaystyle\sum_{i=1}^n(f_\theta(x^{(i)})-y^{(i)})x_j^{(i)})$$

確率的勾配降下法

$$\theta_j := \theta_j – \eta\displaystyle\sum_{i\in k}(f_\theta(x^{(k)})-y^{(k)})x_j^{(k)})$$

参考