最近在学习吴恩达的机器学习课程,学到
backprop
有点吃力,里面太多不加证明的内容了, 所以想着把之前的内容整理下,把后续的学习内容记录下,以便日后查阅
基础知识
基础知识的确很基础,基本就是软件工业界大家接触的一些名词,即使是没做过机器学习工作的工程师可能也都听过这些名词的。这里就不加解释了
- 机器学习定义:这部分有个点我觉得总结的特别到位,现阶段的机器学习是赋予程序不必精确编程而具备智能策略的方法。 通俗解释就是,以前程序中的参数都要人为预先明确给定,而机器学习可以自动从数据中洞察规律,自动学习合适的参数,因为不需要明确给定。
- 监督学习与非监督学习
- 回归问题与分类问题
- 训练集及验证集
- 特征及标签
- 假设函数、损失函数、梯度下降、特征标准化、正则项
线性回归
- 假设函数:\(h_\theta(X)=X\theta,\\ X=\begin{bmatrix} a_{1,1} & a_{1,2} & \cdots & a_{1,n}\\ a_{2,1} & a_{2,2} & \cdots & a_{2,n}\\ \vdots & \vdots & \ddots & \vdots\\ a_{m,1} & a_{m,2} & \cdots & a_{m,n} \end{bmatrix},\\ θ=\begin{bmatrix} \theta_1\\ \theta_2\\ \vdots\\ \theta_n\\ \end{bmatrix}\)
- 损失函数:\(J(\theta) = \frac{1}{2m}(X\theta - y)^T(X\theta - y)\\\)
反向传播
- (这里需要纠正)\(\delta_j^{(l)}=\frac{\partial}{\partial z_j^{(l)}}cost(t)\) 这个公式核心点在于偏导的计算推导:$\frac{\partial a_j^{(l)}}{\partial t}$,$\frac{\partial z_j^{(l)}}{\partial t}$, $\frac{\partial cost(z_j^{(l)})}{\partial z_j^{(l)}}$,则公式所列的偏微分可由其他已知偏微分计算得出(这里需要纠正)