最近在学习吴恩达的机器学习课程，学到backprop有点吃力，里面太多不加证明的内容了， 所以想着把之前的内容整理下，把后续的学习内容记录下，以便日后查阅

基础知识

基础知识的确很基础，基本就是软件工业界大家接触的一些名词，即使是没做过机器学习工作的工程师可能也都听过这些名词的。这里就不加解释了

• 机器学习定义：这部分有个点我觉得总结的特别到位，现阶段的机器学习是赋予程序不必精确编程而具备智能策略的方法。 通俗解释就是，以前程序中的参数都要人为预先明确给定，而机器学习可以自动从数据中洞察规律，自动学习合适的参数，因为不需要明确给定。
• 监督学习与非监督学习
• 回归问题与分类问题
• 训练集及验证集
• 特征及标签
• 假设函数、损失函数、梯度下降、特征标准化、正则项

线性回归

• 假设函数：\(h_\theta(X)=X\theta,\\ X=\begin{bmatrix} a_{1,1} & a_{1,2} & \cdots & a_{1,n}\\ a_{2,1} & a_{2,2} & \cdots & a_{2,n}\\ \vdots & \vdots & \ddots & \vdots\\ a_{m,1} & a_{m,2} & \cdots & a_{m,n} \end{bmatrix},\\ θ=\begin{bmatrix} \theta_1\\ \theta_2\\ \vdots\\ \theta_n\\ \end{bmatrix}\)
• 损失函数：\(J(\theta) = \frac{1}{2m}(X\theta - y)^T(X\theta - y)\\\)

反向传播

• （这里需要纠正）\(\delta_j^{(l)}=\frac{\partial}{\partial z_j^{(l)}}cost(t)\) 这个公式核心点在于偏导的计算推导：$\frac{\partial a_j^{(l)}}{\partial t}$，$\frac{\partial z_j^{(l)}}{\partial t}$， $\frac{\partial cost(z_j^{(l)})}{\partial z_j^{(l)}}$，则公式所列的偏微分可由其他已知偏微分计算得出（这里需要纠正）