Fade Temple

机器学习(Week5)-反向传播(BP)

Lecture1: Backpropagation 神经网络的代价函数 \[\class{myMJSmall}{ J(\Theta) = -\frac{1}{m}\sum_{i=1}^{m}\sum_{k=1}^K \left[ y_k^{(i)}log((h_\Theta(x^{(i)}))_k) + (1-y_k^{(i)})log(1- (h_\Theta(x^{(i)}))_k) \right] + \frac{\lambda}{2m}\sum_{l=1}^{L-1}\sum_{i=1}^{s_l}\sum_{j=1}^{s_{l+1}}(\Theta_{j,i}^{(l)})^2 }\] \(L\): 表示神经网络的层数 \(s_l\): 表示第\(l\)层的激活单元数量（不算上偏置单元bias unit） \(K\): 表示输出层单元数量（分类数量）；\(s_L=K\) \(h\Theta(x) \in \mathbb{R}^{K}, (h\Theta(x))_j\)表示第\(j\)个输出 \(y \in \mathbb{R}^{K}\)，例如有4种分类，那么如果\(y\)属于第1个分类，则记做...

机器学习(Week4)-神经网络

Lecture1: Neural Networks 为什么我们需要神经网络 当特征特别多（计算机视觉问题）时，如果计算多次多项式，得出来的最终特征会特别多，多到计算机无法处理。 产生的原因 Algorithms that try to mimic the brain. Was very widely used in 80s and early 90s; popularity diminished in late 90s Recent resurgence: State-of-the-art...

机器学习(Week3)-逻辑回归

Lecture1: Classification and Representation 分类问题（Classification） 二元分类问题（Binary Classification） \[\class{myMJSmall}{y \in \{0,1\}}\] \(y\)只有两个值（即分成两类） 标记为0的分类：也叫负类（Negative Class），例如0代表良性肿瘤 标记为1的分类：也叫正类（Positive Class），例如1代表恶性肿瘤 预测函数/逻辑回归(Logistic Regression) \[\class{myMJSmall}{h_\theta(x) = g(\theta^Tx) \\ g(z) = \frac{1}{1+e^{-z}} \\ 即 h_\theta(x) = \frac{1}{1+e^{-\theta^Tx}}}\] \(0...

机器学习(Week2)-多变量线性回归

Lecture1: Multivariate Linear Regression 多变量线性回归（Multivariate Linear Regression） 符号 \(n\)：特征数量 \(x^{(i)}\)：第i个样本的所有特征 \(x^{(i)}_j\)：第i个样本的第j个特征。特别的\(x^{(i)}_0 = 1\) 预测函数(Hypothesis) \[\class{myMJSmall}{h_\theta(x)=\theta_0x_0+\theta_1x_1+ \cdots + \theta_nx_n}\\ \theta^Tx\] 其中\(x_0 = 0\) 代价函数(Cost Function/Squared Error Function/Mean Squared Error) \[\class{myMJSmall}{J(\theta)=J(\theta_0,\theta_1,\ldots,\theta_n)=\frac 1{2m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2}\]...

机器学习(Week1)-单变量线性回归

Lecture1: Introduce 机器学习定义 Arthur Samuel(1959), informal definition: The field of study that gives computers the ability to learn without being explicitly programmed. Tom Mitchell(1998), modern definition: A computer program is...

当我们凶狠地对待这个世界时，这个世界突然变得温文尔雅了。 – 余华《在细雨中呼喊》