神经网络模型建立在很多神经元之上，每一个神经元又是一个个学习模型。这些神经元（也叫激活单元，activation unit）采纳一些特征作为输出，并且根据本身的模型提供一个输出。

在神经网络训练的时候往往要确定目标函数，也就是损失函数。在训练的时候，损失函数的选择有很多种，最常用的则是均方误差（mean-square error, MSE）。反向传播算法是最常见的一种神经网络训练算法。借助这种算法，梯度下降法在多层神经网络中将成为可行方法。

开发一个机器学习系统，或者想试着改进一个机器学习系统的性能，你应如何决定接下来应该选择哪条道路？为了解释这一问题，我想仍然使用预测房价的学习例子，假如你已经完成了正则化线性回归，也就是最小化代价函数$J$的值，假如，在你得到你的学习参数以后，如果你要将你的假设函数放到一组新的房屋样本上进行测试，假如说你发现在预测房价时产生了巨大的误差，现在你的问题是要想改进这个算法，接下来应该怎么办？

学习速率是神经网络中随着时间推移，信息累积的速度。学习速率决定了网络达到最优值速度，或对于特定期望的输出时，网络的参数达到最优的状态的速度。在随机梯度下降（SGD）的平面图中，学习速率与误差梯度的形状无关，因为全局学习速率与误差梯度无关。然而，可以对原始SGD更新规则进行许多修改，将学习速率与错误梯度的大小和方向相关联。

激活函数是获取输入信号并将其转换为输出信号。激活函数为网络引入非线性，这就是我们称之为非线性的原因。神经网络是通用函数逼近器，深层神经网络使用反向传播法进行训练，反向传播需要使用可微分的激活函数。Backpropapagation使用此激活函数的下降梯度来更新网络权重。了解激活函数非常重要，因为它们对深层神经网络的函数逼近能力中起着至关重要的作用。在本文中，我列出并描述了常用的激活函数。

在机器学习中，损失函数（loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用 L(Y, f(x)) 来表示，损失函数越小，模型的鲁棒性就越好，正是损失函数指导了模型的学习。