1. 激活函数

深度学习常见激活函数介绍及代码实现 - UCloud云社区

深度神经网络引入非线性单元，使训练问题不再是一个凸优化问题，虽然我们很难得到最优解，但是可以通过梯度下降去寻找局部最小值。

https://www.ucloud.cn/yun/20462.html

1. ReLU

2. Sigmoid

• 缺点
sigmoid有一个梯度消失的问题, (变量值很大或很小)的时候, 梯度就快消失了(趋近于0).

3. Tanh

4. Logistic Regression (LR 逻辑回归)

[ML] 逻辑回归与 Softmax 回归

Logistic Regression (LR) 译为 逻辑回归 ，但实际上这是一种分类模型（二分类或多分类）。下面精要地把模型中的核心概念、推导梳理一下。本文主要内容如下： 逻辑回归的概率模型 逻辑回归的含义 逻辑回归损失函数的由来 逻辑回归模型的求解方法 ：牛顿法、梯度下降法 多分类问题的一般处理方法 多分类逻辑回归的概率模型 Softmax 回归形式推导 逻辑回归与 Softmax 回归的联系 过拟合问题的处理 二分类问题的 LR 模型是如下的条件概率分布： 实际上，又可以写成： 我们称如下形式的函数为 Sigmoid 函数： 实际上，LR 模型是 用线性回归模型的结果逼近真实标记 ( ) 的对数几率 (log odds,logit). 所谓的几率表示 事件发生的概率 与事件不发生的概率 之比 那么对数几率就是 对几率取自然对数 的结果 因此，在周老师的西瓜书中称该模型为"对数几率回归"（对率回归）. 给定一组训练数据，要求解上述的条件概率分布，可以应用 极大似然估计法 (Maximum Likelihood Estimation, MLE) 估计模型的参数。极大似然估计，即是对样本的似然函数 进行求参.

https://zhuanlan.zhihu.com/p/62381502

• sigmoid函数

• LR 模型是用线性回归模型的结果逼近真实标记 ( ) 的对数几率 (log odds,logit). 所谓的几率表示事件发生的概率 与事件不发生的概率 之比
那么对数几率就是对几率取自然对数的结果

• 给定一组训练数据, 要求解上述的条件概率分布, 可以应用极大似然估计法 (Maximum Likelihood Estimation, MLE) 估计模型的参数. 极大似然估计, 即是对样本的似然函数 L 进行求参.
令 , 似然函数为:
对数似然函数(求最大化):
最后的优化问题（转化为最小化）：
针对上述最小化问题，采用 Newton method, quasi-Newton method (BFGS, L-BFGS), conjugate gradient 或者梯度下降法 (引入超参数 ) , SGD 等等求都可以.
之后就是求解.

• 关联知识: 机器学习模型介绍 - 1. Logistic Regression

5. 多项逻辑回归模型(Multinomial Logistic Regression; softmax regression)

• Softmax Regression 与 logistic regression 的联系
softmax逻辑回归就是多分类的逻辑回归
详细推导
[ML] 逻辑回归与 Softmax 回归
Logistic Regression (LR) 译为 逻辑回归 ，但实际上这是一种分类模型（二分类或多分类）。下面精要地把模型中的核心概念、推导梳理一下。本文主要内容如下： 逻辑回归的概率模型 逻辑回归的含义 逻辑回归损失函数的由来 逻辑回归模型的求解方法 ：牛顿法、梯度下降法 多分类问题的一般处理方法 多分类逻辑回归的概率模型 Softmax 回归形式推导 逻辑回归与 Softmax 回归的联系 过拟合问题的处理 二分类问题的 LR 模型是如下的条件概率分布： 实际上，又可以写成： 我们称如下形式的函数为 Sigmoid 函数： 实际上，LR 模型是 用线性回归模型的结果逼近真实标记 ( ) 的对数几率 (log odds,logit). 所谓的几率表示 事件发生的概率 与事件不发生的概率 之比 那么对数几率就是 对几率取自然对数 的结果 因此，在周老师的西瓜书中称该模型为"对数几率回归"（对率回归）. 给定一组训练数据，要求解上述的条件概率分布，可以应用 极大似然估计法 (Maximum Likelihood Estimation, MLE) 估计模型的参数。极大似然估计，即是对样本的似然函数 进行求参.

https://zhuanlan.zhihu.com/p/62381502

2. 损失函数

• 损失函数的目的: 度量真实值和预测值之间的距离

2.1. 交叉熵(cross entropy)

2.1.1. cross entropy

• categorial_crossentropy函数和sparse_categorial_crossentropy函数:
• 相同之处在于它们的 都在 之间
• 不同在于:
• 如果 的结果是one-hot encoded, 就是用categorical_crossentropy. 例(三分类问题): .
• 如果 的结果是整型, 使用sparse_categorical_crossentropy. 例(三分类问题): .

2.1.2. Binary cross entropy

• 二元交叉熵是二分类问题中常用的一个Loss损失函数, 是用来评判一个二分类模型预测结果的好坏程度. 公式如下:
• 其中, 是二元标签 0 或者 1, 是模型的预测值为标签 的概率
• 之所以加负号是因为概率在, 取log之后是负的, 用负数表示信息不符合我们的认知逻辑，所以取负让结果为正.
就是说模型预测值越接近于gt值, loss越小; 越远离gt值, loss越大.

• 对于标签 为 1 的情况, 如果预测值 趋近于 1, 那么损失函数的值应当趋近于 0. 反之, 如果此时预测值 趋近于 0, 那么损失函数的值为 . 如下图所示.

• 对于标签 为 0 的情况如下

 

2.2. Softmax (归一化指数函数)

• 求导方便

• 好结果和坏结果更显著
梯度下降时更新梯度, 由于网络末尾需要softmax函数计算结果.
• 交叉熵函数的简单形式:
正向和反向求导时就很方便
Softmax 函数的特点和作用是什么？
在看到LDA模型的时候突然发现一个叫softmax函数。维基上的解释和公式是："softmax function is a genera...

https://www.zhihu.com/question/23765351

• 损失函数推导过程
逻辑回归（Logistic Regression）（二）
代价函数的常见形式（cont） 这里接着上篇的内容（ 逻辑回归（Logistic Regression）（一））写。我们上次说到了逻辑回归中的代价函数 : 但是我们会疑问，为什么这么定义代价函数呢？下面我会简单的解释一下： 对于单个的样本来讲， 所对应的 为： 上面的方程等价于： 当 时： 其函数图像为： 从图中可以看出， ，当预测值 时，可以看出代价h_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}函数 的值为0，这正是我们希望的。如果预测值 即 ,意思是预测 的概率为0，但是事实上 ，因此代价函数 相当于给学习算法一个惩罚。 同理，我们也可以画出当 时， 函数 的图像： 代价函数与参数 代价函数衡量的是模型预测值h(θ) 与标准答案y之间的差异，所以总的代价函数J是h(θ)和y的函数，即，J=f(h(θ), y)。又因为y都是训练样本中给定的，h(θ)有θ决定，所以，最终还是模型参数θ的改变导致了J的改变。对于不同的θ，对应不同的预测值h(θ)，也就对应着不同的代价函数J的取值。变化过程为： 为了更直观的看到参数对代价函数的影响，举个简单的例子： 有训练样本{(0, 0), (1, 1), (2, 2), (4, 4)}，即4对训练样本，每个样本中第1个是x的值，第2个是y的值。这几个点很明显都是y=x这条直线上的点。如下图： 常数项为0，所以可以取θ0=0，然后取不同的θ1，可以得到不同的拟合直线。当θ1=0时，拟合的直线是y=0，即蓝色线段，此时距离样本点最远，代价函数的值（误差）也最大；当θ1=1时，拟合的直线是y=x，即绿色线段，此时拟合的直线经过每一个样本点，代价函数的值为0。 通过下图可以查看随着θ1的变化，J(θ)的变化情况： 从图中可以很直观的看到θ对代价函数的影响，当θ1=1时，代价函数J(θ)取到最小值。因为线性回归模型的代价函数（均方误差）的性质非常好，因此也可以直接使用代数的方法，求J(θ)的一阶导数为0的点，就可以直接求出最优的θ值。 代价函数与梯度 梯度下降中的梯度指的是代价函数对各个参数的偏导数，偏导数的方向决定了在学习过程中参数下降的方向，学习率（通常用α表示）决定了每步变化的步长，有了导数和学习率就可以使用梯度下降算法（Gradient Descent Algorithm）更新参数了, 即求解使 最小的参数 : 看来其和线性回归中的梯度下降函数形式一模一样，但其实是不一样的，因为在logistic回归中 关于从 到 推导如下： [机器学习] Coursera ML笔记 - 逻辑回归（Logistic Regression） sigmoid函数详解_mmmmmm_新浪博客 逻辑斯谛回归之决策边界 logistic regression -- decision boundary 【机器学习】代价函数（cost function）

https://zhuanlan.zhihu.com/p/28415991

3. 过拟合问题

偏差 (bias) 衡量模型的期望预测与真实结果的偏离程度（模型的拟合能力）；方差 (variance) 衡量了同样大小的训练集的变动所导致的学习性能的变化, 即刻画了数据扰动 （数据变化对模型预测能力）所造成的影响（或者理解为在测试集上的表现）。噪声表达了在 当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度.

• 过拟合: low bias, high variance

• 欠拟合: high bias, low varience

3.1. 一般处理方法

1. 减少特征的数量: 人工篮选特征、嵌入式选择

2. 正则化：保持所有特征当时减小或者增大特征参数 , 使得所有变量对最终的预测只贡献一 点比例

• 这里一般采用L1或L2正则化：(损失函数推导见拓展部分)

4. Dropout

• 以一定的概率随机地“临时丢弃”一部分神经元节点.

• 优点, 解决过拟合的原因:
• 训练时:
• 减小网络的大小
• 减少神经元之间复杂的共适应关系(co-adaptations), 这样权值的更新不再依赖于有固定关系的隐含节点的共同作用，阻止了某些特征仅仅在某个特定特征下才有效果的情况.
• 人工神经网络的一个核心思想是分布式表征(Distributed Representation), 当我们表述一个概念的时候, 神经元和概念之间不是一对一对应映射(map)存储的，它们之间的关系是多对多。当一个节点发生故障的时候, 其他对应的节点能表达概念.
• 每次迭代所得到的不同结构的神经网络, 比只在单个健全网络上进行特征学习, 其泛化能力来得更加健壮.
• 测试时:
• 将参与学习的节点和那些被隐藏的节点以概率p加权求和，综合计算得到网络的输出。(算是一种集成学习(Ensemble Learning))

• 训练阶段每个神经元以概率p被保留

• 测试阶段每个神经元都激活, 权重W要乘以p, 输出pW
• 因为输入将被dropout的神经元的值为, 训练时dropout之后的期望是, 在预测阶段总是激活, 所以为了保持相同的输出期望, 所以.

5. 目标函数, 代价函数, 损失函数

1. 代价函数:
• 代价函数=损失函数, loss function越小, 标识模型对数据的拟合越好

2. 目标函数:
• 在代价函数的最优化经验风险的基础上加入优化结构风险策略(eg: L2正则化)的函数表达式. 不加结构风险策略时, 目标函数就与代价函数一致了.

6. 损失函数的使用场景

7. k-fold交叉验证 Method of Stacking

1. (左半边) 训练时每个model都用k-fold cross validation训练得到k个模型，测试时每个model的k个模型预测测试集得到的结果取平均

2. (右半边) 训练时使用level2 model训练 验证集的合集和训练集，测试时使用level2 model来预测