• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

秋招常见问题汇总

开发技术 开发技术 4个月前 (09-14) 56次浏览
目录
  • 一. 深度学习
    • 1. 常见的激活函数特点是什么?比较tanh、sigmoid以及relu。
  • 二. 机器学习
    • 1. 讲一讲熵

一. 深度学习

1. 常见的激活函数特点是什么?比较tanh、sigmoid以及relu。

参考[https://blog.csdn.net/weixin_36558054/article/details/90214751]

sigmoid函数的主要特点(缺点):

  • 反向传播时,很容易就会出现梯度消失的情况,从而无法完成深层网络的训练;
  • Sigmoids函数收敛缓慢。
  • 函数的输出不是以0为均值,将不便于下层的计算。

tanh的特点:

  • tanh 是 0 均值的,弥补了sigmoid函数均值为0.5的缺点;在0附近有更大的梯度,使模型收敛速度更快。
  • tanh函数的缺点:同sigmoid函数的第一个缺点一样,当z很大或很小时,导数都接近于0,会导致梯度很小,权重更新缓慢,即梯度消失现象。

relu的特点:

  • 在输入为正数的时候(对于大多数输入z空间来说),不存在梯度消失问题。
  • 计算速度要快很多。ReLU函数只有线性关系,不管是前向传播还是反向传播,都比sigmod和tanh要快很多。(sigmod和tanh要计算指数,计算速度会比较慢)
  • 缺点:当输入为负时,梯度为0,会产生梯度消失问题。

Leaky ReLU:

  • Leaky ReLU函数解决了ReLU函数在输入为负的情况下产生的梯度消失问题。

二. 机器学习

1. 讲一讲熵

参考:https://www.cnblogs.com/kyrieng/p/8694705.html

信息熵:H(X)被称为随机变量x的熵,它是表示随机变量不确定的度量,是对所有可能发生的事件产生的信息量的期望。
秋招常见问题汇总

信息熵是衡量随机变量分布的混乱程度,是随机分布各事件发生的信息量的期望值,随机变量的取值个数越多,状态数也就越多,信息熵就越大,混乱程度就越大。当随机分布为均匀分布时,熵最大;信息熵推广到多维领域,则可得到联合信息熵;

交叉熵:训练数据上模型学到的分布 P(model)和真实数据的分布P(real)越接近越好,所以我们可以使其相对熵最小。
秋招常见问题汇总

相对熵 (Relative entropy),也称KL散度 (Kullback–Leibler divergence):相对熵可以用来衡量两个概率分布之间的差异.
秋招常见问题汇总

交叉熵和KL散度之间的关系:当 H(p)为常量时(注:在机器学习中,训练数据分布是固定的),最小化相对熵DKL(p||q)等价于最小化交叉熵 H(p,q)也等价于最大化似然估计。
秋招常见问题汇总


喜欢 (0)