• 微信公众号:美女很有趣。 工作之余,放松一下,关注即送10G+美女照片!

李宏毅《机器学习》学习笔记5.2

开发技术 开发技术 3小时前 1次浏览

4.classification

分类模型的输出

李宏毅《机器学习》学习笔记5.2
李宏毅《机器学习》学习笔记5.2
若是将不同分类编号作为真值,可能让模型误认为相邻的分类是相近的,因此使用向量表示不同类别。
李宏毅《机器学习》学习笔记5.2
李宏毅《机器学习》学习笔记5.2
模型最后的输出值需要softmax处理,使得输出值落在0-1区间。softmax和标准化类似。

分类模型loss function

李宏毅《机器学习》学习笔记5.2
李宏毅《机器学习》学习笔记5.2
分类模型的loss通过cross-entropy计算,因为传统的均方根方法在loss大值区斜率过于平坦,训练时容易卡住。

5.feature normalization

李宏毅《机器学习》学习笔记5.2
李宏毅《机器学习》学习笔记5.2
让不同维度的特征标准化,更利于loss的收敛。
李宏毅《机器学习》学习笔记5.2
李宏毅《机器学习》学习笔记5.2
各layer的输出也要进行标准化,与输入时各个feature在各自维度上标准化不同,layer的输出需要一起标准化。
李宏毅《机器学习》学习笔记5.2
李宏毅《机器学习》学习笔记5.2
这种将所有input共同标准化的方法,使得除了本身的网络,还有另一个“巨大的网络”来计算(mu)(sigma)。另外为了避免各输出平均值为0带来的限制,在训练后期可以引入参数(beta)(gamma)
李宏毅《机器学习》学习笔记5.2
在实际testing过程中,我们可能等不到样本够一个batch就运行,那该如何计算(mu)(sigma)呢?在训练过程中,我们可以使用先前计算好的(mu)(sigma)的平均值。


程序员灯塔
转载请注明原文链接:李宏毅《机器学习》学习笔记5.2
喜欢 (0)