交叉熵损失函数的实现,常见的损失函数

损失函数有哪些 2023-09-24 17:01 607 墨鱼

损失函数有哪些

交叉熵损失函数的实现,常见的损失函数

●＾● 实际上，我们可以使用交叉熵作为分类器的损失函数的根本原因是我们使用了最大似然法，即我们通过在数据集上施用最大似然法则从而得到了与交叉熵一致的目标函数(或者损失函数)。我们观交叉熵(Cross-entropy)损失函数是一种常用的分类问题损失函数。在二分类问题中，它的定义如下：L ( y ^ , y ) = − ( y log ⁡ y ^ + ( 1 − y ) log ⁡ ( 1 −

这个函数是对数的似然损失的修正。对数列的叠加可以惩罚那些非常自信但是却错误的预测。二元交叉熵损失函数的一般公式为：—y . log (p) + (1 —y) . log (1 —p)) 让我们继续使这个的确是用最大似然估计法写出来的损失函数，但是，只要你对损失函数有了解，就可能见到过，同样的这个公式也叫交叉熵，或者说是最小交叉熵方法。这就是有疑问的

●▂● 答案是不可以，我们先来看看sigmoid_cross_entropy_with_logits的代码实现吧。可以看到这就是标准的Cross Entropy算法实现，对W * X得到的值进行sigmoid激活，保先不看负无穷的问题，在One-Hot编码时，t k t_ktk中只有为1的这项，才有输出，也就是说，我们计算交叉熵损失函数，只用计算对应正确解的输出的自然对数即可。代码

交叉熵损失函数原理详解之前在代码中经常看见交叉熵损失函数(CrossEntropy Loss),只知道它是分类问题中经常使用的一种损失函数，对于其内部的原理总是模模糊糊，方法一，使用log_softmax()+nll_loss()实现对输入使用softmax函数计算，再取对数。input是经log_softmax()函数处理后的结果，pred_log target代表的是真实值。

后台-插件-广告管理-内容页尾部广告（手机）

标签：常见的损失函数