tf中softmax_cross_entropy_with_logits與sparse_softmax_cross_entropy_with_logits

知其然，知其所以然。發表於2018-12-20
ROSGit

其實這兩個都是計算交叉熵，只是輸入資料不同。

#sparse 稀疏的、稀少的

    word_labels = tf.constant([2,0])
    predict_logits = tf.constant([[2.0,-1.0,3.0],[1.0,0.0,-0.5]])
    loss = tf.nn.sparse_softmax_cross_entropy_with_logits(
        labels = word_labels,logits = predict_logits)
    with tf.Session() as sess:
        print(sess.run(loss))
        #結果是：[0.32656264 0.4643688 ]

　　

word_prob_distribution = tf.constant([[0.0,0.0,1.0],[1.0,0.0,0.0]])
    loss = tf.nn.softmax_cross_entropy_with_logits(labels = word_prob_distribution,logits = predict_logits)
    with tf.Session() as sess:
        print(sess.run(loss))
        #結果是：[0.32656264 0.4643688 ]

　　

由於softmax_cross_entropy_with_logits允許提供一個概率分佈，因此在使用時有更大的自由度。
舉個例子，一種叫label_smoothing的技巧將正確資料的概率設為一個比1.0略小的值，將錯誤的該概率設定為一個比0.0略大的值，
這樣可以避免模型與資料過擬合，在某些時候可以提高訓練效果

word_prob_smooth = tf.constant([[0.01, 0.01, 0.97], [0.98, 0.03, 0.01]])
    loss = tf.nn.softmax_cross_entropy_with_logits(labels = word_prob_smooth,logits = predict_logits)
    with tf.Session() as sess:
        print(sess.run(loss))
        #[0.37329704 0.5186562 ]

　　






相關文章