資料內(nèi)容：
三、KL 散度與交叉熵的區(qū)別？
KL散度指的是相對熵，KL散度是兩個概率分布P和Q差別的非對稱性的度量。KL散度越小表示兩個分布越接近。
也就是說KL散度是不對稱的，且KL散度的值是非負數(shù)。（也就是熵和交叉熵的差）
• 交叉熵損失函數(shù)是二分類問題中最常用的損失函數(shù)，由于其定義出于信息學(xué)的角度，可以泛化到多分類問題
中。
• KL散度是一種用于衡量兩個分布之間差異的指標，交叉熵損失函數(shù)是KL散度的一種特殊形式。在二分類問題
中，交叉熵函數(shù)只有一項，而在多分類問題中有多項。
四、多任務(wù)學(xué)習(xí)各loss差異過大怎樣處理？
多任務(wù)學(xué)習(xí)中，如果各任務(wù)的損失差異過大，可以通過動態(tài)調(diào)整損失權(quán)重、使用任務(wù)特定的損失函數(shù)、改變模型
架構(gòu)或引入正則化等方法來處理。目標是平衡各任務(wù)的貢獻，以便更好地訓(xùn)練模型
