資料內容：
一、介紹一下 gradient accumulation 顯存優(yōu)化方式？
正常情況下是一個batch之后統(tǒng)一計算梯度大小，gradient accumulation可以再指定個batch之后一起更新梯度，
這種情況下，可以再batch_size很小的時候，提升真正的batch_size，是一種顯存占用的優(yōu)化算法。隨著模型和
數(shù)據(jù)規(guī)模越來越大，顯存緊張的時候，需要把batch_size設置的很小，使用gradient accumulation的技術可以在
實際上提高真正的batch_size【如果batch_size很小的話，會導致訓練不穩(wěn)定，收斂更慢】
梯度累積（Gradient Accumulation）是深度學習訓練中的一種技術，用于在一次反向傳播（backpropagation）
中累積多個小批量數(shù)據(jù)的梯度，然后一次性更新模型參數(shù)。這個技術的主要目的是在內存有限的情況下，能夠有
效地使用大批量數(shù)據(jù)進行訓練，從而提高模型性能。以下是梯度累積的詳細解釋：
盡管梯度累積可以提供上述優(yōu)勢，但也需要注意一些問題。較大的累積步數(shù)可能導致更新頻率過低，從而降低訓
練速度。此外，累積梯度可能會導致一些優(yōu)化算法的性能下降，因為一次性更新參數(shù)可能會影響動量和學習率等
參數(shù)的計算。總之，梯度累積是一種有效的技術，可以在內存有限的情況下，充分利用大批量數(shù)據(jù)進行深度學習
模型的訓練，從而提高性能和效率。在使用梯度累積時，需要根據(jù)具體情況進行參數(shù)的設置和調整。
傳統(tǒng)的梯度更新方式，對于每一個batch都進行損失計算和梯度更新：
1. 背景：在深度學習中，通常會使用小批量隨機梯度下降（Mini-batch Stochastic Gradient Descent，簡稱
SGD）來訓練模型。每個小批量數(shù)據(jù)都會計算一次梯度，并用這個梯度來更新模型參數(shù)。然而，在某些情況
下，由于顯存（GPU內存）的限制，無法一次性處理大批量數(shù)據(jù)。這可能會限制了模型的批量大小，從而影
響了訓練效率和性能。
2. 梯度累積的原理：梯度累積的基本思想是，將多個小批量數(shù)據(jù)的梯度累積起來，然后一次性更新模型參數(shù)。
具體操作是，對于每個小批量數(shù)據(jù)，計算其梯度，并將這些梯度累積在一起。當累積的梯度達到一定數(shù)量時
（通常稱為累積步數(shù)），才執(zhí)行一次參數(shù)更新操作。
3. 作用：梯度累積的主要作用有以下幾點：
a. 內存效率：梯度累積允許在內存有限的情況下，使用更大的批量數(shù)據(jù)進行訓練。雖然每個小批量數(shù)據(jù)
的梯度會被累積，但累積的過程不會占用額外的內存空間，因此可以充分利用計算資源，提高訓練效
率。
b. 穩(wěn)定性：大批量數(shù)據(jù)可能包含更全面和豐富的信息，可以減少梯度的方差，從而在訓練過程中提供更
穩(wěn)定的梯度信號，有助于更快地收斂到較好的模型狀態(tài)。
c. 參數(shù)更新頻率控制：通過設置累積步數(shù)，可以控制參數(shù)更新的頻率。這可以在訓練過程中進行靈活的
調整，以適應不同的硬件限制和訓練需求
