資料內容：
一、LoRA篇
1.1 什么是 LoRA？
• 介紹：通過低秩分解來模擬參數(shù)的改變量，從而以極小的參數(shù)量來實現(xiàn)大模型的間接訓練。
1.2 LoRA 的思路是什么？
1. 在原模型旁邊增加一個旁路，通過低秩分解（先降維再升維）來模擬參數(shù)的更新量；
2. 訓練時，原模型固定，只訓練降維矩陣A和升維矩陣B；
3. 推理時，可將BA加到原參數(shù)上，不引入額外的推理延遲；
4. 初始化，A采用高斯分布初始化，B初始化為全0，保證訓練開始時旁路為0矩陣；
5. 可插拔式的切換任務，當前任務W0+B1A1，將lora部分減掉，換成B2A2，即可實現(xiàn)任務切換；
1.3 LoRA 的特點是什么？
• 將BA加到W上可以消除推理延遲；
• 可以通過可插拔的形式切換到不同的任務；
• 設計的比較好，簡單且效果好；
1.4 簡單描述一下 LoRA?
LoRA的實現(xiàn)思想很簡單，就是凍結一個預訓練模型的矩陣參數(shù)，并選擇用A和B矩陣來替代，在下游任務時只更
新A和B。
