資料內(nèi)容：
1. 微調(diào)方法是啥？如何微調(diào)？
fine-tune，也叫全參微調(diào)，bert微調(diào)模型一直用的這種方法，全部參數(shù)權(quán)重參與更新以適配領域數(shù)據(jù)，效果好。
prompt-tune, 包括p-tuning、lora、prompt-tuning、adaLoRA等delta tuning方法，部分模型參數(shù)參與微調(diào)，訓練
快，顯存占用少，效果可能跟FT（fine-tune）比會稍有效果損失，但一般效果能打平。
鏈家在BELLE的技術(shù)報告《A Comparative Study between Full-Parameter and LoRA-based Fine-Tuning on
Chinese Instruction Data for Instruction Following Large Language Model》中實驗顯示：FT效果稍好于LoRA。
2. 為什么需要 PEFT？
在面對特定的下游任務時，如果進行Full FineTuning（即對預訓練模型中的所有參數(shù)都進行微調(diào)），太過低效；
而如果采用固定預訓練模型的某些層，只微調(diào)接近下游任務的那幾層參數(shù)，又難以達到較好的效果。
3. 介紹一下 PEFT？
PEFT技術(shù)旨在通過最小化微調(diào)參數(shù)的數(shù)量和計算復雜度，來提高預訓練模型在新任務上的性能，從而緩解大型
預訓練模型的訓練成本。這樣一來，即使計算資源受限，也可以利用預訓練模型的知識來迅速適應新任務，實現(xiàn)
高效的遷移學習。
4. PEFT 有什么優(yōu)點？
PEFT技術(shù)可以在提高模型效果的同時，大大縮短模型訓練時間和計算成本，讓更多人能夠參與到深度學習研究
中來。除此之外，FEFT可以緩解全量微調(diào)帶來災難性遺忘的問題。
