資料內(nèi)容:
1. 如何 利用 transformers 加載 Bert 模型?
2. 如何 利用 transformers 輸出 Bert 指定 hidden_state?
Bert 默認(rèn)是 十二層,但是有時(shí)候預(yù)訓(xùn)練時(shí)并不需要利用全部利用,而只需要預(yù)訓(xùn)練前面幾層即
可,此時(shí)該怎么做呢?
下載到bert-base-uncased的模型目錄里面包含 配置文件 config.json, 該文件中包含
output_hidden_states,可以利用該參數(shù)來設(shè)置 編碼器內(nèi)隱藏層層數(shù)