資料內(nèi)容:
一、RAG基礎(chǔ)功能篇
1.1 RAG 工作流程
從RAG的工作流程看,RAG 模塊有:文檔塊切分、文本嵌入模型、提示工程、大模型生成。
二、RAG 各模塊有哪些優(yōu)化策略?
• 文檔塊切分:設(shè)置適當(dāng)?shù)膲K間重疊、多粒度文檔塊切分、基于語(yǔ)義的文檔切分、文檔塊摘要。
• 文本嵌入模型:基于新語(yǔ)料微調(diào)嵌入模型、動(dòng)態(tài)表征。
• 提示工程優(yōu)化:優(yōu)化模板增加提示詞約束、提示詞改寫(xiě)。
• 大模型迭代:基于正反饋微調(diào)模型、量化感知訓(xùn)練、提供大context window的推理模型。
此外,還可對(duì)query召回的文檔塊集合進(jìn)行處理,比如:元數(shù)據(jù)過(guò)濾[7]、重排序減少文檔塊數(shù)量[2]。
三、RAG 架構(gòu)優(yōu)化有哪些優(yōu)化策略?
3.1 如何利用 知識(shí)圖譜(KG)進(jìn)行上下文增強(qiáng)?
3.1.1 典型RAG架構(gòu)中,向量數(shù)據(jù)庫(kù)進(jìn)行上下文增強(qiáng) 存在哪些問(wèn)題?
向量數(shù)據(jù)庫(kù)進(jìn)行上下文增強(qiáng) 存在問(wèn)題:
1. 無(wú)法獲取長(zhǎng)程關(guān)聯(lián)知識(shí)
2. 信息密度低(尤其當(dāng)LLM context window較小時(shí)不友好)
3.1.2 如何利用 知識(shí)圖譜(KG)進(jìn)行上下文增強(qiáng)?
• 策略:增加一路與向量庫(kù)平行的KG(知識(shí)圖譜)上下文增強(qiáng)策略。