Python知識(shí)分享網(wǎng) - 專(zhuān)業(yè)的Python學(xué)習(xí)網(wǎng)站 學(xué)Python,上Python222
檢索增強(qiáng)生成(RAG) 優(yōu)化策略篇 PDF 下載
匿名網(wǎng)友發(fā)布于:2025-04-09 11:29:49
(侵權(quán)舉報(bào))
(假如點(diǎn)擊沒(méi)反應(yīng),多刷新兩次就OK!)

檢索增強(qiáng)生成(RAG) 優(yōu)化策略篇   PDF 下載 圖1

 

 

資料內(nèi)容:

 

 

一、RAG基礎(chǔ)功能篇
1.1 RAG 工作流程
RAG的工作流程看,RAG 模塊有:文檔塊切分、文本嵌入模型、提示工程、大模型生成。
 
二、RAG 各模塊有哪些優(yōu)化策略?
文檔塊切分:設(shè)置適當(dāng)?shù)膲K間重疊、多粒度文檔塊切分、基于語(yǔ)義的文檔切分、文檔塊摘要。
文本嵌入模型:基于新語(yǔ)料微調(diào)嵌入模型、動(dòng)態(tài)表征。
提示工程優(yōu)化:優(yōu)化模板增加提示詞約束、提示詞改寫(xiě)。
大模型迭代:基于正反饋微調(diào)模型、量化感知訓(xùn)練、提供大context window的推理模型。
此外,還可對(duì)query召回的文檔塊集合進(jìn)行處理,比如:元數(shù)據(jù)過(guò)濾[7]、重排序減少文檔塊數(shù)量[2]。
 
三、RAG 架構(gòu)優(yōu)化有哪些優(yōu)化策略?
3.1 如何利用 知識(shí)圖譜(KG)進(jìn)行上下文增強(qiáng)?
3.1.1 典型RAG架構(gòu)中,向量數(shù)據(jù)庫(kù)進(jìn)行上下文增強(qiáng) 存在哪些問(wèn)題?
向量數(shù)據(jù)庫(kù)進(jìn)行上下文增強(qiáng) 存在問(wèn)題:
1. 無(wú)法獲取長(zhǎng)程關(guān)聯(lián)知識(shí)
2. 信息密度低(尤其當(dāng)LLM context window較小時(shí)不友好)
3.1.2 如何利用 知識(shí)圖譜(KG)進(jìn)行上下文增強(qiáng)?
策略:增加一路與向量庫(kù)平行的KG(知識(shí)圖譜)上下文增強(qiáng)策略。