資料內(nèi)容：
一、為什么需要 對(duì) RAG 進(jìn)行評(píng)測(cè)？
在探索和優(yōu)化 RAG（檢索增強(qiáng)生成器）的過(guò)程中，如何有效評(píng)估其性能已經(jīng)成為關(guān)鍵問(wèn)題。
二、如何合成 RAG 測(cè)試集？
假設(shè)你已經(jīng)成功構(gòu)建了一個(gè)RAG 系統(tǒng)，并且現(xiàn)在想要評(píng)估它的性能。為了這個(gè)目的，你需要一個(gè)
評(píng)估數(shù)據(jù)集，該數(shù)據(jù)集包含以下列：
• question（問(wèn)題）：想要評(píng)估的RAG的問(wèn)題
• ground_truths（真實(shí)答案）：?jiǎn)栴}的真實(shí)答案
• answer（答案）：RAG 預(yù)測(cè)的答案
• contexts（上下文）：RAG 用于生成答案的相關(guān)信息列表
前兩列代表真實(shí)數(shù)據(jù)，最后兩列代表 RAG 預(yù)測(cè)數(shù)據(jù)。
要?jiǎng)?chuàng)建這樣的數(shù)據(jù)集，我們首先需要生成問(wèn)題和答案的元組。
接下來(lái)，在RAG上運(yùn)行這些問(wèn)題以獲得預(yù)測(cè)結(jié)果。
• 生成問(wèn)題和基準(zhǔn)答案（實(shí)踐中可能會(huì)出現(xiàn)偏差）
要生成（問(wèn)題、答案）元組，我們首先需要準(zhǔn)備 RAG 數(shù)據(jù)，我們將其拆分為塊，并將其嵌入向量
數(shù)據(jù)庫(kù)中。 完成這些步驟后，我們會(huì)指示 LLM 從指定主題中生成 num_questions 個(gè)問(wèn)題，從而得
到問(wèn)題和答案元組。
為了從給定的上下文中生成問(wèn)題和答案，我們需要按照以下步驟操作：
1. 選擇一個(gè)隨機(jī)塊并將其作為根上下文
2. 從向量數(shù)據(jù)庫(kù)中檢索 K 個(gè)相似的上下文
3. 將根上下文和其 K 個(gè)相鄰上下文的文本連接起來(lái)以構(gòu)建一個(gè)更大的上下文
4. 使用這個(gè)大的上下文和 num_questions 在以下的提示模板中生成問(wèn)題和答案
