資料內(nèi)容：
一、為什么需要對文本分塊？
使用大型語言模型（LLM）時(shí)，切勿忽略文本分塊的重要性，其對處理結(jié)果的好壞有重大影響。
考慮以下場景：你面臨一個(gè)幾百頁的文檔，其中充滿了文字，你希望對其進(jìn)行摘錄和問答式處
理。在這個(gè)流程中，最初的一步是提取文檔的嵌入向量，但這樣做會帶來幾個(gè)問題：
• 信息丟失的風(fēng)險(xiǎn)：試圖一次性提取整個(gè)文檔的嵌入向量，雖然可以捕捉到整體的上下文，但也
可能會忽略掉許多針對特定主題的重要信息，這可能會導(dǎo)致生成的信息不夠精確或者有所缺
失。
• 分塊大小的限制：在使用如OpenAI這樣的模型時(shí)，分塊大小是一個(gè)關(guān)鍵的限制因素。例如，
GPT-4模型有一個(gè)32K的窗口大小限制。盡管這個(gè)限制在大多數(shù)情況下不是問題，但從一開始
就考慮到分塊大小是很重要的。
因此，恰當(dāng)?shù)貙?shí)施文本分塊不僅能夠提升文本的整體品質(zhì)和可讀性，還能夠預(yù)防由于信息丟失或不
當(dāng)分塊引起的問題。這就是為何在處理長篇文檔時(shí)，采用文本分塊而非直接處理整個(gè)文檔至關(guān)重要
的原因。
