1 開源解析和拆分文件
第三方的工具去對檔案解析拆分，去將我們的檔案內容給提取出來，並將我們的文件內容去拆分成一個小的chunk。常見的PDF word mark down, JSON、HTML。都可以有很好的一些模組去把這些檔案去進行一個東西去提取。
優勢
- 支援豐富的文件型別
- 每種文件多樣化選擇
- 與開源框架無縫整合
但有時效果非常差，來內容跟原始的檔案內容差別大。
2 PDF格式多樣性
複雜多變的文件格式，提高解析效果十分困難。
3 複雜文件格式解析問題
文件內容質量將很大程度影響最終效果，文件處理過程涉及問題：
內容不完整
對文件的內容進行提取的時候，可能會發現提取出來的文件它的內容是會被截斷的。跨頁形式，提取出來它的上下頁其實兩部分內容就會被截斷，導致文件內部分內容丟失，我們去解析圖片或者是說雙欄複雜的這種格式。它會有一部分內容的丟失。
內容錯誤
同一頁PDF檔案可能存在文字、表格、圖片等混合。
PDF解析過程中，同一頁它不同段落其實會也會有不同標準的一些格式。按通用格式去提取解析就遇到同頁不同段落格式不標準情況。
文件格式
像常見PDF md檔案，需要去支援把這些各型別的文件格式的檔案都給提取。
邊界場景
程式碼塊還有單元格這些，都是我們去去解析一個複雜文件格式中會遇到一些問題。
4 PDF內容提取流程
5 為什麼解析文件後需要做知識片段拆分
Token限制
- 絕大部分開源限制 <= 512 Tokens
- bge_base、e5_large、m3e_base、text2vector_large_chinese、multilingnal-e5-base..
效果影響
- 召回效果：有限向量維度下表達較多的文件資訊易產生失真
- 回答效果：召回內容中包含與問題無關資訊對LLM增加干擾
成本控制
- LLM費用：按照Token計費
- 網路費用：按照流量計費
6 Chunk拆分對最終效果的影響
Chunk太長
資訊壓縮失真
Chunk太短
表達缺失上下文；匹配分數容易變高
Chunk跨主題
內容關係脫節
原文連續內容（含表格）被截斷
單個Chunk資訊表達不完整，或含義相反
干擾資訊
如空白、HTML、XML等格式，同等長度下減少有效資訊、增加干擾資訊
主題和關係丟失
缺失了主題和知識點之間的關係
7 改進知識的拆分方案
8 騰訊雲向量資料庫 AI****套件
關注我，緊跟本系列專欄文章，咱們下篇再續！
作者簡介：魔都技術專家，多家大廠後端一線研發經驗，在分散式系統、和大資料系統等方面有多年的研究和實踐經驗，擁有從零到一的大資料平臺和基礎架構研發經驗，對分散式儲存、資料平臺架構、資料倉儲等領域都有豐富實踐經驗。
各大技術社群頭部專家博主。具有豐富的引領團隊經驗，深厚業務架構和解決方案的積累。
負責：
- 中央/分銷預訂系統效能最佳化
- 活動&優惠券等營銷中臺建設
- 交易平臺及資料中臺等架構和開發設計
- 車聯網核心平臺-物聯網連線平臺、大資料平臺架構設計及最佳化
目前主攻降低軟體複雜性設計、構建高可用系統方向。
參考：
- 程式設計嚴選網
本文由部落格一文多發平臺 OpenWrite 釋出！