我们正处在一个与AI对话成为日常的时代。我们满怀期待地将精心整理的文档、报告、知识库喂给强大的语言模型，期望它能像一位博学的专家那样，为我们答疑解惑。然而，现实往往不尽如人意。
你是否也遇到过这样的窘境：明明文档里白纸黑字写得清清楚楚，AI的回答却像是喝醉了酒，给出一个类似“根据文档，建议多喝热水”的荒谬答案。这并非AI模型本身“智商下线”，而更可能是一个被我们忽略的、却至关重要的环节出了问题——我们“喂养”AI的方式。
问题的根源，不在于AI的“大脑”（生成能力），而在于它的“眼睛”（检索能力）。而决定这双眼睛能否精准聚焦的，正是我们如何将原始知识“切块”（Chunking）的过程。切得太碎，信息支离破碎，AI只见树木不见森林；切得太粗，内容庞杂冗余，AI在信息的噪音中迷失方向。
今天，我们不谈高深的理论，只专注一件事：如何优雅地切割文本，让AI真正“读懂”你的文档。这不仅是一门技术，更是一门艺术。
“整本书喂给它”为何行不通？RAG背后的四大现实制约
一个自然而然的想法是：既然大模型如此强大，为何不直接把整篇文档、甚至整本书都作为上下文，让它一次性消化呢？这个看似直接的路径，却被四个现实的“物理定律”所阻挡。
首先是 Embedding模型的长度天花板。RAG，即检索增强生成（Retrieval-Augmented Generation），其核心是将知识转化为向量（Vector）存入数据库。但无论是OpenAI还是Hugging Face的主流Embedding模型，都有其处理文本的长度上限（如8192个tokens）。一篇长文动辄数万字，远超其单次处理能力，无法一次性生成一个精准的向量表示。
其次，过大的信息颗粒度会稀释语义焦点。RAG的精髓在于语义相似度的匹配。一个理想的文本“块”（Chunk），应该聚焦于一个独立且完整的主题。如果一个块过于庞大，融合了多个不相干的主题，那么它生成的向量就会变成一个模糊的“平均值”，丧失了语义上的独特性。当用户提出一个精准的问题时，这个“大而全”的模糊向量很难在检索中脱颖而出。
再者，上下文的污染与成本的浪费。即便我们将一个巨大的文本块成功检索出来并塞给大模型，也会带来两个问题。一方面，冗余和不相关的信息会“污染”上下文，干扰模型的注意力，甚至诱发幻觉（Hallucination）。另一方面，大模型的推理是按token计费的，喂入大量无关内容无异于在昂贵的计算资源上“空烧”，成本急剧上升。
最后，是 动态更新的效率难题。知识库是活的，需要持续更新。如果我们以整篇长文为单位进行管理，哪怕只修改其中一个字，也需要对全文重新进行Embedding和索引，这在维护大型知识系统时是不可接受的。而小颗粒度的分块，则让我们可以实现高效的、局部的增删改查。
理解了这些制约，我们就明白，分块不仅是必要的技术妥协，更是优化RAG系统性能的战略核心。
分块的初级形态：从“一刀切”到“庖丁解牛”
分块策略的演进，如同工匠技艺的提升，从简单粗暴走向精雕细琢。
最原始的方法是固定大小分块（Fixed-size chunking）。这是最直观、最简单的策略，如同用一把尺子在布料上均匀地划线切割。我们设定一个固定的长度（如500个token）和一个重叠（Overlap）大小，然后像移动滑窗一样切割整个文本。它的优点是实现简单、计算开销小。然而，缺点也同样明显：这种机械的切割方式完全无视文本的自然结构，极易在句子中间、段落之间强行“腰斩”，破坏语义的完整性。
为了弥补这一缺陷，语义分块（Semantic chunking） 应运而生。它不再依赖固定的字符长度，而是试图理解文本的“关节”。通过将文本分割成句子，然后计算相邻句子之间的语义相似度，它能找到语义发生“断裂”的地方，并将这些地方作为切点。如果连续几个句子的语义高度相关，它们就会被自然地合并成一个块。这种方法如同“庖丁解牛”，顺着文本的肌理进行分割，能更好地保持每个块内部的语义连贯性。
进阶之道：让分块拥有“结构感”与“智慧”
当我们处理的文档具有清晰的内在结构时，更高级的分块策略便能大显身手。
递归分块（Recursive chunking） 是一种兼顾了结构与大小的灵活方案。它会设定一个分块符的优先级列表（如：段落\n\n > 句子. > 空格 ）。它首先尝试用最高优先级的“段落”来分割，如果分出的块仍然过大，它就会在该块内部，用次一级优先级的“句子”继续分割，如此递归下去，直到每个块的大小都符合预设的限制。这种方法在保持语义的同时，也确保了分块大小的均匀性，是目前许多框架（如LangChain）默认的推荐策略。
更进一步，文档结构分块（Document structure-based chunking） 则完全利用了文档本身固有的元信息。对于像Markdown、HTML或PDF这类带有标题、章节、列表等结构化标记的文档，我们可以直接将这些标记作为分块的天然边界。例如，将一个二级标题（##）及其下的所有内容作为一个独立的块。这种方法能最大程度地保留文档的逻辑层次，生成的块不仅语义完整，更自带“上下文归属”，非常适合用于技术文档、书籍等场景。
而分块策略的终极形态，或许是基于大语言模型的分块（LLM-based chunking）。既然我们的最终目的是让LLM更好地理解内容，何不直接让LLM来决定如何分块？我们可以设计一个精巧的提示词（Prompt），将一段文本交给一个LLM，让它根据上下文的连贯性和主题的独立性，自己判断出最佳的分割点。这无疑是最智能、分块质量最高的方法，因为它本身就在模拟“阅读和理解”的过程。当然，其代价也是最高的，无论是时间成本还是推理成本，都远超前几种方法。
没有银弹，只有权衡：你的RAG分块策略罗盘
至此，我们已经遍历了从简单到智能的五种分块策略。一个显而易见的问题是：哪一种是最好的？
答案是：没有最好的，只有最合适的。
选择哪种策略，本质上是在不同维度之间进行权衡。我们可以构建一个简单的决策罗盘来辅助思考：
| 策略 | 适用场景 | 推荐指数 |
|---|---|---|
| 固定大小分块 | 快速原型、普通文本 | ⭐⭐⭐ |
| 语义分块 | 高度连贯、语义密集内容 | ⭐⭐⭐⭐⭐ |
| 递归分块 | 通用场景、平衡性好 | ⭐⭐⭐⭐ |
| 文档结构分块 | 技术文档、说明书 | ⭐⭐⭐⭐⭐ |
| 基于LLM分块 | 高价值、非结构化文本 | ⭐⭐⭐⭐ |
- 追求快速实现和通用性？ 从“递归分块”开始。
- 处理的是高度结构化的技术文档或书籍？ “文档结构分块”是你的不二之选。
- 内容是散文、小说这类语义高度连贯的文本？ “语义分块”能带来惊喜。
- 预算充足，且对少数高价值、结构混乱的文本有极致的理解要求？ 尝试让LLM亲自操刀。
对话的质量，始于输入的质量
回顾我们最初的那个“多喝热水”的问题，现在答案已经不言而喻。AI的智慧并非凭空而来，它深深地根植于我们提供给它的信息质量。一个优秀的RAG系统，其魅力不仅在于后端那个强大的语言模型，更在于前端这一系列看似琐碎、实则深刻的数据预处理工作。
如何为AI准备一份“营养均衡、易于消化”的精神食粮，决定了我们最终能从这场人机对话中收获多大的价值。而这一切，都始于对“分块”这门艺术的深刻理解与精妙实践。
思想来源 (Source of Inspiration): 王树义
原始视频 (Original Video): https://www.youtube.com/watch?v=nlAlbcigp-s