# RAG 与知识库 — 解说词 v1（竖线 | 只切字幕，不影响朗读；每段字幕 ≤16 字）
# CHAPTER 1 为什么要RAG
大模型很聪明|但它有三个天生的短板
第一|它的知识有截止日期|训练之后发生的事|它一概不知
第二|它读不到你公司内网里的文档|也不知道你昨天刚写的会议纪要
第三|遇到不知道的问题|它不会说我不知道|而是一脸自信地编一个答案|这就是幻觉
怎么办|重新训练一遍|成本太高|而且明天数据又变了
于是工程师们想出了一个办法|让模型开卷考试
考试前先把资料整理成一本手册|答题时先翻手册|再作答
这套方法就是今天的主角|RAG|检索增强生成
2020年|Facebook AI 的研究者在论文里|正式提出了这个名字|Retrieval-Augmented Generation
它把检索和生成两个动作接在一起|回答不再只靠记忆|而是靠证据
# CHAPTER 2 知识库构建
RAG 好不好用|一半取决于那本手册|也就是知识库是怎么建的
第一步解析|PDF 网页 表格 扫描件|要先统一变成干净的文本|还得保留标题段落和表格结构
第二步切块|模型一次读不完一整本手册|所以要把文档切成一段段的 chunk
切多大是个学问|太大检索不精准|太小上下文被切碎|常见做法是几百个 token 一块|块与块之间留一点重叠
更讲究的做法|是按语义或标题层级来切|再给每个小块补一句它来自哪篇文档的哪一节|Anthropic 的实验显示|配合关键词检索|这一招能把检索失败率降低 49%
第三步向量化|用 Embedding 模型|把每一块文字压成一串几百到几千维的数字
意思相近的文字|向量就靠得近|退款流程和怎么把钱要回来|在这个空间里是邻居
第四步建索引|上亿个向量不能一个个比|要用 HNSW 这类近似最近邻索引|把查找从线性扫描变成几十次跳转
存进向量数据库|再配上元数据和权限标签|谁能看什么|在这一步就要定下来
别忘了文档会变|知识库要能增量更新|否则模型很快又在讲过期的故事
# CHAPTER 3 检索与生成
手册建好了|用户提问的那一刻|真正的考试才开始
第一步理解问题|用户的原话往往含糊|可以让模型先改写|拆成几个子问题|或者先假想一个答案|再拿它去检索
第二步检索|把问题也变成向量|去索引里找最近的邻居|这是语义检索
但语义检索有盲区|型号 编号 专有名词这种精确匹配|它经常抓不住
所以工程上通常做混合检索|向量找相似的|BM25 关键词找精确的|两路结果用倒数排名融合成一份
第三步重排|粗召回几十条|再用 Cross-Encoder 重排器|把问题和每一段放在一起精细打分|只留最相关的几条
这一步很像推荐系统里的精排|贵|但准
第四步组装上下文|研究发现|模型对塞在长上下文中间的信息记得最差|这叫 Lost in the Middle|所以最重要的证据要放在开头和结尾
最后生成|把问题和证据一起交给大模型|并要求它只根据给定资料回答|答不出来就说不知道|每句结论都标注来源
一个有引用可追溯的回答|才是 RAG 真正的价值
# CHAPTER 4 评估与进阶
系统搭起来了|怎么知道它好不好
评估要拆成两半|检索有没有找对|生成有没有说对
检索端看召回率 MRR 和 nDCG|生成端看忠实度和答案相关性|RAGAS 这类框架把它们做成了标准指标
一个常见的坑|回答很流畅|但证据是错的|所以忠实度永远比流畅度重要
RAG 也在进化
GraphRAG|把文档里的实体和关系抽成知识图谱|再对社区做摘要|专门回答这批文档整体讲了什么|这类全局问题
Agentic RAG|让模型自己决定要不要检索|检索几轮|结果够不够|不够就换个问法再搜|今天的 Deep Research 类产品|本质上就是它
多模态 RAG|直接对图片和 PDF 页面做向量|图表 截图也能被检索到
有人问|模型上下文都百万 token 了|还需要 RAG 吗
Anthropic 给过一条经验线|资料不到 20 万 token|大约 500 页|直接整本塞进上下文就够了
但一家公司的资料远不止 500 页|还有权限 时效和成本|RAG 负责找|长上下文负责读|两者是搭档不是对手
回到最初的比喻|RAG 让模型从闭卷变成开卷
但开卷考试想考高分|靠的从来不是翻书翻得快|而是那本手册整理得有多好
知识库|才是 RAG 真正的护城河
