第 8 章延伸 · 智能体工程进阶
8.5 大模型的知识库:构建、召回、用 AI 建库
很多初学者以为"大模型背后有个庞大的数据库能随时查"。这一节先纠正这个误区,再把真正的"外挂知识库(RAG)"一次讲透:它怎么构建、怎么被召回、你手里的一堆文件如何用 AI 搭成高质量知识库,最后落到 Dify 实操。
8.5.1 先纠正误区:大模型的"知识"到底存哪里
先答你最关心的问题。大模型背后有"庞大知识库"吗?没有可检索的数据库。它的知识以"参数"的形式存在——那是在训练时从海量文本里学出的统计规律,不是一份"能查的文本库"。
想象一位读过几千本书的专家,但你把书都收走了。你问他问题,他靠的是记忆里形成的"印象"当众作答——想不起来就编(幻觉),读者没读过的、最近发生的事他答不好(知识截止)。这就像大模型:参数记忆 + 逐词预测,没有一本"随开随查"的书。RAG 要做的,就是在他答题时把一本"指定的书"递到他手上。
| 维度 | 内部知识(参数记忆) | 外挂知识库(RAG) |
|---|---|---|
| 存哪里 | 模型参数里(不可直接读写) | 独立的向量数据库 / 文档库 |
| 怎么更新 | 要重新训练/微调,贵且慢 | 随时增删文档,便宜快 |
| 最新/内部信息 | 做不到(知识截止) | 可以(把资料放进去) |
| 出错表现 | 凭印象,可能幻觉 | 给出处、可溯源,更准 |
| 成本 | 固定(每次生成都要) | 额外(检索 + 更多上下文 token) |
所以,"给大模型增补知识"的常规做法不是改参数,而是给它建一个能查的外挂知识库。下面 8.5.2–8.5.4 讲清它的机制。
8.5.2 外挂知识库 = 开卷考试(RAG 在解决什么)
RAG(Retrieval-Augmented Generation,检索增强生成)是一个"先查资料、再作答"的流程:每次回答前,先把最相关的资料片段检索出来,拼进提示词,再让大模型照着资料回答。
RAG 相比"开卷"之外的裸问答,主要解决三件事:① 知道最新/内部信息;② 减少幻觉(照着书答);③ 可溯源(能给出来自哪份资料)。代价是多一步检索、且要花更多 token(资料也占上下文)。
另一种增补知识的路子是微调(把专属内容也学进参数里)。但微调贵、慢、且会把内容"固化"进参数不好溯源。现实里两种常配合:概念和风格用微调,动态事实资料用 RAG。对大多数内部知识库场景,RAG 是性价比首选。
8.5.3 建库(索引):切分 — 向量化 — 存储
一个 RAG 系统分两大阶段。先看第一阶段:离线建库(索引),把"一堆文件"变成"机器能快速按语义检索的库"。
① 切分(Chunking)—— 关键且最容易被忽视
大模型上下文窗口有限,且"整本书塞一个词向量"召回不精确。所以要把文档按语义块切成小段。切得好坏,直接决定召回质量。
| 策略 | 做法 | 适合场景 |
|---|---|---|
| 固定大小 + 重叠 | 固定 token 数切块,块间留 10–20% 重叠 | 通用起步,简单 |
| 按段落/标题 | 按自然段落、章节标题切 | 结构化文档(制度、规程) |
| 语义切分 | 用模型找语义断点再切 | 内容杂、长文档多 |
要点:块太大→召回不精准(混进无关内容);块太小→上下文破碎(信息不完整)。常见起步 300–800 token、重叠 50–100,再结合你的文档类型调。电力规程这类"一条完整条款"最好是整条切,别被硬切断。
② 向量化(Embedding)
把每块文本喂给"嵌入模型",变成一串数字(如 1536 维向量)。这串数字是文本的"语义坐标":意思相近的句子,向量距离近。附录 A 的点积就是在这里被用上的。
③ 存储
存进专门的向量数据库(Vector DB),每条记录 = 向量 + 原文本 + 元数据。元数据(来源、时间、版本、部门、密级)用于检索时的过滤,能显著提升精度。
嵌入模型和生成模型是两回事。要做中文知识库,务必选中文效果好的嵌入模型(如基座为中文优化的模型),并且在 Dify 里单独配置为 Embedding。别用默认英文模型硬塞中文,召回会很差。
8.5.4 召回(检索):embed — 相似度 — 重排 — 注入
第二阶段:在线召回(检索)。每次用户提问时执行,速度快、逐次计算。
向量库找 Top-50
精排取 Top-5
资料 + 问题 → 大模型
① 两段式检索(先粗后精)—— 提升召回质量的关键技巧
- 粗召回(Recall):用向量相似度快速从全库捞回 Top-50。看重"别漏掉"。
- 重排(Rerank):用更精细的重排模型,对这 50 条重新打分排序,取最相关的 Top-3~5。看重"别混进无关的"。
没有重排时,语义检索可能把"一字不差但不关键"的片段排在前面。加上重排后质量明显提升。Dify 里建议同时配置相似度检索 + Rerank 模型。
② 检索的三种基本策略(Dify 里可切换)
| 策略 | 含义 | 用在哪 |
|---|---|---|
| 向量检索 | 按语义相似度找 | 问题表述不精确、口语化时,首选 |
| 全文检索 | 按关键词精确匹配 | 要精确找到"精确术语/编号"时 |
| 混合检索 | 两者结合后合并 | 两者好处都要,推荐 |
8.5.5 向量检索的原理:为什么在"语义空间"里找
你可能会问:检索不就是"关键词搜索"吗?为什么还要嵌入成向量?答案是:关键词找得到"字面相同",但匹配不上"意思相同"。
关键词检索像"按字母查字典"——你输入"作业人员",它就找含这几个字的文档,换个说法"施工人员""现场人员"就找不到了。向量检索是把每个文本放在一张"语义地图"上,意思相近的(不管用词一不一样)都聚在一起,你问"施工人员",它会找到附近的"作业人员"。这靠的就是附录 A 的点积/余弦:向量越相似,距离越近。
常用相似度:余弦相似度(看方向,不看长短,推荐)或点积。你输入的问题会先被嵌入成向量,再去向量库里找最接近的 Top-N——这就是"召回"。
同样"召回"到的是知识片段,最终能否答对,还取决于:切分质量、嵌入模型、重排、以及提示词如何组织这些资料。这也是为什么裸"堆文件"进库往往效果一般——8.5.6 讲怎么搭才"最大化效用"。
8.5.6 用 AI 搭高质量知识库:最大化效用的五步
答你的核心问题:"我有一堆文件,可否用 agent 基于这些文件搭知识库?"——可以,而且应该。让 agent 做"资料整理"而非"机械搬运",才能让知识库召回达到该有的水平。
所谓"最大化效用",本质是:检索质量 = 源文档质量 × 切分质量 × 索引组织。agent 的价值在提升前三者。
读全部文件
分主题/去重
按语义切块、写FAQ
来源/版本/密级/标签
检索、测命中、迭代
每一步怎么让 agent 帮你(以及为什么重要)
| 步骤 | 让 agent 做什么 | 为什么能提升召回 |
|---|---|---|
| ① 盘点清洗 | 读取全部文件,去水印页脚、去重复、OCR 扫描件、统一术语 | 脏数据直接污染向量与召回;统一术语让语义聚得更准 |
| ② 分类规划 | 按主题/部门/文档类型分组,决定每类用什么切分策略 | 不同类型文档(规程 vs 表格 vs 报告)切分方式不同 |
| ③ 切分 + 生成补充内容 | 按语义切块;为高价值内容生成 FAQ / 要点摘要一并入库 | QA 对召回命中率远高于长文原文——用户问题多是"问句" |
| ④ 设计元数据 | 给每块标注来源文件、版本、时间、部门、密级、标签 | 检索时可按来源/版本过滤,避免新旧规程混答 |
| ⑤ 建库 + 评估 | 跑"测试问答集"看命中率与答案正确率,把未命中的反哺改进策略 | 没有评估就不知道库好不好;评估驱动迭代 |
① 别直接灌原始文件。最笨的做法是把一堆 PDF 直接塞进库——召回会很差。先让 agent 清洗 + 生成 FAQ。② 问答对是最好的"检索友好"形式。想清楚用户会怎么问,让 agent 把关键条款转成"问题→答案"入库。③ 评估驱动迭代。先自问 50 个典型问题,看召回了几条对的,把错的回填改进——这是库的质量飞轮。
一个"最小闭环"如何落地(结合你的电力资料)
假设你有一堆《工作规程》《风险清单》《案例库》PDF:让 agent ① 读文件并清洗 → ② 抽出"风险点 + 对应条款" → ③ 生成问句式条目("夜间作业有哪些风险?"→要点) → ④ 打上来源/版本标签 → ⑤ 批量入库 Dify 知识库 → ⑥ 用 20 条真实问题测召回。这样建出来的库,比直接灌 PDF 命中率通常高一截。
8.5.7 智能体六支柱:从"会查"到"会自我迭代"
上一节的五步说的是"建一个好库",但完整智能体还需要别的能力。回顾对话中讲过的六根支柱——它们是把大模型从"提问-回答"升级成"能干活的 Agent"的骨架:
| 支柱 | 一句话 | 在电力监控的例子 |
|---|---|---|
| ① 上下文注入 | 用 RAG 把制度/项目背景喂进去 | 《安全工作规程》+ 风险点清单入库 |
| ② 目标与验收 | 明确 任务+输出格式+验收标准 | "输出表格:时间/地点/类型/截图编号" |
| ③ 记忆画像 | 短期+长期记忆,记住你的偏好与项目状态 | 记住你更看重"漏报 vs 误报"、汇报先结论 |
| ④ 工具与权限 | 能调数据/系统,给最小权限 | 只读违章库、电厂运行数据接口 |
| ⑤ 结果验证 | 对账/自检/回归,防幻觉 | 数字必须来自代码计算结果并给出来源 |
| ⑥ 反馈迭代 | 把每次好坏喂回系统,自动改进 | 每周人工评一次,错的回填知识库 |
六根支柱里最值钱的是 ⑥——它让智能体"越用越懂你",也就是你说的"自行迭代"。本质是:上下文(懂项目)→ 记忆(懂你)→ 目标(懂任务)→ 工具(能干活)→ 验证(防错)→ 反馈(改自己) 这个环越转越准。你追踪闭环越勤,能力复利越明显。
8.5.8 实战案例:截屏式违章识别 Agent
把前面的原理串成一个能落地的系统。回忆上一轮对话:你觉得"没有训练样本,能不能直接截屏让大模型看?"。答案是——能,而且这正是多模态大模型的长处:它是"开卷老师傅",训练时已经见过海量"图片+文字说明",认得安全帽、马甲长什么样,所以零样本(zero-shot)就能识别,不需要你标注任何训练样本。下面是完整工程设计。
① 抽帧节奏(快慢结合,控制成本)
多模态看图比纯文本贵,所以别盯全时段实时,按风险分层设定频率
| 场景 | 抽帧频率 | 原因 |
|---|---|---|
| 常规巡检 | 每路每 5–15 分钟 1 张 | 省成本,够覆盖一般作业 |
| 高风险作业 / 刚开工 / 有人进入 | 每 1–2 分钟 1 张 | 违章高频时段,加密盯 |
| 空闲 / 夜间 | 仅事件触发或更低频 | 没人看是浪费 |
| 画面无变化 / 黑屏 / 无信号 | 直接跳过 | 质量过滤,零意义帧不花钱 |
更聪明的是事件驱动:先用便宜的"运动检测/人形检测"判断画面里是否来了人,一旦有活动就加密抽帧并让大模型细看。
② VLM 提示词模板(可直接改来用)
你是电力施工现场安全监控助手。你正在分析一张由现场摄像头抓拍的截屏。
【现场背景】{站点/区域、当前作业阶段,来自台账}
【分析任务】请检查画面是否存在以下违章:未戴安全帽、未穿绝缘/反光马甲、
违规登高、接近带电体、明火等(可增删)。
【输出纪律】
1. 只依据画面中"明确可见"的信息判断;看不清就标"不确定",不要猜。
2. 输出严格 JSON(不要输出任何其他文字),格式如下:
{
"camera_quality": {"ok": true, "issue": null},
"violations": [
{"type": "no_helmet", "desc": "左侧工人未戴安全帽",
"severity": "high", "confidence": 0.85,
"bbox": [120, 80, 60, 140], "needs_review": false}
],
"summary": "发现1处未戴安全帽,已定位"
}
字段含义:type=违章类型;desc=位置描述;severity=high/med/low;
confidence=0~1 置信度;bbox=[x,y,w,h] 像素框;needs_review=建议人工复核。
③ 置信分层 + 人工复核(防止乱报)
| 分支 | 触发条件 | 动作 |
|---|---|---|
| 直接告警 | high 且 confidence ≥ 0.9 | 自动告警 + 原图/时间戳/位置框留档 |
| 人工复核 | median,或 high 但 confidence 0.6–0.9,或涉及"带电作业"等高风险 | 推送到复核队列,人看图确认后再定性 |
| 忽略 | low 或画面质量问题 | 不告警,仅记录台账 |
④ 取证留档 + 反馈闭环(自我迭代)
每张被判为违章的图,同时保存:原图 + 时间戳 + 位置框裁剪 + 模型 JSON,作为考核依据。更重要的是把人工复核的最终结论写回台账:哪些是误报、哪些是漏报——这些结论回流后,用于①更新提示词模板里的常见坑,②为某些站点攒"few-shot 范例",③调整该区域的抽帧频率和阈值。这是系统越用越准的飞轮,也正是 8.5.7 六支柱里的"反馈迭代"。
零样本对"明显违章"(没戴帽、没穿马甲)较准;对"远、小、逆光、模糊、被遮挡"容易漏到人工复核。它不能替代专用检测模型的极致精度,但在你没有任何训练样本的前提下,这是性价比最高的启动方案:定时抽帧 + 结构化输出 + 置信分层 + 人抽检 + 反馈回流,完全可先跑起来再逐步变准。
8.5.9 Dify 实操入口
理论说完,动手搭。推荐用 Dify:开源、可私有化部署、可视化拖拽,最适合"非专业程序员 + 数据要内网"的场景。我们已经写好一份分步配置教程,从建知识库到搭一个"电力运维问答智能体"全程带你走完。
→ 打开《配套 5 · Dify 智能体配置实战教程》
背景:电力工程师,数学生疏——公式照给、每式配一句直觉;工作涉及台账/违章/光伏/业财/监控。 我刚学完"RAG 与智能体工程",请: 1. 用"制度文件 + 台账问答"为例,把 RAG 的两个阶段(检索、生成)各讲一遍,指出哪一步最容易出错; 2. 解释"把 PDF 直接灌进知识库、召回效果通常不好"的根本原因,并给我 3 条可操作的改进做法; 3. 出 3 道题考我:一道考向量检索为什么能"按意思找",一道考切分粒度对召回的影响,一道考"知识库里该放什么、不该放什么",先别给答案。 我答完后,请:① 逐题判对错并说明理由;② 指出我理解里的偏差或漏洞;③ 延伸一个我没问到但很重要的点。
用文字说明回答:① 大模型的"知识"存在哪里?为什么它没有"库"能查?② RAG 的两大阶段各做了什么?③ 为什么"直接灌 PDF"召回通常不好?④ agent 建知识库提升效用的三个心法是什么?答好这四点,你就真正掌握"给大模型建知识库"了。