第 8 章延伸 · 智能体工程进阶

8.5 大模型的知识库:构建、召回、用 AI 建库

很多初学者以为"大模型背后有个庞大的数据库能随时查"。这一节先纠正这个误区,再把真正的"外挂知识库(RAG)"一次讲透:它怎么构建、怎么被召回、你手里的一堆文件如何用 AI 搭成高质量知识库,最后落到 Dify 实操。

8.5.1 先纠正误区:大模型的"知识"到底存哪里

先答你最关心的问题。大模型背后有"庞大知识库"吗?没有可检索的数据库。它的知识以"参数"的形式存在——那是在训练时从海量文本里学出的统计规律,不是一份"能查的文本库"。

比喻:一位只凭印象答题的专家

想象一位读过几千本书的专家,但你把书都收走了。你问他问题,他靠的是记忆里形成的"印象"当众作答——想不起来就编(幻觉),读者没读过的、最近发生的事他答不好(知识截止)。这就像大模型:参数记忆 + 逐词预测,没有一本"随开随查"的书。RAG 要做的,就是在他答题时把一本"指定的书"递到他手上。

区分两个"知识"来源
维度内部知识(参数记忆)外挂知识库(RAG)
存哪里模型参数里(不可直接读写)独立的向量数据库 / 文档库
怎么更新要重新训练/微调,贵且慢随时增删文档,便宜快
最新/内部信息做不到(知识截止)可以(把资料放进去)
出错表现凭印象,可能幻觉给出处、可溯源,更准
成本固定(每次生成都要)额外(检索 + 更多上下文 token)

所以,"给大模型增补知识"的常规做法不是改参数,而是给它建一个能查的外挂知识库。下面 8.5.2–8.5.4 讲清它的机制。

8.5.2 外挂知识库 = 开卷考试(RAG 在解决什么)

RAG(Retrieval-Augmented Generation,检索增强生成)是一个"先查资料、再作答"的流程:每次回答前,先把最相关的资料片段检索出来,拼进提示词,再让大模型照着资料回答。

你的问题(查询)
→
检索出最相关的知识片段 Top-N
→
资料 + 问题拼进提示词
→
大模型(生成回答)
这就是"开卷考试":它看着你给的资料作答,而不是凭记忆瞎编

RAG 相比"开卷"之外的裸问答,主要解决三件事:① 知道最新/内部信息;② 减少幻觉(照着书答);③ 可溯源(能给出来自哪份资料)。代价是多一步检索、且要花更多 token(资料也占上下文)。

RAG 不是唯一方案

另一种增补知识的路子是微调(把专属内容也学进参数里)。但微调贵、慢、且会把内容"固化"进参数不好溯源。现实里两种常配合:概念和风格用微调,动态事实资料用 RAG。对大多数内部知识库场景,RAG 是性价比首选。

8.5.3 建库(索引):切分 — 向量化 — 存储

一个 RAG 系统分两大阶段。先看第一阶段:离线建库(索引),把"一堆文件"变成"机器能快速按语义检索的库"。

原始文件PDF/Word/Excel/网页
→
解析清洗去水印/统一术语/表格转文本
→
切分长文本拆成小块(Chunk)
→
向量化每块用 Embedding 变向量
→
向量库存储向量 + 元数据
阶段一:建库(离线,一次性/定期)

① 切分(Chunking)—— 关键且最容易被忽视

大模型上下文窗口有限,且"整本书塞一个词向量"召回不精确。所以要把文档按语义块切成小段。切得好坏,直接决定召回质量。

切分策略怎么选
策略做法适合场景
固定大小 + 重叠固定 token 数切块,块间留 10–20% 重叠通用起步,简单
按段落/标题按自然段落、章节标题切结构化文档(制度、规程)
语义切分用模型找语义断点再切内容杂、长文档多

要点:块太大→召回不精准(混进无关内容);块太小→上下文破碎(信息不完整)。常见起步 300–800 token、重叠 50–100,再结合你的文档类型调。电力规程这类"一条完整条款"最好是整条切,别被硬切断。

② 向量化(Embedding)

把每块文本喂给"嵌入模型",变成一串数字(如 1536 维向量)。这串数字是文本的"语义坐标":意思相近的句子,向量距离近。附录 A 的点积就是在这里被用上的。

③ 存储

存进专门的向量数据库(Vector DB),每条记录 = 向量 + 原文本 + 元数据。元数据(来源、时间、版本、部门、密级)用于检索时的过滤,能显著提升精度。

嵌入模型选型提醒

嵌入模型和生成模型是两回事。要做中文知识库,务必选中文效果好的嵌入模型(如基座为中文优化的模型),并且在 Dify 里单独配置为 Embedding。别用默认英文模型硬塞中文,召回会很差。

8.5.4 召回(检索):embed — 相似度 — 重排 — 注入

第二阶段:在线召回(检索)。每次用户提问时执行,速度快、逐次计算。

用户问题
→
Embedding问题也变向量
→
相似度检索
向量库找 Top-50
→
重排 Rerank
精排取 Top-5
→
注入提示词
资料 + 问题 → 大模型
阶段二:召回(在线,每次提问都做)——这就是"大模型调用/召回知识库"

① 两段式检索(先粗后精)—— 提升召回质量的关键技巧

没有重排时,语义检索可能把"一字不差但不关键"的片段排在前面。加上重排后质量明显提升。Dify 里建议同时配置相似度检索 + Rerank 模型。

② 检索的三种基本策略(Dify 里可切换)

策略含义用在哪
向量检索按语义相似度找问题表述不精确、口语化时,首选
全文检索按关键词精确匹配要精确找到"精确术语/编号"时
混合检索两者结合后合并两者好处都要,推荐

8.5.5 向量检索的原理:为什么在"语义空间"里找

你可能会问:检索不就是"关键词搜索"吗?为什么还要嵌入成向量?答案是:关键词找得到"字面相同",但匹配不上"意思相同"。

对比:字典查词 vs 地图找邻居

关键词检索像"按字母查字典"——你输入"作业人员",它就找含这几个字的文档,换个说法"施工人员""现场人员"就找不到了。向量检索是把每个文本放在一张"语义地图"上,意思相近的(不管用词一不一样)都聚在一起,你问"施工人员",它会找到附近的"作业人员"。这靠的就是附录 A 的点积/余弦:向量越相似,距离越近。

常用相似度:余弦相似度(看方向,不看长短,推荐)或点积。你输入的问题会先被嵌入成向量,再去向量库里找最接近的 Top-N——这就是"召回"。

同样"召回"到的是知识片段,最终能否答对,还取决于:切分质量、嵌入模型、重排、以及提示词如何组织这些资料。这也是为什么裸"堆文件"进库往往效果一般——8.5.6 讲怎么搭才"最大化效用"。

8.5.6 用 AI 搭高质量知识库:最大化效用的五步

答你的核心问题:"我有一堆文件,可否用 agent 基于这些文件搭知识库?"——可以,而且应该。让 agent 做"资料整理"而非"机械搬运",才能让知识库召回达到该有的水平。

所谓"最大化效用",本质是:检索质量 = 源文档质量 × 切分质量 × 索引组织。agent 的价值在提升前三者。

① 盘点清洗
读全部文件
→
② 分类规划
分主题/去重
→
③ 切分 + 补充
按语义切块、写FAQ
→
④ 设计元数据
来源/版本/密级/标签
→
⑤ 建库 + 评估
检索、测命中、迭代
用 AI 建知识库的"价值递增"路线:不是直接丢文件,而是先加工再入库

每一步怎么让 agent 帮你(以及为什么重要)

步骤让 agent 做什么为什么能提升召回
① 盘点清洗 读取全部文件,去水印页脚、去重复、OCR 扫描件、统一术语 脏数据直接污染向量与召回;统一术语让语义聚得更准
② 分类规划 按主题/部门/文档类型分组,决定每类用什么切分策略 不同类型文档(规程 vs 表格 vs 报告)切分方式不同
③ 切分 + 生成补充内容 按语义切块;为高价值内容生成 FAQ / 要点摘要一并入库 QA 对召回命中率远高于长文原文——用户问题多是"问句"
④ 设计元数据 给每块标注来源文件、版本、时间、部门、密级、标签 检索时可按来源/版本过滤,避免新旧规程混答
⑤ 建库 + 评估 跑"测试问答集"看命中率与答案正确率,把未命中的反哺改进策略 没有评估就不知道库好不好;评估驱动迭代
"最大化效用"的三个关键心法

① 别直接灌原始文件。最笨的做法是把一堆 PDF 直接塞进库——召回会很差。先让 agent 清洗 + 生成 FAQ。② 问答对是最好的"检索友好"形式。想清楚用户会怎么问,让 agent 把关键条款转成"问题→答案"入库。③ 评估驱动迭代。先自问 50 个典型问题,看召回了几条对的,把错的回填改进——这是库的质量飞轮。

一个"最小闭环"如何落地(结合你的电力资料)

假设你有一堆《工作规程》《风险清单》《案例库》PDF:让 agent ① 读文件并清洗 → ② 抽出"风险点 + 对应条款" → ③ 生成问句式条目("夜间作业有哪些风险?"→要点) → ④ 打上来源/版本标签 → ⑤ 批量入库 Dify 知识库 → ⑥ 用 20 条真实问题测召回。这样建出来的库,比直接灌 PDF 命中率通常高一截。

8.5.7 智能体六支柱:从"会查"到"会自我迭代"

上一节的五步说的是"建一个好库",但完整智能体还需要别的能力。回顾对话中讲过的六根支柱——它们是把大模型从"提问-回答"升级成"能干活的 Agent"的骨架:

智能体六支柱(8 章延伸)
支柱一句话在电力监控的例子
① 上下文注入用 RAG 把制度/项目背景喂进去《安全工作规程》+ 风险点清单入库
② 目标与验收明确 任务+输出格式+验收标准"输出表格:时间/地点/类型/截图编号"
③ 记忆画像短期+长期记忆,记住你的偏好与项目状态记住你更看重"漏报 vs 误报"、汇报先结论
④ 工具与权限能调数据/系统,给最小权限只读违章库、电厂运行数据接口
⑤ 结果验证对账/自检/回归,防幻觉数字必须来自代码计算结果并给出来源
⑥ 反馈迭代把每次好坏喂回系统,自动改进每周人工评一次,错的回填知识库
一个系统,一个飞轮

六根支柱里最值钱的是 ⑥——它让智能体"越用越懂你",也就是你说的"自行迭代"。本质是:上下文(懂项目)→ 记忆(懂你)→ 目标(懂任务)→ 工具(能干活)→ 验证(防错)→ 反馈(改自己) 这个环越转越准。你追踪闭环越勤,能力复利越明显。

8.5.8 实战案例:截屏式违章识别 Agent

把前面的原理串成一个能落地的系统。回忆上一轮对话:你觉得"没有训练样本,能不能直接截屏让大模型看?"。答案是——能,而且这正是多模态大模型的长处:它是"开卷老师傅",训练时已经见过海量"图片+文字说明",认得安全帽、马甲长什么样,所以零样本(zero-shot)就能识别,不需要你标注任何训练样本。下面是完整工程设计。

多路摄像头现场截屏
→
定时抽帧事件/节流
→
质量过滤黑屏/无活动跳过
→
多模态大模型零样本·输出 JSON
→
判定路由置信度分层
高置信告警 + 取证留档
低置信转人工复核
虚线为反馈回路:人工复核结果回流,更新提示词 / few-shot / 台账,实现"自我迭代"

① 抽帧节奏(快慢结合,控制成本)

多模态看图比纯文本贵,所以别盯全时段实时,按风险分层设定频率

场景抽帧频率原因
常规巡检每路每 5–15 分钟 1 张省成本,够覆盖一般作业
高风险作业 / 刚开工 / 有人进入每 1–2 分钟 1 张违章高频时段,加密盯
空闲 / 夜间仅事件触发或更低频没人看是浪费
画面无变化 / 黑屏 / 无信号直接跳过质量过滤,零意义帧不花钱

更聪明的是事件驱动:先用便宜的"运动检测/人形检测"判断画面里是否来了人,一旦有活动就加密抽帧并让大模型细看。

② VLM 提示词模板(可直接改来用)

你是电力施工现场安全监控助手。你正在分析一张由现场摄像头抓拍的截屏。
【现场背景】{站点/区域、当前作业阶段,来自台账}
【分析任务】请检查画面是否存在以下违章:未戴安全帽、未穿绝缘/反光马甲、
违规登高、接近带电体、明火等(可增删)。
【输出纪律】
1. 只依据画面中"明确可见"的信息判断;看不清就标"不确定",不要猜。
2. 输出严格 JSON(不要输出任何其他文字),格式如下:
{
  "camera_quality": {"ok": true, "issue": null},
  "violations": [
    {"type": "no_helmet", "desc": "左侧工人未戴安全帽",
     "severity": "high", "confidence": 0.85,
     "bbox": [120, 80, 60, 140], "needs_review": false}
  ],
  "summary": "发现1处未戴安全帽,已定位"
}
字段含义:type=违章类型;desc=位置描述;severity=high/med/low;
confidence=0~1 置信度;bbox=[x,y,w,h] 像素框;needs_review=建议人工复核。

③ 置信分层 + 人工复核(防止乱报)

分支触发条件动作
直接告警high 且 confidence ≥ 0.9自动告警 + 原图/时间戳/位置框留档
人工复核median,或 high 但 confidence 0.6–0.9,或涉及"带电作业"等高风险推送到复核队列,人看图确认后再定性
忽略low 或画面质量问题不告警,仅记录台账

④ 取证留档 + 反馈闭环(自我迭代)

每张被判为违章的图,同时保存:原图 + 时间戳 + 位置框裁剪 + 模型 JSON,作为考核依据。更重要的是把人工复核的最终结论写回台账:哪些是误报、哪些是漏报——这些结论回流后,用于①更新提示词模板里的常见坑,②为某些站点攒"few-shot 范例",③调整该区域的抽帧频率和阈值。这是系统越用越准的飞轮,也正是 8.5.7 六支柱里的"反馈迭代"。

诚实的能力边界

零样本对"明显违章"(没戴帽、没穿马甲)较准;对"远、小、逆光、模糊、被遮挡"容易漏到人工复核。它不能替代专用检测模型的极致精度,但在你没有任何训练样本的前提下,这是性价比最高的启动方案:定时抽帧 + 结构化输出 + 置信分层 + 人抽检 + 反馈回流,完全可先跑起来再逐步变准。

8.5.9 Dify 实操入口

理论说完,动手搭。推荐用 Dify:开源、可私有化部署、可视化拖拽,最适合"非专业程序员 + 数据要内网"的场景。我们已经写好一份分步配置教程,从建知识库到搭一个"电力运维问答智能体"全程带你走完。

→ 打开《配套 5 · Dify 智能体配置实战教程》

读完本章,问大模型(复制可用)
背景:电力工程师,数学生疏——公式照给、每式配一句直觉;工作涉及台账/违章/光伏/业财/监控。
我刚学完"RAG 与智能体工程",请:
1. 用"制度文件 + 台账问答"为例,把 RAG 的两个阶段(检索、生成)各讲一遍,指出哪一步最容易出错;
2. 解释"把 PDF 直接灌进知识库、召回效果通常不好"的根本原因,并给我 3 条可操作的改进做法;
3. 出 3 道题考我:一道考向量检索为什么能"按意思找",一道考切分粒度对召回的影响,一道考"知识库里该放什么、不该放什么",先别给答案。
我答完后,请:① 逐题判对错并说明理由;② 指出我理解里的偏差或漏洞;③ 延伸一个我没问到但很重要的点。
本章自测

用文字说明回答:① 大模型的"知识"存在哪里?为什么它没有"库"能查?② RAG 的两大阶段各做了什么?③ 为什么"直接灌 PDF"召回通常不好?④ agent 建知识库提升效用的三个心法是什么?答好这四点,你就真正掌握"给大模型建知识库"了。