第 8 章延伸 · 数据工程与数据库
8.6 从台账到数据库:给智能体一张可靠的底牌
前面 8.5 讲了怎么给大模型"建知识库"。这一章回答你的另一条主线:当作业、违章、考勤、综合能源这些 xlsx 台账越来越大,怎么把它们搬进数据库,再让智能体连上数据库、学会业务逻辑。我们从"数据库是什么"零基础讲起,概念和实操给你配齐。
8.6.1 为什么"一堆 Excel 台账"不够用了
先想清楚"为什么要搬"。你现在的台账是 WPS/xlsx 表格,单看足够;但当量越来越大、又要跨表合计时,它有三个天生的短板:
| 痛点 | 表现(用你的数据举例) |
|---|---|
| ① 量大就卡、跨表靠手 | 一个月作业 2 万+、违章 3 千+、考勤 10 万+。想算"每个公司的外部违章率"要开好几张表、手拉筛选和公式,慢还容易错。 |
| ② "口径"只活在人脑里 | "违章率全口径 11.1%、外部 5.8%""统计范围不含通力达""发电量因网关掉线要豁免"——这些计算规则和例外没写进表里,只存在于注释和你的记忆。换个人、给智能体,就全凭猜。 |
| ③ 一份数据一版文件 | 一份台账发来发去,容易多人改出多个版本,最后不知道哪个对。 |
数据库不是为了取代 Excel,而是解决两件事:① 能让机器(包括智能体)高效、准确地跨表查数;② 把"口径"从人脑里抽出来,变成可复用、可核对、可教给智能体的东西。
Excel 像家里的牛皮纸账本——自己记自己看,方便但经不起多人同时查、跨账本对账。数据库像一个图书馆:书(数据)整齐码放在书架上(表),每本书有编号(主键),书目之间有交叉引用(外键),前台(查询)能一句话从全馆把你要的书找齐。你管的是"目录和分拣",而不是一页页翻。
另外回一句你可能想问的:为什么"直接把 xlsx 喂给大模型"不如上数据库?——大模型读文件是"一次性把内容塞进上下文",又贵又受限;而数据库能按需只取一小撮相关数据,还可以做权限控制。这就是"数据库 = 智能体的底牌"的含义。
8.6.2 数据库零基础入门:不就是"会查的表格"
你从没用过数据库也没关系。数据库的管理者们早就用一套统一的"说法"(叫关系模型)。记住下面四样,够你用很久:
| 概念 | 人话 | 类比 |
|---|---|---|
| 表 table | 像一张 Excel 工作表 | 你的"作业台账""违章台账"各是一张表 |
| 行 记录 row | 表里的一行 = 一条数据 | 一条作业计划、一条违章 |
| 列 字段 column | 一行里的一项属性 | "风险等级""作业公司" |
| 主键 PK / 外键 FK | 给每行唯一的"身份证号"/引用别人表里某行的"凭证" | 作业号=主键;违章表里的"作业号"=外键,指向作业表 |
主键保证每行唯一——就像每个员工有一个工号,不会有两个"张三"分不清。外键把不同表连起来——违章表的"作业号"指到作业表,于是"这条违章发生在哪个工程、谁负责、高不高风险"一句话就能串起来。Excel 靠"手动复制粘贴"做的事,数据库靠外键自动完成。
数据库 vs Excel:一张对比表
| 维度 | Excel / WPS 表格 | 数据库(PostgreSQL / SQLite / 达梦…) |
|---|---|---|
| 本质 | 制表工具,重点"格子好看" | 存数工具,重点"查得快、查得准" |
| 跨表查询 | VLOOKUP / 手动,易错 | JOIN 一句话自动关联 |
| 并发多人 | 同时改容易冲突 | 天然支持多人、有事务保护 |
| 权限 | 基本没有细化 | 谁可读谁可写,谁看不见敏感列,都能设 |
| 机器可查 | 要大模型读整份文件,又贵又受限 | 按需取一小掫数据,快且可控 |
| 体量 | 几十万行就开始卡 | 百万、千万行轻松 |
一句话记住:Excel 让人看格子;数据库让"人和机器"都能高效查数据。你的台账量大、要跨表、要喂给智能体,所以值得上数据库。
该选哪个数据库?记住"学 / 验 / 产"三件套
数据库不是一个,是一族。你不需要一开始就挑"最好"的那个,而是按阶段换——每个阶段用最省事、又刚好够用的那一个:
| 阶段 | 选谁 | 为什么是它 |
|---|---|---|
| 学(本教材) | SQLite | Python 自带、零安装、单文件。你只需专心学 SQL 语法,不被"装数据库"这一步卡住 |
| 验(拿真实台账试口径) | DuckDB | 同样零部署,却能直接读 xlsx/CSV;列存引擎,几秒扫百万行。最适合"先验证口径与 join 对不对" |
| 产(正式上线) | PostgreSQL | 能多人同时用、能设细粒度权限、有审计日志、能被智能体稳定连接——这四条正是 SQLite / DuckDB 给不了的 |
关键:三者不是"谁替代谁"。SQLite 是练习本、DuckDB 是草稿纸、PostgreSQL 才是要签字归档的正式图纸——各管一段,不是升级关系。
你不会一上手就在正式图纸上乱画。正常流程是:练习本上先学会画(SQLite)→ 草稿纸上把尺寸和公式算对(DuckDB)→ 确认无误再上正式图纸出图、签字、归档(PostgreSQL)。跳过前两步直接上正式库,等于拿正式图纸当草稿——改起来贵,错起来更贵。
① 信创 / 等保要求:若公司有国产化硬性要求,"产"这一层可能得用达梦 / 人大金仓 / GaussDB,而不是 PostgreSQL——动手建库前先跟信息部门确认,别等库建好才发现要换。
② 安全:PostgreSQL 默认监听 5432 端口,本地部署注意别暴露到公网;给智能体连库的账号务必只读(详见 8.6.8 数据合规)。
8.6.3 把很多张小表编成"好查"的结构:维度建模(星型模型)
数据库里不该是"抄过来的十几张台账原样躺着"。行业里有个成熟的经验做法,叫维度建模,最常用的是星型模型——把表分成两类:
事实表记录"发生了什么、多少量"——像一张张发票上的金额,量大、天天都在涨(一条作业、一条违章、一度电)。维度表记录"在哪儿、谁、什么时候"——像发票上的抬头、日期、开票人,少而稳定(公司名单、项目、人员、日期、站点)。查询=拿一张"发票"去各种"抬头"上加盖汇总章。
谁负责
哪个工程
哪天
干什么
fact_work
fact_violation
fact_attendance
光伏/储能/充电
拿到你的数据,我会怎么分
| 域 | 事实表(记录量) | 依赖的维度表(看角度) |
|---|---|---|
| 作业计划 | fact_work(一行=一条作业) | 公司 / 项目 / 日期 / 作业类型 |
| 违章 | fact_violation(一行=一条违章,外键指向作业) | 公司 / 项目 / 人员 / 违章代码 |
| 考勤到位 | fact_attendance(一行=某人某日某作业) | 人员 / 作业 / 日期 |
| 综合能源 | facts:光伏/储能/充电(站点×日)、虚拟电厂(事件) | 站点 / 投资主体公司 / 日期 |
看出来了吗:公司、项目、人员、日期、站点这些"维度"是三域共享的。一次建好,作业、违章、考勤、综合能源全都能挂上去——这就是为什么它能做"跨表交叉分析"(比如"泰捷连续 4 周外部违章高")。
8.6.4 SQL:用一句话让数据库干活(含实操)
数据进了库,怎么"使之有序"?用 SQL(Structured Query Language,结构化查询语言)。它不像编程那么难——一句话就能把"查哪些表、怎么连、怎么算、只看哪些"说清楚。三个最常用的动作:
| SQL 单词 | 人话 | 你这个场景的用途 |
|---|---|---|
SELECT … FROM … | 从哪张表取哪几列 | "把作业表里'高'风险的都列出来" |
WHERE | 只挑符合条件的行 | "只看外部发现的违章" |
JOIN … ON | 用外键把两张表接起来 | "给每条违章接上它所属作业的风险等级" |
GROUP BY | 按某列分组再算 | "按公司分组,算各自的违章率" |
语法看一遍就忘太正常了。请现在打开配套代码 06,在本地跑一遍(Python 自带 SQLite,零安装),亲手建一张"作业表"、一张"违章表",再用一句 JOIN + GROUP BY 算出每个公司的外部违章率。亲手敲过那次,SQL 对你就不再是黑话。
→ 配套代码:示例 06 · 从台账到数据库:SQLite 建库与查询
SELECT company, -- 按"公司"分组后…
COUNT(*) AS 作业数, -- 数一下作业
SUM(CASE WHEN source='外部'
THEN 1 ELSE 0 END) AS 外部违章,
ROUND(… / … , 1) AS 外部违章率
FROM work w
LEFT JOIN violation v ON v.work_id = w.work_id -- 靠外键把违章接上作业
GROUP BY company; -- 每个公司一行
读一遍:先给work表起别名 w,用外键 work_id 把 violation 接上来(LEFT JOIN = 即使没有违章也有作业那行),再按公司分组、算出比例。四行代码干完了 Excel 里半小时的活。
8.6.5 口径字典:业务逻辑要单独"拿出去"
数据库最容易被误解的一点:光把数据搬进来还不够,真正的资产是"业务口径"。同样是"违章率",全口径和外部查处的算法就不同;"考核值 ≥96%""发电量因网关掉线要豁免"——这些规则如果只存在于人脑,机器和智能体就会猜。
所以做法是:单独建一份口径字典(也叫指标字典 / 元数据),把每个指标的三样东西写清楚:
举例——发电量达成率:
定义=实际发电÷估算下限;统计范围=不含能汇集团;
豁免=网关掉线补录、计划检修停电、遮挡、组件破损。
再举例——违章率:要写清"全口径=违章数÷作业数"与"外部率=仅外部发现÷作业数"是两个指标。
| 指标名 | 公式 / 口径 | 考核 | 关键豁免 |
|---|---|---|---|
| 作业计划准确率 | 实际作业 ÷ 计划作业 | ≥96% | 计划、实际来自不同系统,需定计件口径 |
| 临时作业计划率 | 临时计划 ÷ 计划作业 | ≤3% | 中高风险临时计划率 ≤1% |
| 考勤偏差率 | 偏差人次 ÷ 考勤总人次 | ≤5% | 逐公司,本月 0.31%~1.00% |
这份"口径字典"最终有两个用途:① 让人和系统照着统一口径算数;② 作为"业务逻辑知识"喂给智能体(配 8.5 的 RAG 或直接作为它的规则提示)——这正是你说的"让智能体学习业务逻辑"的落点。它往往不在数据表里,而是要先从注释、老材料和你脑子中采集、写成结构化条目。想上手,可以先把《口径确认提问清单》拿给业务填一遍,把空缺补上。
→ 工具(工作目录文件,不入网,链接仅本地有效):P0 口径字典与表设计、口径确认提问清单。
8.6.6 ETL / 清洗:把脏台账洗成"能入库"
"搬数据"听起来平淡,其实是坑最多的一步。行业叫 ETL:Extract 抽取、Transform 转换清洗、Load 装载。对应理解就是三步:
读 xlsx 台账
去重/补主键/统一口径/过滤范围
写进数据库表
清洗阶段最常见的四件事(用你的数据举例):
| 清洗动作 | 要解决的问题 |
|---|---|
| 去重 | 同一张表改来改去,可能出现重复行;用主键判定谁是真的。 |
| 补/建主键 | 台账有的没有天然唯一列,要给每条数据造一个稳定的"身份证号"。 |
| 统一口径 | 一个"作业公司"列,今天叫"番电"明天叫"番禺电建"——要先归一成字典里的标准名。 |
| 过滤统计范围 | "不含通力达/能汇集团"——入库时就打上标记(如公司维度的 in_gz_stats 字段),而不是每次查都手筛。 |
把"口径和清洗规则"写进脚本,让它可重复跑(这叫"可复现")——今天跑、下月跑、给智能体跑,结果一致。千万别攒一个"只有我会的手工活",那才是真正的技术债。
8.6.7 让智能体连数据库:Text-to-SQL 的原理与风险
数据库建好、口径字典备好之后,就到了最激动也是最有挑战的一步:让智能体直接"连上数据库"回答你的自然语言问题。这一能力有个专门名字叫 Text-to-SQL(把话转成 SQL)。
你把整月台账丢给大模型=把整个图书馆复印一遍给它看,又贵又乱。智能体连库=告诉它"馆里有哪些书、怎么索引",然后它现场动手按索引把小掫数据取出来。你问"哪个公司外部违章率最高",它生成一句 SQL,数据库只返回那几个数字——快、准、还少花 token。
智能体是怎么"学会"连库的(三步)
| 步骤 | 内容 |
|---|---|
| ① 给它"说明书" | 告诉它有哪些表、每列的列名/含义、维度表怎么和外键连(用你 8.6.3 的结构 + 元数据说明)。 |
| ② 让它生成 SQL | 它按图索骥写出 SELECT/JOIN/WHERE 。给几条"问法→正确 SQL"的范例(few-shot),命中率更高。 |
| ③ 只读执行 + 校验 | 只允许它SELECT(绝不能删改),把下拉的数据交回生成答案;必要时抽样核对。 |
必须认清楚的三个风险
- 幻觉失真:它可能编出"不存在的列名"或把口径用错——所以口径字典要喂给它,且让它注明依据。("违章率是多少"→ 除非你指定口径,否则它该反问:全口径还是外部?)
- 权限失控:一旦让它执行 SQL,就要给它一个最小权限的只读账号,禁删改、禁看它不该看的表/列。
- 结果需人复核:涉及考核依据(违章、经营)的结论,先让智能体"生成报告草案 + 标注数字来源",再由人核一遍再发——这是 8.5.7 六支柱里"结果验证"的落地。
这一步就把 8.5 的"智能体六支柱"真正用起来了:上下文=表结构+口径字典;工具=只读数据库;验证=抽样自检+人审;反馈=把纠正写回口径字典。
8.6.8 数据合规与脱敏:本地优先、最小权限
因为你涉及颇多经营与人员数据,先本地、不上云是很稳妥的起点。进入数据库阶段,先立几条规矩(红线,别省):
| 规矩 | 做什么 / 为什么 |
|---|---|
| 数据分级 | 明文列出敏感字段:人员实名、经营/业财数字、违章涉及人员、合同/成本。敏感列别对自己开放就给所有人看。 |
| 人名去标识 | 库内用 person_id 代替实名;实名只在有权限的界面显示。 |
| 只读 + 白名单 | 给智能体一个"只能读指定表、不能改"的账号;敏感表干脆不授权。 |
| 列级脱敏 | 无权限的角色看不到金额等敏感列(返回"不可见")。 |
| 审计留痕 | 谁查过、导过、改过,都要有记录——违章拿来当考核依据,必须可追溯。 |
| 密钥不入库 | 数据库口令、API key 绝不写进代码仓库和公开文档。 |
敏感范围、等保/信创要求,务必请信息/法务确认后再建正式库。详见 P0 文档第 10 节《合规与脱敏核对清单》。
8.6.9 一条线串起来:从台账到智能体(三域走查)
把这一章收拢成一整条流水线,用你的数据走一遍:
作业/违章/考勤/综合能源
去重·主键·口径·范围
事实表 + 公共维度
规则单独成库
Text-to-SQL·只读·人审
这条流水线的门槛不在"技术有多深",而在每一步都把规则说清楚:建库前先有口径字典,同步后反复抽取,给智能体连接加上权限和复核。每一步都可以单独学、分开做,不必一次到位。
三域走查(对照 P0 表设计)
| 你想问的问题 | 它在库里的"路" |
|---|---|
| "本月外部违章率最高的公司?" | fact_violation JOIN work → 按 company 分组,用"外部"口径。 |
| "哪些严重违章没整改、还涉及高危作业?" | fact_violation JOIN work,过滤 severity 严重 且 未整改 且 work.risk 高。 |
| "考勤偏差高、同时外部违章多的公司?" | 把考勤、违章两张事实都按 company 汇总,再对比——这就是跨表交叉分析。 |
| "哪些光伏站点达成率低,且不是豁免原因?" | fact_pv_daily 过滤达成率低,再剔除 exemption 豁免标记。 |
8.6.10 多源异构数据统一:从WPS公式到映射表
上一节绕一圈把"一堆 Excel 台账"搬进了数据库。但在搬进数据库之前,你其实已经卡在一个更日常的坎上:计划来源 3 个系统、违章来源 4 个系统,每个系统导出来的字段长得都很不一样,你现在是靠 WPS 里一串很复杂的公式去"统一结构"——VLOOKUP、IF、LEFT/RIGHT、SUBSTITUTE 叠一起,算一次还要等挺久。
你现在的复杂公式,就像一群人约定"都走西门进",但有人写在便签、有人记在脑子、有人干脆每次现挤——没人能看到那张完整清单。公式越长,越没人敢去改它:改错一格,全表算错;加一个新系统,旧的照着复制却常常抄岔。而"映射表"是把约定白纸黑字单独存一份:哪个源字段 → 哪个目标字段、哪个值 → 翻译成哪个标准值,都列成一行行。新增一个系统,就照着补几行,不用再动那串公式。
先说你现在的痛点为什么"慢",而且会越来越慢:WPS 公式是"逐格计算的解释型引擎",字段一多、行数一涨(你的违章一个月就 3000+),每个单元格都要重算一遍关联查询,自然会卡。再叠加"三个系统口径还不一样"(甲系统的'违章类型'可能是编号、乙系统是中文描述),公式里就得再套一层映射,复杂度成倍上升。
把"统一"拆成三步,谁都能看懂
| 步骤 | 人话 | 用你的"4个违章系统"举例 |
|---|---|---|
| ① 列映射 取名对名字 | 每个来源系统的"这一列",对应到统一目标表的"哪一列" | 系统 A 的"安全隐患描述"、系统 B 的"违章说明",都归到统一后的"违章场景"这一列 |
| ② 值映射 把值翻译成标准话 | 同一个意思,不同系统写法不同 → 统一成标准值 | A 系统写"Ⅰ"、B 系统写"一般" → 统一成"一般";C 系统写"未配安全帽" → 统一成"个人防护缺失" |
| ③ 合并入库 拼成一张大表 | 把几个来源按统一结构"纵向拼起来",再去重、标来源 | 4 个系统的违章都变成"同一张结构",再合成一张全量违章大表,加一列source 记住它来自哪个系统 |
公式是"算出来的结果",你看不出某一行值为什么变成那样;映射表是一份配置——谁改过、改了哪个映射,都有据可查。而且同一个映射表,既能喂给你自己跑 Python,也能讲给智能体听:"把 4 个系统的违章统一口径,就按第 8.6.10 章的映射表来。"这正是"把口径从人脑里抽出来"的又一个落点。
落地顺序:先盘点 → 做映射表 → 再谈自动化
- 先盘点(半天):把 3 个计划系统 + 4 个违章系统各导一份,列一个"来源字段清单"——每个系统有哪些列、值长什么样。
- 做一张映射表(Excel 就能维护):这是全章最值钱的一步,也是唯一需要你亲自动脑的地方。列名 + 取值,一行一行填清楚。
- 用 Python 跑(示例 07):把映射表喂给 pandas,它批量把几个文件"按同一结构"读进来、改名、翻译、拼起来。之后每月只要把新导出的文件放进文件夹,跑一次脚本就出全量统一表。
- (进阶)接智能体:统一好的大表可以直接入库,或讲给智能体让它照表统一新来的数据。
动手代码见配套示例 07《多源数据统一:用映射表把3个计划、4个违章系统合而为一》(code/07_多源数据统一.py)。那里给了完整的映射表结构和批量转换函数,你只要把自己的字段名、标准值替换进去就能跑。先别急着一次吃下 7 个系统,挑一个违章系统,把三步走通,再横向复制到其余。
8.6.11 亿级之后:索引、执行计划与运维
前面 8.6.1–8.6.10 讲的都是"怎么把数据搬进库"。但当库涨到几千万、上亿行,问题会换一批——不再是"能不能查",而是"为什么昨天还快、今天就慢了"。这一节只讲三件事:索引怎么建才有效、查询慢怎么看、库要做什么日常维护,最后说清"什么时候该换列存"。
8.6.11.1 索引:给数据库装一本"目录"
没有索引时,数据库要查一条记录,只能一行一行翻完整张表——这叫全表扫描。索引就是给表加一本"目录":知道该去哪一页找。
查一个生字,你不会从第一页翻到最后一页;你会先看目录,直接翻到那一页。索引就是数据库的目录。表越大,目录越值钱——几百行时无所谓,上千万行时就是"1 秒"和"1 小时"的差别。
索引要占空间,而且每写入一行数据,所有索引都要同步更新一遍。假设有 48 个索引,等于每插一行要维护 48 本目录。
所以规则是:只为"经常用来筛选、且能筛掉大部分数据"的列建索引。写入越频繁的表,索引越要克制。
复合索引的列顺序:最常建错的地方
如果一张表你经常同时用两个条件查(比如"某公司 + 某段时间的作业"),就该建复合索引(两列一起建)。但顺序很关键:
| 建法 | 查"某公司 + 某段时间"时会发生什么 | 评价 |
|---|---|---|
| (公司, 施工日期) | 先定位到这家公司,再在这一段里按日期找 | ✅ 正确 |
| (施工日期, 公司) | 先按日期捞出一大段,再逐条看是不是这家公司 | ❌ 顺序反了 |
口诀:等值条件在前,范围条件在后。"公司 = 某公司"是等值,"日期落在某区间"是范围,所以公司放前面。
索引会"失效"的四种常见情况
索引建了却用不上,是最冤的浪费。下面四种情况,数据库只能乖乖全表扫:
| 情况 | 例子 | 怎么改 |
|---|---|---|
| ① 列上套了函数 | WHERE substr(施工日期,1,7) = '2026-08' | 改成范围条件:施工日期 >= '2026-08-01' AND 施工日期 < '2026-09-01' |
| ② 类型对不上 | WHERE 计划编号 = 12345(但这列存的是文本) | 加引号:= '12345' |
| ③ 前面带 % 的模糊匹配 | WHERE 违章场景 LIKE '%安全帽%' | 这种只能全表扫;要频繁搜关键词,改用全文检索(PG 的 to_tsvector) |
| ④ 选择度太低 | 给"是否违章"(只有是/否两个值)建索引 | 没必要建——筛完还剩一半,不如不建 |
索引就像变电站的接线图:没有它你也能查,但每次都要把整个站翻一遍;有了它,直接知道该去哪个间隔。
而"列上套函数"相当于把接线图上的编号全改了名——图还在,但对不上号了。
8.6.11.2 执行计划:查询慢了,先看这里
索引到底有没有用上?查询为什么慢?不用猜——让数据库自己说。在 SQL 前面加两个词:
EXPLAIN:数据库打算怎么查(不真正执行)EXPLAIN ANALYZE:数据库实际怎么查的、每一步花了多久(会真的执行一遍)
执行计划就是"导航给你规划的路线"。你看一眼就知道:它是走了高速,还是绕全城一圈。数据库里"绕全城一圈"有个名字叫 Seq Scan(全表扫描)。
| 看到什么 | 说明什么 | 怎么办 |
|---|---|---|
大表上出现 Seq Scan | 没用上索引,在逐行翻表 | 检查是不是踩了上面四种"索引失效" |
| 预估行数与实际行数差很多 | 统计信息过期了(见 8.6.11.3) | 跑一次 ANALYZE |
Nested Loop 套在大表上 | 两表逐条配对,行数一乘就"炸开" | 检查关联字段有没有索引 |
如果表按月份做了分区(比如按"施工日期"分),但你的查询里没有带日期条件,数据库就不会跳过任何分区——所有月份全扫一遍,分区等于白做。
所以:分区表一定要"带着分区键去查"。这个现象叫分区裁剪(partition pruning),是分区能不能真正省时间的关键。
8.6.11.3 运维:让库"不越用越慢"
数据库不是"建好就不用管"的东西。下面四件事,是它长期保持速度的关键。
| 做什么 | 为什么 | 比喻 |
|---|---|---|
更新统计信息ANALYZE | 数据库靠"统计信息"估算怎么查最快。数据一直涨、统计不更新,它就按老黄历办事,选错路线 | 导航地图一年没更新,还按老路给你规划 |
回收空间VACUUM | 删改数据后空间不会立刻还给系统,表会越来越臃肿 | 删了文件但没清空回收站 |
| 连接池 | 多人 + 定时任务同时连库,连接数会被打满 | 不是每人新装一部电话,而是共用一条总机线路 |
| 备份演练 | 备份成功 ≠ 能恢复。没验证过的备份等于没有备份 | 灭火器要试喷过,才知道真着火时能不能用 |
八成是统计信息过期。数据量在涨,但数据库对"这张表有多少行、值怎么分布"的认知还停在过去,于是算错了"走哪条路最快"。
排查顺序:① 跑 EXPLAIN 看执行计划 → ② 看预估行数是不是离谱 → ③ 跑一次 ANALYZE 再看。
8.6.11.4 什么时候该换"列存"
上面几节都是"在现有库里优化"。但如果某类查询怎么优化都快不起来,可能是存储方式本身的问题。
| 行存(你现在用的) | 列存(Parquet + DuckDB) | |
|---|---|---|
| 擅长 | 取某几条记录(查台账明细) | 扫一大片做汇总(月度统计、按公司求和) |
| 不擅长 | 全表聚合(要把所有列一行行读一遍) | 频繁的单条增删改 |
| 典型场景 | 智能体连库查明细、RPA 写入 | 月度/季度批量报表、同比环比 |
如果你发现:"批量统计类查询越来越慢,但查单条记录还挺快"——那就是行存的天花板到了。
这时可以把历史数据导出成 Parquet 文件(一种列式存储格式),用 DuckDB 跑批量分析。DuckDB 是单机工具,几亿行也能在一台机器上跑,不需要集群。
注意:这不是"替换数据库",而是分工——数据库管事务与并发,Parquet + DuckDB 管批量分析。
① 为什么索引不是越多越好?② 复合索引为什么"等值在前、范围在后"?③ WHERE substr(施工日期,1,7)='2026-08' 为什么用不上索引?④ 执行计划里看到 Seq Scan 说明什么?⑤ "昨天还快、今天变慢",第一件事该查什么?
背景:电力工程师,数学生疏——公式照给、每式配一句直觉;工作涉及台账/违章/光伏/业财/监控。 我刚学完数据库入门,请用费曼法: 1. 用"电力公司台账"当例子,讲清主键、外键、事实表、维度表的区别; 2. 解释星型模型为什么比一堆原始表"好查"; 3. 用"查某公司某月违章"为例,讲清复合索引为什么要把"公司"放在"日期"前面,以及 substr() 为什么会让索引失效; 4. 出 3 道题考我:一道考外键连接,一道考"索引失效的常见情形",一道考"执行计划里出现 Seq Scan 意味着什么",先别给答案。 我答完后,请:① 逐题判对错并说明理由;② 指出我理解里的偏差或漏洞;③ 延伸一个我没问到但很重要的点。
用文字回答:① Excel 台账的三个短板是什么?② 主键和外键分别解决什么问题,用"作业—违章"举例说明。③ 星型模型里的"事实表"和"维度表"怎么区分?④ 为什么"口径要单独拿出去",举一个"同样一句话、两种算法"的例子。⑤ 智能体连库时,怎么防止它"胡说"和"越权"?⑥ 一条查询昨天还快、今天突然变慢,你会按什么顺序排查?答好这六点,你就真的懂了"数据库给智能体当底牌"。
自测题:配套《自测题与思考题》第 8.6 章 Q8.6.1–Q8.6.7。接下来动手:打开配套代码 06、07 各跑一遍,再把《口径确认提问清单》发给业务填一遍——你就在亲手搭建这份"底牌"了。