之前的《Data Agent,还是 Data Skills》讨论了组织上的理由:分析需要独立,不能让业务目标左右解读。这篇补充技术上的理由。

在《Coding Agent 能做数据挖掘吗》里,我写过流失诊断和儿童业务的两个项目。当时 Agent 调用的是我们封装好的取数、画像、行为和实验分析能力。

但如果只给一个 General Agent 或 Coding Agent 接上数据库,让它读文档、写 SQL、跑 Python,就能持续完成企业里的复杂分析吗?

有些错误不会让代码报错,甚至能通过 Agent 自己写的测试。但它可能把人群算错了,也可能把没有证据的解释写成结论,最后仍然交出一份看起来完整的报告。

分析错了,代码也能跑

通用 Agent 可以规划任务、调用工具、管理上下文。Coding Agent 有代码库、构建、测试和调试这套工作环境。它们都能读取资料、调用数据工具,也能做分析。

修一个 bug,可以改代码、跑测试,再根据失败信息继续修。同一个功能有不同的实现,能不能满足要求,可以用测试和运行结果检查。软件需求也会模糊,测试通过也不代表没有 bug,但总有一部分错误能被工具直接指出来。

做分析可以尝试不同方法,但人群、口径和时间范围确定以后,计算就要符合这些条件。不能因为另一套定义更容易算,就换一个答案。至于为什么变化,可能有几种解释,需要继续查。

麻烦的是,查错了方向,程序也未必会报错。

SQL 能执行,数字能对账,但比较的两个月可能用了不同口径。SQL 引擎知道字段存不存在,不知道这个字段是不是业务要问的收入。报告把相关性写成因果关系,Python 也不会为此抛出异常。

分组汇总能否与总量对齐、主键是否重复、分母是否为零,这些都可以自动检查。但测试能查出什么,要看事先写进了哪些要求。

如果测试和查询都来自同一个错误假设,两者还可能一致。

人均收入为什么下降

以一个假设的问题为例:「分析有效用户的人均收入为什么下降。」

先确认业务含义

第一步就有歧义。「有效用户」是注册过、登录过,还是付过费?收入是实付、扣除退款后的净收入,还是按服务期确认的收入?几套定义都能找到对应的表,也都能算出数字。

假设业务要看的是付费会员的净收入,Agent 却选了登录用户和支付金额。表和字段都存在,查询能跑,分组汇总也能与总量对齐。它还可以写测试,验证人均收入等于总收入除以用户数。

这条测试会通过。分子和分母选错了,不影响除法算得对。

让 Coding Agent 先读文档,有帮助。但企业里可能有几套历史口径,不同部门的定义也不一样,加工逻辑还在变。找到一段描述以后,得确认它适用于哪个产品、哪个时间,现在的数据是不是按这个定义生产的。多跑几次查询,也不能从字段名里推断出这些规则。

Data Agent 的数据语义层,要把「有效用户」「净收入」和具体的数据对应起来。采用哪份定义,用哪些表和字段,怎样过滤、怎样关联,都要说明白。定义来自哪里、什么时候生效、适用于什么范围,也要保留。否则一份过期的口径还可能被继续使用。

Agent 按这些定义取数,生成查询后再检查有没有落实。「排除试用用户」写进分析计划还不够,实际查询也得排除。

几份定义有冲突,或者说不清数据覆盖了什么范围,就先澄清,不能挑一份看着合理的继续算。

在六层 Data Context里,我讲过相似指标混用,也讲过有些数据范围在 Schema 里没有说明,要从 ETL 里确认。

数字算对以后

假设人群里有两类用户,人均收入分别是 100 元和 10 元。上个月各占一半,整体是 55 元;这个月高收入组占比降到 20%,整体变成 28 元。两组内部的人均收入都没变,总体却明显下降了。

如果 Agent 看着总体趋势和同期活动,写下「用户付费意愿下降」,这个解释就没有得到数据支持。它得先分清是人群结构变了,还是同一类用户付得少了。定位到哪类用户的占比下降以后,还得继续查占比为什么变了。

Coding Agent 能写这些拆解代码,也可能主动想到要拆。但它没想到的话,执行结果不会提醒它。

所以分析方法里要写清楚,什么条件下适用,哪些检查不能省。数据到没到齐,两个月的人群能不能直接比较,都要先确认。把收入差额分到几个组,完成的是贡献拆解,原因可能还没找到。同期活动可以作为线索,不能直接拿来解释下降。

让模型再检查一遍,可能发现遗漏。但它如果一直接受「总体下降代表个人付得更少」这个前提,复查时也可能只看看图表和数字是否一致,然后认可原来的解释。

Data Agent 需要把这些方法整理成 Skill,执行时调用工具和脚本做检查。漏了人群拆解就补算,数据没到齐就等,或者缩小观察范围。找到了变化发生在哪里,但证据还不足以解释原因,就明确写「原因待查」。业务上的解释仍然需要人来判断。

Agent 跑假设便宜,切的维度多了,也容易碰到偶然相关。在一批数据上发现一个模式,再用这批数据展示一次,算不上独立验证。根据具体问题,可能还要换时间窗口、留出样本,或者继续做实验。

这些验证 Coding Agent 都能执行。什么时候必须做,失败后收回什么结论,要在分析方法里明确。

口径变了,旧结果怎么办

用户看到中间结果后说:「有效用户只算付费会员,排除试用用户。」原来的人群、分母、分组结果和解释都可能需要调整。或者退款数据晚到一天,昨天算出的净收入今天就需要更新。

Coding Agent 可以跑长任务、并行执行、保存文件、断点恢复,但这些能力不能说明旧结果还能不能用。旧 CSV 没坏,画图脚本能跑,原来的图表也还在,采用的却可能是修改前的口径。

比如 Agent 重跑了总收入,却用了旧人群的分母;更新了表格,报告里的图和解释还来自上一轮。每一步都能执行成功,但报告已经混用了两套条件。

Data Agent 要记录每份结果采用了哪版定义、哪次查询和哪些数据,后面的计算、图表和结论又用了它什么。口径变了,依赖旧口径的结果就要重算;数据更新了,相关的图表和解释也要重新检查。出报告前,再确认它们采用的是同一套分析条件。

这些依赖要随分析过程更新。光有文件目录和执行日志,看不出业务定义变了会影响哪段解释。说不清旧结果是否还适用,就不能因为上次跑成功了而继续用。

Data Agent 怎样补上这些检查

Data Agent 要把这些业务要求接进执行过程。Data Context 里保存元数据、指标口径、加工逻辑、业务规则和经过确认的经验。语义层把业务概念与实际数据对应起来,Skill 组织分析方法,运行时负责检查、保存结果和处理失败。

取数时,语义层里的定义要落实到查询和检查里。人均收入采用什么分子和分母,排除哪些用户,关联数据后保持什么粒度,都要与 SQL 和结果对照。查询和检查采用业务确认的定义,避免只验证模型临时选的那套口径。

分析原因时,Data Context 里的活动记录、业务规则和历史经验帮助 Agent 提出假设。收入诊断的 Skill 则要求它拆开结构变化和组内变化,再核对活动影响了哪些人、发生在什么时间,是否与观测到的变化一致。能算的交给工具,缺少证据就继续查,或者停在「原因待查」。多放几份文档,不能代替这些步骤。

本次分析采用哪版口径、查了哪些分区,哪些计算和图表用了这份数据,也要记录下来。定义或数据一变,运行时就能据此标记受影响的结果,安排重算和复查。语义层记录定义的变化,执行记录说明这些定义用在了哪里。

这些检查有没有用,要拿真实任务来验。给出冲突的定义,看它会不会追问;让一次关联重复计算金额,看它能不能查出来;改掉口径,看它有没有撤下旧结果。解释是否超出证据,也要检查。语义定义可能有错,方法也有适用边界,没有确认的部分要留在报告里。

确认过的定义和纠错存回 Data Context,有效的分析过程整理成 Skill,下次继续用。还没验证的猜测要保留为假设,不能当成业务事实传下去。

这些能力可以建在通用 Agent 或 Coding Agent 上。数据语义、分析方法和结果依赖要持续维护。检查出问题,就先澄清、补查或重算,再往下做。