远见网
编者按：本文来自微信公众号 “新智元” ，作者：ASI启示录 ，创业邦经授权转载。刚刚，这个让无数搞AI数据分析的人最头疼的事，Anthropic给出了自己的解法，还在官方博客甩出两个95%的数字：https://claude.com/blog/how-anthropic-enables-self-service-data-analytics-with-claude?
utm_source=chatgpt.com 这篇博客直指AI数据查询的核心痛点：答案看着对，却不敢轻易相信，不知哪里可能埋了雷。Anthropic官方还为这种情况起了个名，叫「虚假的精确感」（false sense of precision）：把Claude直接接上数据仓库放手让它跑，它可能会回复你一个格式漂亮、语气笃定，却悄悄用错了表的答案。
这篇博客的作者来自Anthropic数据科学与数据工程团队，把重复机械的取数活交给Claude后，他们腾出手，去做因果建模、预测、机器学习等事情。他们在博客中提到的最反常识的一个观点就是：让模型准确查数，最难的根本不在写SQL。结构化查询语言（SQL）就是跟数据库要数据用的语言，过去会写它，是数据分析的一道门槛。
可对今天的大模型来说，把人话翻成SQL早已不是主要瓶颈，真正难的是在写SQL之前那一步。Anthropic认为数据分析，难就难在：数据本身是一笔「糊涂账」。同一个问题，常常能对上好几份长得差不多的数据，到底该用哪一份，说不清。
AI真正要做对的，是从这一堆数据中挑出你要找的那份。这一步搞对了，后面写SQL把数取出来，几乎是顺理成章的事。Anthropic将模型分析数据出错的主要原因，归为如下三类。分析类AI的真正难点，是把用户问题映射到正确且最新的数据实体。
一个数据模型里有几百个看着都能用的字段，背后可能藏着上百万个。你问「有多少活跃用户」，什么动作算活跃？算不算欺诈账号？回溯窗口取7天还是30天？模型在这堆近义选项里，挑不出对的那个。
数据源、业务定义、表结构天天在变。模型脑子里的知识慢慢「生锈」，开始返回「细微处出错」的答案。这种错最难发现，看着全对，其实早就不对了。信息其实就躺在模型里，标注也完整。可搜索空间太大，它压根没翻到。
把它和写代码对比，差别一下就清楚了。写代码是开放题，文档和单元测试天然挡着幻觉。数据分析往往只有一个正确答案、一个正确来源，而且没有任何确定性的办法证明它对。所以Anthropic的结论是：分析的准确率，是上下文和验证的问题，并非模型会不会写代码的问题。
为了解决这三类错误，Anthropic搭了一套东西，起名叫智能体分析栈（agentic analytics stack），一共四层，每层专治一类问题。Anthropic智能体分析栈结构图：数据基础层、事实来源、技能、验证四层各司其职。第一层，数据基础层（data foundations）：数据仓库本身，包括数据模型、转换、测试、表，以及描述它们的元数据。
核心动作是把同一个概念收敛到唯一一张权威表，专治「概念-实体歧义」，同时也构建了预防数据口径过时的第一道工程防线。Anthropic强调，维度建模等传统数据工程手艺，在AI时代同样关键。第二层，事实来源（sources of truth）：模型查数时参照的几个权威来源，按可信度从高到低是：语义层＞血缘与转换图＞查询语料＞业务上下文。
它的作用就是把用户嘴里模糊的问法，翻译成系统里唯一正确、有人维护的数据口径。第三层，技能（Skills）：把资深分析师的查询流程固化成可复用的模块，主治「检索失败」，保证模型可靠地找到、并用对那个答案。第四层，验证（validation）：离线评测、消融实验、在线验证，再加上维护流程，查出三类错里还有哪一类在漏，也是对抗「数据过时」的主要方式。
在搭这几层的过程里，Anthropic还撞见了两个反直觉的结果。他们试过让大模型自动从原始表生成指标定义，结果生成的定义把想消除的歧义又原样编码了回去，在评测里直接成了负分。最后只能改回老办法：Claude起草文档，定义由人来拍板。
另一个更出乎意料。把几千条历史SQL直接喂给模型检索，准确率只提升了不到1个百分点。这四层里，Anthropic披露的最大准确率跃迁来自Skills。
事实来源是声明式知识，告诉模型每个指标是什么意思；Skills是程序性知识，告诉它先查哪、按什么顺序查、一份合格分析长什么样。形态上，Skills就是一个装着SKILL.md和说明、脚本、资源的文件夹，Claude按需读取。
这个机制在Anthropic官方文档和GitHub仓库中都能交叉印证。根据Anthropic内部披露数字，没有Skills，Claude在内部评测里的准确率不超过21%；加上Skills之后，稳定冲到95%以上，部分领域接近99%。
Anthropic发现，这套系统会过期：他们眼睁睁看着离线准确率，一个月内从约95%掉到约65%。背后原因是，数据模型每天都在变，描述它的Skill文档没人管，因此几周后它就开始说错话。于是Anthropic团队就把维护当成正经工程来做：Skill文档和数据模型塞进同一个代码仓库，改模型的那个代码合并请求（PR），顺手把对应文档也改了。
现在约90%的数据模型改动，都带着一处Skill更新一起提交。给智能体开了全文检索（grep）权限，让它去翻历史SQL文件，还在运行记录里确认它确实一条条读了。结果准确率上下波动不到1个点。
更要命的是，答错的那些题里，约80%的正确答案，其实就躺在它刚读过的语料里。它看见了，还是没用上。那一刻Anthropic想明白了：真正的瓶颈是结构，不是拿不拿得到资料。这个判断，直接改写了他们之后几个月的路线图。
找对结构，能把准确率顶到一个高度。可最后那几个百分点，得拿真金白银去换。比如，加一道对抗式审查（adversarial review），让模型反复死磕自己的假设，评测准确率能再涨6%。代价是token多烧32%，延迟高72%。
https://claude.com/blog/how-anthropic-enables-self-service-data-analytics-with-claude 本文为专栏作者授权创业邦发表，版权归原作者所有。
文章系作者个人观点，不代表创业邦立场，转载请联系原作者。如有任何疑问，请联系 editor@cyzone.cn。Copyright 2007-2023 cyzone.cn All rights reserved 京ICP证070362号 京ICP备08103950-1号 京ICP备08103950-9号 京ICP备08103950-10号 新出发京零字第朝140005号 爱奇清科（北京）信息科技有限公司 地址：北京市朝阳区丽泽西街东湖国际中心A座7层 | 网络文化经营许可证（京网文[2018]2153-213号） 违法和不良信息举报电话：010-53391121 举报邮箱：db@cyzone.cn
