DataFocus
简体中文
← 返回博客

DataFocus · 博客

Text-to-SQL 够业务用户用吗?原始 SQL 生成 vs 受治理的本体查询

公开的企业基准显示,原始 Text-to-SQL 在多数真实数仓任务上仍会失败,主因是缺少业务定义。本文对比受口径约束、并展示 SQL 的查询方式,以及何时直接用 Text-to-SQL 就够。

在小而干净、命名规范的 schema 上做探索性提问,Text-to-SQL 工具往往就够了。但对于业务用户要在会议上反复引用的数字,通常不够:公开的企业基准显示,模型在多数真实数仓任务上仍然失败,主要原因是缺少业务定义,而不是 SQL 写得不好。补上这个缺口的是一个受治理的层:把定义一次定好,让每条 AI 查询都受这些定义约束,并展示每个答案背后的 SQL 和数据,供分析师核对。

公开基准如何看待企业级 Text-to-SQL?

几年前,学术界的 Text-to-SQL 看起来已接近“解决”。最初的 Spider 数据集(Yu 等,2018,英文)包含 200 个数据库;到 2023 年,DAIL-SQL 提示工程方法(Gao 等,2023,英文)在 Spider 排行榜上报告了 86.6% 的执行准确率。企业级基准给出的却是另一幅图景。

基准(年份) 测试内容 报告结果
Spider 2.0 论文,Lei 等(2024 年 11 月,2025 年 3 月 v2)(英文) 632 个真实的企业工作流问题;数据库“往往包含 1,000 多个列” 基于 o1-preview 的代码 Agent 框架“仅成功解决 21.3% 的任务,而在 Spider 1.0 上为 91.2%,在 BIRD 上为 73.0%”
BEAVER(arXiv,2026 年 5 月 v3)(英文) 企业私有数据仓库:9,128 组问题与 SQL 对,812 张表 采用 GPT-5.2 的最先进 Agent 框架准确率为 10.8%;加入子任务提示后为 30.1%
data.world 知识图谱基准,Sequeda 等(2023 年 11 月)(英文) 一个保险企业的 SQL schema GPT-4 零样本直接生成 SQL:16%;基于知识图谱表示(本体加映射):54%

有两点需要提醒。第一,Spider 2.0 项目页面(英文)的排行榜自发布以来一直在变化,引用任何数字都要带上日期;上表中 2024 年的数字描述的是当时的水平,不代表今天最好的系统。第二,这些是研究基准,不是你的数仓。它们只适合说明一件事:从整洁的演示 schema 换到企业 schema,准确率会大幅下降,而且这一结论来自多个独立团队、跨越多年。

为什么多数错误数字源于定义,而不是模型?

看看一个企业问题里藏着什么。“上季度各区域的收入是多少?”要求系统知道:

  • 几个金额列里,哪一个才是“收入”(含退货的毛额、扣除退货后的净额、扣除税后的净额);
  • 哪些订单状态算数(已发货、已开票、已付款);
  • “季度”指自然季度还是财年季度;
  • 当 CRM 和 ERP 不一致时,哪张表里的客户区域才是权威的;
  • 金额用的是什么币种。

这些信息都不在列名里。读取 schema 的模型只能猜,而猜出一条合法的 SQL,就会给出一个自信却错误的数字。上面的 data.world 结果也指向同一方向:同一个模型、同样的问题,在有了本体和映射来描述表的含义之后,表现好得多。

最近有一家厂商的文章直接提出了这个论点。Collate(2026 年 4 月)(英文)报告称,加入其语义层后,Sonnet 4.5 在 Spider 2.0-Snow 子集上的执行准确率从 10.8% 提高到 76.5%。这只是单一厂商自己做的研究,没有给出问题数量或方差,只能当作方向参考,不能当作证明。

语义层的思路在 BI 领域并不新。dbt Labs 的文档(以 2026 年 11 月文档为准)(英文)描述了把指标定义“从 BI 层移到建模层”,让不同业务部门使用同一套定义。较新的问题是:AI 查询是否也受这些定义约束,用户能否看到它们确实受了约束。

受治理的做法在实践中是什么样?

下面以 DataFocus OT 为例,说明其机制。重点是这种模式;其他平台对其中各部分的实现方式不同。

1. 定义一次设定,处处共享。 业务定义只设定一次,搜索分析、数据看板、控制面板、本体 Agent 和外部 Agent 都使用它,得到的是同样的数字。用户还可以通过“我的知识库”(内容、关键词、类型、分类和启用标记)为自然语言助手 FocusGPT 添加业务定义和术语;管理员则在“系统管理 > 知识”下管理系统级知识,包括 FocusGPT 已确认的问题到关键词的映射。

2. 自然语言先被翻译成可见、可编辑的语句,而不是直接变成看不见的 SQL。 在数据搜索中,用户输入列名和关键词,例如“销售额 按 区域”。如果输入的是一个完整的问题,系统会请 FocusGPT 把它解析成搜索语句,并显示解析后的语句和“撤回”操作。分析师在信任结果之前,能确切看到问题被变成了什么。

3. 展示 SQL。 结果右侧栏有一个“查询 SQL 语句”面板,显示这次搜索实际执行的 SQL,用户可以核对某个数字是怎么算出来的。

4. 每次查询返回一份回执。 每次查询都会返回所执行的 SQL、用到的表和数据指纹,AI 会沿着本体中定义的对象和关系查询,而不是自己猜。对于通过 MCP 接入的 Agent,OT Flash 的 Agent 手册描述了 SQL 结果通过 evidenceRows 返回,附带执行回执、完整性与截断信息以及 evidenceRowsSha256 哈希;手册还规定,零行、失败或被截断的结果不得被描述为完整的统计。同一份手册说明,币种、期间、订单状态和并列排序规则等业务含义必须在排名之前澄清,不得凭字段名猜测单位。

5. AI 生成的内容会标明是 AI。 FocusGPT 的智能问数页面会提示内容由 AI 生成,手册建议在数据搜索中核对重要结论。

在 DataFocus 公开的产品简介里,有一个基于示例数据的演示:业务用户在数据搜索中查询,Claude Code 通过 MCP 接入后查询,两边得到一致的部门合计,Agent 的回答引用了 SQL 和 evidenceRowsSha256 回执字段(OT 产品简介(英文))。这是使用内置示例数据的演示,不是客户的实际部署。

并排对比

分析师应该问的问题 典型的原始 Text-to-SQL 工具 受治理、受口径约束的查询
“收入”从哪里来? 每次根据 schema 和提示词推断 一次设定、反复使用的定义
能看到我的问题被变成了什么吗? 不一定;常常只有 SQL 显示解析后的语句,可撤回
能看到 SQL 吗? 通常可以 可以
能证明哪些行产生了这个数字吗? 很少 回执包含用到的表和数据指纹
数据看板和 AI 的结果一致吗? 不保证 两者使用同一套定义
搭建成本 低:指向一个数据库即可 较高:需要有人建模并维护定义

什么时候直接用 Text-to-SQL 就行?

在以下情况下,原始 Text-to-SQL 是合理的选择,往往还是更好的选择:

  • 用户能读懂 SQL,并会在使用数字之前核对它;
  • schema 小、有文档,每列只有一种明显的含义;
  • 工作属于探索性质,不会发布或复用任何数字;
  • 你是在做查询原型的数据工程师,而不是汇报 KPI 的业务用户;
  • 没人能负责维护定义层。没人维护的治理层会逐渐偏离实际,过期的定义可能比没有定义更糟,因为它们看起来很权威。

受治理的做法有成本。需要有人为对象和定义建模并持续更新,也多了一个平台。以 DataFocus 为例,OT Flash 使用 Apache Doris 同时作为计算引擎和数据仓库,面向一个业务域;OT Heavy 则基于 Hadoop、Hive、Trino 和 Iceberg 构建,面向已有大数据平台的组织。无论哪一个,都是需要有人部署和运行的平台。如果你的需求只是一位分析师对一个 Postgres 副本做临时提问,Text-to-SQL 工具加上 SQL 复核成本更低。

选型前的评估问题

对任何厂商都可以用这些问题,包括上面提到的这一家。请在你自己的 schema 上运行,而不是演示数据库。

  1. 歧义测试。 问一个有两种合理含义的问题(“上季度收入”)。工具是追问、套用已存的定义,还是悄悄选了一种?
  2. 一致性测试。 在 AI 助手和数据看板里问同一个问题。数字一致吗?如果不一致,工具能解释原因吗?
  3. 透明度测试。 业务用户不需要管理员权限,就能看到问题被翻译成了什么,以及 SQL 吗?
  4. 依据测试。 答案会说明用了哪些表和行吗?遇到被截断或为空的结果,是标出来,还是当作合计报告?
  5. 归属测试。 定义存放在哪里,谁能修改,修改有记录吗?
  6. 宽表 schema 测试。 把它指向你最宽的真实 schema,而不是精心整理过的视图。Spider 2.0 等基准表明,准确率往往在这里下降。

对大多数团队适用的一条决策规则:如果一个数字要离开分析师的屏幕,它就应该来自有人负责的定义,并附带产生它的 SQL。如果不会离开,直接用 Text-to-SQL 就行。

下一步

想了解 DataFocus 两个版本在引擎和适用范围上的差异,请阅读下载页上的版本对比(英文)。对于上文描述的查询、回执和定义机制,OT 产品简介(英文)是最简短的官方概述。两个版本均可免费使用:安装镜像和发行说明(包括系统要求)发布在下载页(英文)以及 OT Flash 和 OT Heavy 两个 GitHub 仓库中。