DataFocus · 博客
OT Flash 搜索调优:同义词、自定义关键词与财年
OT Flash 可以让数据搜索学会公司自己的说法:列名和列值的同义词、自定义关键词、自定义地区,以及财年这类自定义日期。本文说明各项设置在哪里,以及如何验证。
要让 DataFocus OT Flash 的关键词搜索听懂你们公司的同义词和财年,用它的搜索调优设置即可。同义词把你们自己的说法映射到列名和列值,自定义关键词增加你们自己的搜索词,自定义地区定义“华东”这类区域,自定义日期定义财年等日期口径。只针对某张表的词在该表上设置,全公司通用的词由管理员在“配置”的“搜索”页签下设置。搜索因公司内部说法而失败时,调优通常是成本最低的修复办法,因为你改的是一项设置,不需要重新训练任何东西。
为什么关键词搜索会漏掉公司内部的说法?
OT Flash 的设计思路是:业务用户像用搜索引擎一样输入列名和关键词,系统生成图表。在数据搜索中,你选一张表,输入类似“Sales by Region”的内容,系统计算结果并选择合适的图表。只要你用的词和表里的词一致,这就没有问题。
但公司里很少有人这样说话。财务说“turnover”,而列名叫 Revenue。销售说“Southern region”,而数据里的值是 South。计划部门说“FY”,而日历里只有年和月。“East region”可能只是管理层的一种分组,任何一列里都找不到。
如果输入的不是标准的关键词语句,OT Flash 会请 FocusGPT 把它解析成搜索语句,展示解析后的语句,并提供“还原(Revert)”选项,让你回到自己输入的原文。这个兜底机制有用,但每次搜索都多了一次猜测。搜索调优可以让你每天都在用的那些词不再需要猜。
设想一家中型分销商(假设场景,并非真实客户)。它的 Orders 表有一列叫 Net Revenue,还有一列 Region,值为 North、South、East 和 West。分析师输入“turnover by Southern region this fiscal year”。不做调优时,其中三个词都匹配不上。下面各节逐一解决。
如何为列名和列值添加同义词?
同义词分两个层级,解决的是不同的问题。
列同义词。 在表的列设置中,你可以逐列设置显示名称(Display Name)、数据类型、描述、列类型、聚合方式、数据格式、地理类型(Geo Type)、同义词(Synonyms)、索引类型,以及 1 到 100 的优先级,还可以设置该列是否对模型可见。“同义词”字段接受该列的其他名称,用逗号分隔。添加之后,在搜索中输入某个同义词,也能找到这一列。
对于假设场景中的 Orders 表,可以给 Net Revenue 列添加“turnover, sales value”作为同义词。这样,搜索“turnover by region”就会解析到与“net revenue by region”相同的列。
列值同义词。 在表的“搜索扩展”页签上,可以为列值添加同义词。手册里的示例是:给 Region 的值 South 设置同义词“Southern region”;之后搜索“Southern region”也会匹配 South。每一条同义词通过“为列值添加同义词”按钮(Add synonyms for column values)添加。
两个层级通用的实用规则:
- 先收集失败的搜索。问三四位分析师,他们输入哪些词没有得到有用的结果。
- 每个真实出现的说法加一条同义词。不要把同义词词典整个灌进去;每多一条同义词,搜索就多一种匹配到意外内容的可能。
- 只在某一张表里才有意义的词,优先放在该表的搜索扩展里;所有表共用的词,用系统级设置。
什么是自定义关键词和自定义地区?
自定义关键词是你自己定义的搜索关键词。它有两个作用范围:一个在表的“搜索扩展”页签上,只对该表生效;另一个在管理员的搜索设置下,对整个系统生效。手册只用一句话描述了它,没有给出完整示例,所以作用范围就是最主要的设计决策。如果一个关键词承载的是某个团队对某个词的特定理解,就应该放在该团队的表上。如果它是各部门都认可的,就放进系统级列表。
自定义地区由管理员在“配置”的“搜索”页签上定义。手册里的示例是:East 这样的区域,由若干特定的州和城市组成。定义之后,这个区域就可以用来缩小搜索范围。该页签还提供按国家导入系统地区的选项,让你在添加自己的分组之前先有一套基础数据。
对这家假设的分销商来说,“East region”是销售管理上的分组。把它定义为自定义地区后,分析师就可以搜索“sales of each state in the East region”,这正是手册用来说明自然语言输入的那类问题,而且无需有人给表加辅助列。
如何把财年定义为自定义日期?
自定义日期是告诉搜索你们公司自己的日期惯例的方式。手册给出的示例是财年。它同样由管理员在“配置”的“搜索”页签上设置,与自定义地区、系统级同义词和关键词放在一起。
把它放在一个地方定义,好处是口径一致。如果每位分析师都自己把“FY”换算成日期范围,迟早会有两个人对财年是从 4 月还是 7 月开始产生分歧。把它一次性定义为自定义日期,就把这个决定从各人的搜索里挪出来,放进由管理员负责的配置中。
手册说明了自定义日期的存在,并以财年为例。本文所依据的章节没有逐字段的操作说明,所以具体字段请对照所安装版本的发行说明和用户手册:datafocus.ai/manuals/ot-flash/r57/en/human.html(英文)。在亲眼看到界面之前,不要假定从年中开始的财年是怎样表达的。
用搜索调优,还是用 FocusGPT 知识库?
OT Flash 还有第二种教它业务词汇的方式。可以通过“我的知识库”(My Knowledge Base)向 FocusGPT 传授业务定义,每个条目包含内容、关键词、类型、分类和启用开关,可以单条导入,也可以批量导入。管理员在 Admin > Knowledge 下管理系统级知识、FocusGPT 已确认的问题到关键词的映射、个人知识和分类。
两种机制作用于不同的环节:
| 搜索调优 | FocusGPT 知识库 | |
|---|---|---|
| 作用对象 | 关键词搜索本身 | FocusGPT 对问题的理解 |
| 典型内容 | 同义词、自定义关键词、自定义地区、自定义日期 | 带关键词、类型和分类的业务定义 |
| 位置 | 表的“搜索扩展”页签;“配置”中的“搜索”页签 | 我的知识库;Admin > Knowledge |
| 最适合 | 简短、精确的词:“turnover”“Southern region”“FY” | 需要一句话来解释的定义:例如什么算活跃客户 |
判断规则:如果这个词只是对已有的列、值、区域或日期范围的称呼,就调优搜索。如果它是需要解释的定义,就放进知识库。做好前者也有助于后者,因为 FocusGPT 的输出是一条搜索语句,由搜索已经理解的词构成的语句更容易生成正确。手册对 FocusGPT 结果的建议是:关键结论要在数据搜索中核对,这也是保持关键词搜索准确的另一个理由。
如何在发布前测试调优后的搜索?
把调优当作其他人要依赖的变更来对待。一份简短的清单:
- 重跑失败的搜索。 取第一步收集的清单,把每个短语照分析师当时的输入原样再输入一遍。
- 阅读 SQL。 数据搜索会在右侧栏显示 SQL 和分析摘要。确认“turnover”映射到了预期的列,“Southern region”过滤的是 South,而不是范围更大的内容。
- 检查反例。 搜索一个不应该变化的相邻短语,比如“North”,确认它的结果与之前一致。
- 检查财年边界。 把一次财年搜索的结果,与你已经信任的财务报表中同期的数字对比。选一个跨越日历年变更的时间段,因为错误的定义最容易在那里暴露。
- 先用受限角色测试。 用户看到的菜单和数据取决于管理员分配的角色和权限,所以至少要用一个普通业务用户账号检查,而不只是用管理员账号。
- 宣布词汇,而不是功能。 把现在可以使用的词汇清单发给团队。一份简短的真实说法清单,比对设置项的描述更有用。
什么时候搜索调优不是正确的修复办法?
调优适用于“用词不同但含义相同”的情况。它解决不了列含义不清的表、两个都像是“收入”的列,或者各部门对定义有争议的指标。把同义词加到错误的列上,只会让错误答案更容易得到。先确定哪一列是权威的,再附加同义词。
同时要明确责任归属。系统级的同义词和关键词会影响所有人的搜索,所以应指定一位管理员负责,并记录添加了什么、为什么添加。
下一步
关于具体界面,请阅读 OT Flash 用户手册中关于数据表和“配置”中“搜索”页签的章节:datafocus.ai/manuals/ot-flash/r57/en/human.html(英文)。要安装免费版本,请前往下载页面,安装程序和发行说明都在那里发布。