DataFocus
简体中文
← 返回博客

DataFocus · 博客

从 Flash 起步、再升级到 Heavy:哪些资产可以带走

两个版本对本体的描述一致,定义、映射、所需范围和测试可复用;但文档没有给出 Flash 到 Heavy 的原地升级。建议按重建来规划,复用已有资产,并向支持团队确认未说明的问题。

可以先用 OT Flash,以后再换到 OT Heavy,但 DataFocus 的公开文档没有描述两个版本之间的一步到位升级。文档写明的是:两个版本对本体(Ontology)的建模方式相同,都有同样的 11 个模块;定义、映射、所需范围和测试可以跨环境复用,而客户记录、凭据、私有文档和源系统的访问规则不可复用。因此,把以后的迁移当作一次新的部署,把业务定义带过去,而不是一次版本号升级。本文分开列出文档写明的内容和文档没有说明的内容,方便你在投入之前决定要问什么。

两个版本有哪些共同点?

OT Flash r57 用户手册和 OT Heavy 8.0.9 用户手册用同样的措辞描述本体工作区。两者都把本体定义为围绕一个业务主题组织的知识空间,汇集相关的表、业务文档、指标和数据看板,并配有一个基于这些数据和文档作答的本体 Agent(Flash 手册(英文)、Heavy 手册(英文))。每个本体都列出相同的 11 个模块:Agent、本体图谱、文档中心、数据表、数据探索、历史问答、数据看板、数据应用、指标、执行和控制面板。

启动步骤也一致:先用名称和图标创建本体,在数据表中导入相关的表,在文档中心上传业务文档,然后开始使用 Agent。版本对比表中,两个版本都列有本体管理,所以先选 Flash 并不意味着没有本体可用(DataFocus 下载页(英文)和产品简介(英文))。

差别在数据底座。Flash 使用 Apache Doris,同时作为内存计算引擎和数据仓库。Heavy 延续 Hadoop、Hive、Trino 和 Iceberg 的架构,并内置 ETL(DataSpring)和 AutoML。

哪些资产可以复用?

DataFocus 在构建指南中关于跨项目复用的说明,是公开文档里最接近迁移说明的内容。根据构建指南(英文),可复用的是:定义、映射、所需范围和测试;不可复用的是:客户记录、凭据、私有文档和源系统 ACL。身份和权限需要在每个新环境中重新映射。

套用到版本迁移上,可以这样划分。这是我们对该指南的解读,不是 DataFocus 给出的操作流程:

资产 是否带走 在新环境中怎么做
业务定义(“交付”的口径、适用哪个规则版本) 指南列为可复用 重新录入或导入,再请负责人重新确认
表与数据源的映射 指南列为可复用 重新绑定到 Heavy 将要读取的数据源
所需范围 指南列为可复用 针对 Heavy 的用户和角色重新授予
测试(有已知答案的业务问题) 指南列为可复用 在新数据上重新运行
业务文档(指标口径、规则、流程) 未列为可复用(属于私有文档) 重新上传到文档中心,等待状态变为“已完成”
用户、角色、权限 重新映射 重新创建,或从 AD/LDAP 同步
凭据和令牌 不可复用 重新签发

测试这一行最容易被团队跳过。同一套文档建议的交付顺序以核验一个业务任务收尾,所以请保留当初验收 Flash 本体时用的业务问题及其预期答案,把它们作为 Heavy 的验收用例集。

哪些可以手工迁移,哪些是版本专属的?

文档中有几项界面功能可以减轻手工迁移的负担,但没有一项被描述为 Flash 到 Heavy 的工具:

  • 本体内的历史问答、数据看板和数据应用,各有一个导入按钮,可以导入同一安装中 BI 工作区里已保存的内容。这是安装内部的功能,不是跨版本功能。
  • Heavy 手册描述了导入从系统导出的问答或数据看板文件,遇到同名资源时可以选择“跳过”等处理方式。Flash 用户手册在资源项目下列出了案例的导入和导出。两本手册都没有说明从一个版本导出的文件能否导入另一个版本,所以在依赖它之前,请先用一个小项目测试。
  • 两本手册都说明,执行是 Python 脚本,控制面板的来源是可编辑的 JSON。它们是可以阅读和比对的文本。脚本或面板能否在另一个版本上原样运行,文档没有说明;手册还提醒,执行会真实地读取或修改数据,所以请逐个先做测试运行。
  • Heavy 的数据源列表除常见关系型数据库外,还包括 Doris、Hive 和 Iceberg。这说明 Heavy 可以读取这些系统,但没有说明它能读取 Flash 安装内部的 Doris 表。

有一项版本专属的内容会让直接复制失效。Heavy 的 DataSpring ETL 仅列在 Heavy 中,Flash 的 Agent 手册还把 Heavy ETL 列为 Agent 在 Flash 上不得调用的入口。如果你在 Heavy 上增加 ETL,那是新增的工作,不是带过来的资产。

文档没有说明什么?

明确列出空白,比猜测更有用。公开文档没有说明:

  • 从 Flash 到 Heavy 的原地升级,或两者之间的任何转换工具。
  • 本体的导出格式,以及 Flash 的导出能否加载到 Heavy。官网首页在“拥有你的上下文”应当意味着什么的列表中提到了“迁移”,并说定义、映射和策略“可导出”。这是首页上的设计原则,不是文档中记载的工具。
  • Flash 内部的 Doris 数据与 Heavy 的 Hive 和 Iceberg 表之间是什么关系。

系统要求、支持的平台和安装步骤,列在各版本在 GitHub 仓库中的发行说明里:OT Flash 和 OT Heavy;两个版本也都可以从下载页(英文)获取。资源规划请围绕数据量、并发和模型需求来做。

版本页面确实给出了一条流程提示:迁移之前,先确认目标版本、源映射和本体导出范围,并参考所选版本自带的文档了解许可、服务范围和节点说明。下载页(英文)还提到,企业版订阅包含升级与迁移协助,这提示了获得受支持迁移的途径,但页面没有给出具体条款。

如何规划分阶段路径?

下面这套步骤没有超出文档范围:

  1. 从第一天起就用业务语言建模。 每条定义都写明负责人,并在产品之外保留一份纯文本登记表,记录定义、数据源映射和范围。这份登记表就是你可以随身带走的资产。
  2. 先在 Flash 上建一个本体。 简介建议的第一步,是选一个有数据、有政策文档、有明确负责人的业务问题,然后接入业务用户,再接入经过授权的 Agent,最后扩展到下一个业务域。
  3. 把验收测试写成有已知答案的问题。 与登记表放在一起保存。
  4. 提前确定迁移到 Heavy 的触发条件。 版本页面推荐在数据量大、已有大数据平台、需要数据管道和建模时选择 Heavy。事先选定其中哪些情形会促使你迁移,这样决定就不必在压力下做出。
  5. 用合成数据演练。 从下载页(英文)安装 Heavy,根据登记表重建一个小型本体,并在接触生产数据之前重放这些测试。
  6. 并行运行,直到测试结果一致。 两个版本都部署在你自己的服务器上,所以并行运行的成本是硬件和运维时间:下载页说明社区版没有许可费用,并说明它不包含服务器、模型调用和运维。

什么情况下这个方案不合适?

如果你已经确定有 Hadoop 级别的平台、有 ETL 需求,而且数据量符合 Heavy 的描述,那么先从 Flash 起步,会多出一次本可以省掉的重建。同样,如果你的第一个本体就依赖数据管道或 AutoML,而这些只在 Heavy 中提供,也是如此。在这两种情况下,请直接从 Heavy 开始,或者至少先读 Heavy 的发行说明了解系统要求。

应该向 DataFocus 支持团队问什么?

请通过私有支持工单发送以下问题,并按支持页面的要求附上产品版本和你期望的结果:

  1. 是否有受支持的 Flash 到 Heavy 的迁移路径?是否需要企业版订阅?
  2. “本体导出范围”包含什么?导出为什么格式?
  3. 从 Flash 导出的历史问答、数据看板、执行和控制面板来源,能否导入 Heavy 8.0.9?
  4. 保存在 Flash 的 Doris 表中的数据,应当如何导入 Heavy 的 Hive 或 Iceberg 层?
  5. 两种安装完成后,如何重新检查工具目录和范围?Flash 的 Agent 手册说明,升级后应重新发现工具和版本,旧的授权不会自动获得新增的范围。

如需进一步了解版本差异,请阅读下载页(英文)和构建指南(英文)。