DataFocus
简体中文
← 返回博客

DataFocus · 博客

OT Flash 定时表导入任务:让 Doris 表保持最新

DataFocus OT Flash 不使用 ETL 引擎,而是用定时导入任务保持表数据最新:连接只读数据源、选择表、设置计划,并在系统管理器中查看运行状况。

要在 DataFocus OT Flash 中为源数据库的表设置定时导入,先用专用的只读账号把该数据库添加为外部数据源。然后运行三步导入向导(选择数据源、选择表、配置表的加载方式),并在最后一步设置可选的计划。定时导入在“表任务”(Table Task)标签页中管理,导入后的表存放在 Flash 内置的数据源“DataFocus system Doris”中。本教程按这条路径走一遍,并说明如何检查刷新是否正常。

为什么 Flash 用导入任务而不是 ETL 管道来刷新数据?

Flash 手册列出的表级数据整理工具包括:关联工作表(Join Worksheet)、合并工作表(Merge Worksheet,用于叠加结构相同的表)、带编辑器的 SQL 视图、组合相关表的数据集、“表任务”标签页中的定时表导入任务,以及“norm”公式。这些并不是 DataFocus OT Heavy 提供的 ETL 引擎。在 Flash 的 Agent 手册中,dfc_etl 工具只报告能力:它可以返回 available=false 和代码 ETL_NOT_INCLUDED_IN_OT_FLASH,所以 Flash 不运行 Heavy 那样的 ETL 作业。

实际的分工很简单:

  • 源系统仍然是数据的权威记录。
  • 定时导入把你选定的表复制到 Flash。
  • 数据落地之后,在 Flash 内用工作表和视图做数据重塑。

如果团队想要为搜索式分析准备新鲜的表,又不需要管道编排器,这样组件更少:一个连接、一个向导、每组所选表一个计划。取舍在文末说明。

导入的数据存放在哪里?

OT Flash 自带一个内置数据源,名为“DataFocus system Doris”。Doris 同时是 Flash 中表查询背后的引擎:Agent 手册说明,查询经由 Doris 执行,原有的 Trino、Hive 和 Hadoop 服务不属于 Flash 的 Agent 入口。

Apache Doris 项目在官方文档(英文)中把 Doris 描述为基于 MPP 的实时数据仓库:前端(FE)节点负责处理请求、查询规划和元数据,后端(BE)节点负责存储和查询执行。Flash 中也能看到这种划分。系统管理器的监控页面在服务容器中列出 df-doris-fe 和 df-doris-be,其 Doris 面板报告查询状态、活跃的 FE 和 BE 数量、存储以及内部表数量。

关于名称有一点说明:r57 手册把数据源称为“DataFocus system Doris”,而在外部数据库的来源类型中列出的是“SelectDB / Doris”。在界面中搜索时,请按这两个名称查找。

如何设置源连接?

Flash 支持很多种外部数据库类型,分为 Database、API source 和 HTTP source 三组。Database 组包括 PostgreSQL、MySQL(含 MariaDB)、Oracle、IBM DB2、GaussDB 100、SQL Server、Sybase、Greenplum、ClickHouse、Kudu、ElasticSearch、TeraData、MongoDB、Prometheus、Hive、Delta Lake、Iceberg、TiDB、SelectDB / Doris、OceanBase、SAP HANA、ClickZetta、Impala、DM8(达梦)、ArgoDB 和 KingBase。

连接数据库需要填写以下字段:

字段 必填 说明
Source Name 是 在导入向导中看到的名称
Server 是 源数据库的主机
Port 是 数据库端口
Database 是 要读取的数据库
Schema 可选 源类型使用 schema 时填写
JDBC Param 可选 额外的连接参数
Username / password 是 Flash 用来读取数据的账号

保存前先用 Connect 测试连接。手册建议为 OT Flash 使用专用的只读数据库账号,并且只授予你要分析的数据库和表的权限。请把它当作设计规则,而不是走形式:定时导入要在无人值守时读取源库,所以账号权限就按这一项工作来定。

下面是 PostgreSQL 源的示意代码(示意代码,未实际运行;请根据你的环境调整名称和权限):

CREATE ROLE flash_reader LOGIN PASSWORD '<set-a-strong-password>';
GRANT CONNECT ON DATABASE sales TO flash_reader;
GRANT USAGE ON SCHEMA public TO flash_reader;
GRANT SELECT ON public.orders, public.customers TO flash_reader;

只有列出的表可以被读取,所以之后在导入向导中即使选错,也不会越出这个范围。

如何在“表任务”标签页中创建定时导入?

导入是一个三步向导。

  1. Select data source。 选择上面创建的连接。
  2. Select tables。 勾选要导入的源表。先从你的问题真正需要的表开始,不要一上来就导入整个 schema。
  3. Config load tables。 选择导入类型,如果希望数据保持最新,再设置可选的计划。

计划让一次性的复制变成持续的刷新。保存后,该任务会和你的其他表任务一起出现在“表任务”标签页中,需要查看时回到这里即可。手册还介绍了其他导入表的方式(本地 CSV、Excel 或 JSON 文件,API,或 HTTP 源),但只有数据库导入的源数据会持续变化,所以它是最适合设置计划的场景。

下面几个习惯能让定时导入更容易运维:

  • 一个任务一个用途。 把总是一起查询的表放在一起,让它们一起刷新。
  • 按来源和频率命名。 像 sales_orders_daily 这样的名称,能让查看“表任务”标签页的人知道会发生什么。
  • 检查首次加载。 在依赖计划之前,先打开导入的表,确认列和行的形态符合预期。
  • 让频率与问题匹配。 每周一次的管理例会,不需要每小时刷新底层表。

导入之后如何重塑数据?

因为 Flash 没有 ETL 引擎,数据重塑在表级工具中完成,对象是已经在 Doris 中的数据:

  • Join Worksheet 按共同的键关联多张表。
  • Merge Worksheet 叠加结构相同的表,例如使用同一布局的各月提取数据。
  • SQL 视图 用内置编辑器,在导入的表之上定义可复用的查询。
  • 数据集 组合相关的表,使搜索和问答能一起使用它们。
  • Norm 公式 增加计算值。

原本会放在管道里的逻辑,适合放进视图。下面是一个示意例子(示意代码,未实际运行;表名和列名为假设):

SELECT o.order_id,
       o.order_date,
       c.region,
       o.amount
FROM   orders o
JOIN   customers c ON c.customer_id = o.customer_id
WHERE  o.status <> 'cancelled';

视图读取的是导入的表,所以每次刷新 orders 或 customers,数据都会自动流经视图,无需额外步骤。请在导入的副本之上建视图,不要把同样的逻辑复制到多个地方。

如何查看导入和调度的运行状况?

系统管理器用来检查承担这些工作的平台是否健康。它的监控页面显示服务容器(例如 df-webserver、df-search、df-biserver、df-doris-fe、df-doris-be、df-pgsql、df-redis 和 df-nginx,正常运行时每个各有一个运行实例)、基础设施服务(Doris、PostgreSQL、RabbitMQ 和 Redis)以及业务服务,其中包括 Task Manager,以及 BI Server、Search Server 和 Web Server。

告警让你不必一直盯着这个页面。你可以对节点(CPU、内存、磁盘)、Pod、Doris、PostgreSQL、RabbitMQ、Redis、服务内存、任务调度和业务数据设置阈值,运算符为 >、>=、<、<= 和 =。告警可以在应用内、通过邮件或两者同时发送。邮件冷却时间默认为 60 分钟,通知语言可选中文或英文,每条告警都会记入告警日志(Alarm Log)。

对于定时导入的部署,一组合理的起步设置是:

  1. Doris 存储阈值,避免导入的表越来越多、磁盘悄悄被占满。
  2. 任务调度告警,让调度问题被主动提示,而不是等看板看起来过时了才发现。
  3. 承载整套服务的节点上的磁盘阈值。

第一周之后查看告警日志,并按你的数据量把阈值调整到正常水平。

什么情况下不适合?

定时导入复制的是数据。这有几点后果,值得直接说明:

  • 新鲜度受计划限制。 每天刷新一次的表,最多可能比源库落后一天。如果每次查询都需要来自实时源库的答案,按计划复制是另一种模型。
  • 存储会重复。 导入的表除了源数据库之外,还会占用内置 Doris 的空间。请按数据量、并发和模型需求规划资源。
  • 重度转换应放在别处。 如果需要 ETL 引擎的能力,请看提供 ETL 引擎的 DataFocus OT Heavy;Flash 的工作表和 SQL 视图覆盖的是表级的数据整理。

如果你的需求落在“按计划复制这些表,用关联和视图重塑它们,再对结果提问”之内,“表任务”标签页用一个连接、一个向导就能覆盖这套流程。

下一步

可以在版本与下载页面下载 OT Flash,也可以浏览 OT Flash 用户手册(英文),其中关于表的章节涵盖导入、工作表、视图和表任务。系统要求和支持的平台列在 OT Flash GitHub 仓库的发行说明中。