DataFocus · 博客
自建 DataFocus OT Flash:开装之前先定下的七件事
DataFocus 要求在自建 OT Flash 之前定下的七个决定:每一项都有负责人、要交出的产物和背后的机制,并附一份取自 r57 手册的安装后第一小时核验顺序。
在自己的服务器上安装 DataFocus OT Flash 之前,有七个决定要先指定负责人、落成书面答案:使用范围、操作系统与 CPU 架构、容量、数据授权、模型服务、数据出口,以及备份归谁管。这份清单不是我们编的,它来自 DataFocus 自己的部署文档;同一份文档还要求按所选版本的安装指南确定最低资源。系统要求和支持的平台写在每个发行版的发行说明里,发布于下载页和 OT Flash GitHub 仓库。下文逐项给出负责人,讲清背后的机制,最后附上安装完成后第一个小时的核验顺序。
先说清边界:这是一份准备清单,不是安装指南。内容依据 DataFocus 的公开文档、r57 用户手册和 OT Flash 的 README,文中没有任何数字来自对运行中系统的实际测量。
七个决定分别归谁
OT Flash 由你自建,大语言模型服务由管理员配置,所以没有哪一个团队能单独为整张清单签字。项目启动前就把七项分派下去,并且向每位负责人要一件实实在在的产物,而不是一句口头的“没问题”。
| 决定 | 负责人 | 要交出的产物 |
|---|---|---|
| 使用范围 | 业务负责人、平台负责人 | 一个点名的业务域,以及用户最先会问的三个问题 |
| 操作系统与架构 | 基础设施团队 | 锁定的发行版,以及其发行说明中关于平台的那一行 |
| 容量 | 基础设施团队 | 一张容量规划表,每种资源一行,并写明试点日期 |
| 数据授权 | 数据负责人、安全团队 | 每个数据源的读取范围,以及一个只读服务账号 |
| 模型服务 | 平台负责人、安全团队 | 模型托管位置、密钥保管方式、备用方案 |
| 数据出口 | 安全团队、合规团队 | 哪些数据可以离开内网,依据哪条政策 |
| 备份归属 | 运维团队 | 快照目标、凭据轮换方式、恢复演练日期 |
范围真的只有一个业务域吗?
把使用范围写成单一业务域,比如采购审批或订单交付,再列出用户最先会问的三个问题。DataFocus 的版本说明把 Flash 定位给这样的团队:想快速跑通一个业务域,数据能放进同一个分析引擎。在 Flash 里,Apache Doris 同时充当计算引擎和数据仓库。OT Heavy 则延续 Hadoop、Hive、Trino 与 Iceberg 的架构,内置 ETL 与 AutoML,面向数据量大、已有大数据平台、需要数据管道和建模的场景。
这就给了第一次会议一条可以直接套用的决策规则。需求是“一个业务域,数据能落进一个引擎”,Flash 合适;需求是“全公司的数据”或者“先得把数据管道搭起来”,那说的其实是 Heavy,后面这张清单也得跟着改。容量规划表、连接器清单、模型服务的决定,全都从这个答案往下推。
装哪个发行版,装在哪个平台上?
支持的操作系统和 CPU 架构,列在你所安装的那个 OT Flash 版本的发行说明里。由此可以推出两条做法:
- 先锁定发行版,再读它的发行说明确认你的平台,并把两者一起写进变更记录。写着“最新版”的容量规划表,不算容量规划表。
- 变更窗口当天早上重读一遍发行说明;锁定的发行版若有变动,窗口随之顺延。
README 还补了一步,很多团队是装到一半才发现的:新安装需要实例专属的产品授权和模型配置。请在窗口打开之前就把授权申请下来。下载不需要网站注册,也不需要付费;发行说明会告诉你如何用校验信息(checksum)核对文件完整性,这一步应当写进运行手册(runbook)。
容量到底被什么吃掉了?
下载页对资源需求只给了一句话:“按你的数据规模和工作负载规划”,各发行版的系统要求在各自的发行说明里。除此之外,DataFocus 的建议是围绕数据量、并发和模型需求做规划。要把这几句话变成一张容量规划表,你得先知道装好的系统由哪些部件组成。
r57 手册的 System Manager 监控页列出了服务容器:df-webserver、df-search、df-biserver、df-doris-fe、df-doris-be、df-pgsql、df-redis 和 df-nginx,正常运行时各一个实例;基础设施服务是 Doris、PostgreSQL、RabbitMQ 和 Redis。其中两个 Doris 容器对磁盘的影响最大。按 Apache Doris 文档(2026 年 11 月查阅)的说法,前端节点负责接收请求、查询规划和元数据,后端节点负责存储和执行查询。README 说明 Doris 把导入的业务数据存在内部表里,所以后端的数据目录随你导入了多少数据而增长,跟你所连接的源系统有多大无关。
Flash 的容量规划表因此至少要有下面几行,每一行都注明数字的来源和复核日期:
- 导入的表。 哪些表、今天多少行、试点期间预计增长多少。数据盘按这些数字来定,不按源数据库的体积来定。
- 文档。 README 描述了负责解析、切块、向量嵌入(embedding)和建索引的文档工作器(document workers)。要为原件及其派生索引预留空间,并且在划分磁盘分区之前先问清安装程序的存储布局。
- 并发用户与定时任务。 DataFocus 没有公布并发或延迟数据,所以没有现成数字可以借用。先统计预期的同时在线用户数和定时导入数,再在试点中验证。
- 模型调用。 安装完成后,“系统管理 > 设备授权”(Admin > Device authorization)会显示每日和每月的 AI 模型 token 用量。先留一个占位,试点期间从该页面把数字填进去。
还有一条许可事实应该写在同一张表上。DataFocus 的发行政策规定每个节点一个活跃的 DataFocus Node Unit,由本地硬性限制强制执行,人类用户数不限。社区版(Community Edition)运行在单节点上,没有许可费用;多节点与集群部署列在企业版订阅之下。如果容量规划表上有一行写着“不止一个节点”,那就是一场商务谈话,而且要尽早开始。
数据怎么进来,谁批准它进来?
规划数据如何到达 Doris、多久刷新一次。README 列出的连接器有 MySQL、PostgreSQL、SQL Server、Oracle、DB2、ClickHouse、SAP HANA 和 OceanBase,另有兼容的 TiDB、Doris 和 Greenplum,以及 CSV 导入;r57 手册还补充了 Excel 和 JSON 文件、API 数据源和 HTTP 数据源,以及用于定时导入的 Table Task 页签。对清单上的每一个数据源:
- 写明数据负责人,记下本体可以读取哪些表、哪些列。
- 为 OT Flash 创建一个只读数据库账号。r57 手册建议使用专用只读账号,且只能访问待分析的数据库和表;换句话说,这是文档写明的路径,不是额外的谨慎。
- 按表决定刷新计划,因为定时导入是按表任务逐一配置的。
- 在承诺刷新计划之前,先在试点中从这个数据源真实导入一张表。
进了产品之后,可见范围跟着角色走。r57 手册的预置角色有 SYSTEM_MANAGER(全局配置、用户与角色)、SOURCE_MANAGER(全部资源及其授权)、DEPARTMENT_MANAGER、DEVELOPER 和 LOG_MANAGER,管理员还可以新增自定义角色并按资源设置权限。用户可以逐个创建、按模板批量导入,或者从 AD/LDAP 同步;一个用户看得到哪些菜单,取决于分给他的角色。安装日之前,定下第一位 SYSTEM_MANAGER、第一位 SOURCE_MANAGER 和前十位业务用户,并决定 AD/LDAP 同步是放进试点,还是留到下一阶段。
用哪个模型,什么会离开内网?
本体 Agent 只有在管理员配置了大语言模型服务之后才能工作。DataFocus 不捆绑也不指定模型,所以这个决定是你的;它同时也是最容易让安装停摆的一项,尤其当安全团队第一次听说这件事是在变更窗口里。请书面回答五个问题:
- 模型托管在你的网络内,还是由外部提供方托管?
- 如果是外部模型,会把什么发送给它?DataFocus 自己的建议是对照你的数据政策确认这一点。
- API 密钥由谁持有、存在哪里?System Manager 的接口认证页管理调用系统接口的密钥,出厂自带一条
ADM_CENTER_SECRET;它“密钥不得粘贴到聊天或文档中”的规则,应当同样适用于模型密钥。 - 谁来盯用量?“系统管理 > 设备授权”显示每日和每月的 token 消耗。
- 提供方不可达时怎么办?本体 Agent 依赖已配置的模型服务,所以要事先决定模型服务不可用期间第一个业务域怎么办。
对一部分读者来说,数据出口问题还牵涉监管。假设场景:一支中国大陆团队,第一个业务域包含客户记录。按照《中华人民共和国个人信息保护法》第三十八条(斯坦福 DigiChina 英译本,该法自 2021 年 11 月 1 日起施行),向境外提供个人信息须先满足四项条件之一,例如通过监管部门组织的安全评估,或与境外接收方订立标准合同。按这一理解,境外的模型端点就构成跨境传输。这正是“模型托管在哪”这个问题需要合规团队当场在席、而不是事后补一条备注的原因。
然后把成本一侧写下来。DataFocus 的说法很直接:“服务器、模型调用和第三方服务由使用方承担。”社区版许可不包含服务器、模型调用或运维。
Agent 会接进来吗?网络边缘要准备什么?
如果 Coding Agent 或其他 MCP 客户端会使用这个实例,在网络方案里加一行。OT Flash 通过 /mcp 路径的 Remote MCP 向外部 Agent 开放本体数据,另有独立的 Business Workspace 位于 /mcp/business;授权采用带 PKCE 的 OAuth 授权码流程,已登录用户可以在 /oauth/grants 查看并撤销自己的连接。Agent/MCP 手册对代理的要求很具体:保留 Authorization、Content-Type、MCP-Protocol-Version、Mcp-Method 和 Mcp-Name 这几个头以及已批准的 Origin,绝不要把公开的 /mcp 路径转发到管理端口或另一个产品。r56 Agent 手册说明,MCP 头与消息体不一致的请求会被以 HTTP 400 拒绝,所以在网络团队动手写配置之前,先把这份清单交到他们手上。如果第一阶段不接 Agent,也把这一点记下来。
备份和升级怎么安排?
安装前就定下备份负责人,不要等到第一次导入之后。README 描述了 Doris 到 S3 兼容存储的在线快照,并提醒恢复会中断服务。如果走这条路,要决定存储桶放在哪、谁负责轮换它的凭据、什么时候在非生产主机上演练一次恢复。从没有人恢复过的快照,只是一个假设。
升级方面,r57 的 System Manager 有一个升级管理页,显示产品名称、当前版本和最新版本。没有配置在线更新源时,它会提示使用经核验的发行包升级。它提供按日、按周或按月在设定时间自动升级的选项,或者“不升级”,手册把后一项标为不推荐。现在就决定自动升级是否符合你的变更流程;对生产节点,多数团队会选择手动、用经核验发行包升级,并备好回滚方案。如果接入了 Agent,Agent/MCP 手册在每次升级后还多一步:重新发现工具与版本并比对 schema,因为旧授权不会自动获得新的 scope。这一行要写进升级运行手册。
安装后的第一个小时
手册里现成的监控界面已经足够核验一次安装,不需要自己发明测试。按下面的顺序执行,逐项记录结果。
- 打开登录页。 用户在浏览器里访问管理员给出的地址,例如
https://<服务器地址>:31600,手册推荐使用最新版 Chrome。管理员首次登录会被强制修改密码;改完后把凭据存进你的密码保管库。 - 打开 System Manager,地址是
/manager.html。它有独立于“系统管理”(Admin)的运维账号,首次登录同样要求修改初始密码。任何厂商默认密码都不该活过第一个小时。 - 查看系统指标。 节点状态显示磁盘、CPU(用户、系统、空闲、I/O 等待)、内存和各挂载点的磁盘使用率;确认这些数字与容量规划表里的主机一致,并且每个服务容器都显示一个运行实例。
- 设置告警阈值,覆盖节点、Pod、Doris、PostgreSQL、RabbitMQ 和 Redis,选择应用内或邮件通知,并注意邮件告警的冷却时间默认是 60 分钟。
- 配置邮件。 密码找回需要配置好的邮件服务器,邮件告警也一样;在第一位用户忘记密码之前把它做完。
- 配置模型服务,然后拿一张已导入的小表向本体 Agent 提一个问题。手册说回答通常需要几十秒,复杂问题更久。
- 检查日志管理(Operate Logs),LOG_MANAGER 或 SYSTEM_MANAGER 可见,找出你自己的登录和导入记录。条目显示主机、类型、状态、详情、用户和时间,这恰好也是提支持工单时要准备的内容:DataFocus 要求提供产品版本、操作步骤和预期结果。
Flash 什么时候不合适
跑在单一 Doris 引擎上的 Flash,适合数据能落到一处的单一业务域。如果第一个需求就要数据管道或 AutoML,DataFocus 把这两项列在 Heavy 而非 Flash 之下,那么 Heavy 才是正确的起点。安装程序与发行说明见下载页;在为硬件下单之前,请先读 OT Flash 手册。