DataFocus · 博客
容量评估信号:你的工作负载该选 OT Flash 还是 OT Heavy?
DataFocus 公开了参考节点和许可政策,但没有容量对照表。这份清单把已公开的事实转成你可以自己采集的指标,帮你在 Flash 与 Heavy 之间做选择。
想在轻量部署和分布式部署之间做决定,厂商的容量对照表帮不上忙,因为容量取决于你自己的工作负载。下载页写的是“Plan for your data scale and workload”(按数据规模和工作负载规划),系统要求与支持平台则写在各版本的发行说明里,随安装镜像一起发布在下载页,以及 OT Flash 和 OT Heavy 两个 GitHub 仓库中。所以估算要你自己做:测出数据量(含副本)、并发用户数、数据需要多久刷新一次,以及你是否需要 ETL、是否已经在运行 Hadoop。如果这些指标在一个节点上有富余,又不需要数据管道,就从 OT Flash 开始;如果放不下,或者你已经在运维 Hadoop 类平台,就看 OT Heavy。
DataFocus 实际公开了什么?
与容量相关的公开事实只有三条。本文其余内容都是帮你采集自己数据的方法。
| 已公开的事实 | 出处 | 没有说明的内容 |
|---|---|---|
| 资源规划指引写的是“Plan for your data scale and workload” | 下载页(英文) | 各版本的具体要求,这些写在各版本的发行说明里 |
| 社区版运行在单节点上,用户数不限,无许可费用;企业版订阅增加多节点与集群部署 | 下载页 | 企业版的费用,以及任何容量数字 |
策略 DATAFOCUS_FREE_1DNU_GROWTH_V1:在本地硬性限制下,每个节点 1 个活跃的 DataFocus Node Unit |
releases.json | DNU 除了“按节点”之外具体衡量什么 |
两个版本的系统要求和支持平台都列在发行说明里。版本页要求你以版本自带的文档为准确定许可、服务范围和节点定义,并围绕数据量、并发和模型需求来做规划。
为什么 Flash 以单节点为起点?
OT Flash 使用 Apache Doris 同时作为内存计算引擎和数据仓库。DataFocus 把它定位给这样的团队:想快速跑通一个业务域,数据能放进同一个分析引擎。社区版许可是单节点许可,再加上每节点 1 个 DNU 的策略,文档中的免费路径就是一个节点上跑一个引擎。
看存储大小时要仔细:压缩、副本、文档索引和快照都会改变一个节点能容纳多少源数据,所以不要把任何磁盘大小当成数据上限。
OT Heavy 则被描述为延续 Hadoop、Hive、Trino 和 Iceberg 的架构,并内置 ETL 与 AutoML,适合数据量大、已有大数据平台、需要数据管道和建模的企业。
哪些指标需要你自己测?
选版本之前先采集这些指标。它们都没有 DataFocus 给出的阈值,所以判断规则是“在试点中验证,一个节点是否放得下并留有余量”。
- 看落盘大小,不看原始大小。 统计第一个业务域要导入的表,再加上要建索引的文档。假设场景,仅作示意,未实际运行:某个业务域有 400 GB 源表和 50 GB 文档,在计入任何引擎开销之前就是 450 GB。接着你需要在样本上测试压缩效果,并拿这个数字和你打算配置的磁盘对比,然后才能下结论。
- 副本数。 分布式存储会成倍放大存储字节数。Apache 的 HDFS 设计页写道,副本数“can be specified at file creation time and can be changed later”(可在创建文件时指定,之后也可修改),并提到“the common case, when the replication factor is three”(常见情况是副本数为三)(Apache Hadoop, HDFS Architecture,英文)。Apache Doris 的概述同样说明,数据被划分为分片,以多个副本存储在各个后端节点上(Apache Doris, What is Apache Doris,英文)。先问清楚你的目标部署布局会保留几个副本。
- 增长速度。 策略名称里带有“GROWTH”,但资料并没有描述从单节点增长到集群的路径。月增长量要你自己估算,并提前决定数据涨到多大时迁移。
- 并发的真人用户数。 策略允许不限数量的真人用户。同时规定:当并发真人用户超过 3 个并且空闲 900 秒时,向系统管理员发出一次性、不阻断的提示。文档没有说明这个提示意在表明什么,所以请在试点中记录你自己的并发峰值,不要靠猜。
- Agent 与模型流量。 产品使用由管理员配置的大语言模型服务。估算你预期每天的提问量和模型运行的位置;模型是独立于数据节点之外的一项成本与容量。
- 刷新频率。 按版本说明的建议,规划数据如何进入 Doris、多久刷新一次。每晚一次 CSV 导入和持续同步,负载特征差别很大。
- 数据管道需求。 ETL 和 AutoML 列在 Heavy 中;产品简介的版本表中 Flash 一栏为“—”。如果你需要 DataSpring ETL,版本问题在做任何容量计算之前就已经定了。
- 已有平台。 如果你已经在运行 Hadoop、Hive、Trino 或 Iceberg,并且有人运维,Heavy 建立在你已有的技能之上。如果没有,Hadoop 类集群就是一项新的运维负担。
不编造阈值的判断规则
按下面的顺序使用这些指标。
- 需要 ETL 或 AutoML,或者已经在运行想就地分析的 Hadoop 类平台?看 Heavy。
- 否则,按计划的副本数和索引开销估算落盘数据量。一个节点是否放得下,并留有增长空间?
- 试点中,你的真实问题在真实并发峰值下,响应时间是否可以接受?请记录你自己的测量结果;本文没有任何测量数据。
- 如果第 2 或第 3 项的答案是否,要么在许可条款范围内配置更大的单节点,要么改用涵盖多节点部署的订阅。
第 4 步还涉及许可。社区版许可“does not cover servers, model calls or operations”(不涵盖服务器、模型调用和运维),因此两个版本的基础设施和运维成本都由你承担。社区版是单节点;多节点和集群部署包含在企业版订阅中,DataFocus 没有公布订阅价格。
这份清单不够用的时候
- 获取版本。 两个版本都可以从下载页以及 OT Flash 和 OT Heavy 的 GitHub 仓库免费获取,这些地方也发布带有系统要求的发行说明。在做出承诺之前,先用你自己的数据试点其中一个版本。
- 未公布的数字。 延迟、吞吐量和并发上限都没有公布。别处看到的任何数字,在你自己复现之前都应视为未经验证。
- 工作负载形态。 少数重度分析师和大量轻度看板查看者,给系统带来的负载并不相同。上面的指标反映不出这一点,试点可以。
下一步
阅读版本对比与下载页(英文)和部署文档(英文)中的准备清单(使用范围、操作系统与架构、容量、数据授权、模型选择、数据出口和备份责任归属),然后在单节点上用你自己的数据做一次试点。