讲一下apache doris是什么,主要应用在哪里

来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论

提问

讲一下apache doris是什么,主要应用在哪里

回答

Doris 是百度 2018 年捐给 Apache 的开源 MPP 分析型数据库,现在由 SelectDB 主导商业支持。它最核心的定位是「一个引擎同时承接实时和离线」:以前做实时看板需要一套 Flink + ClickHouse、做 T+1 报表再套一套 Hive/Spark,Doris 想省掉这种多套系统并存的架构。

架构不复杂,两类进程。FE 是 Java 写的,负责元数据、连接管理、查询规划,多个 FE 用 Paxos 类共识选主,Master 挂了自动切换;BE 是 C++ 写的,负责存储和执行,数据切成 Tablet 默认三副本、写入要多数派确认,节点故障自动摘除并从健康副本补数据。早期版本还依赖 Broker 读外部存储,现在基本不需要了。部署上有存算一体(FE+BE)和存算分离两种形态,后者这两年推得多,弹性扩缩容更省成本。对外用 MySQL 协议,标准 SQL 配上 BI 工具就能直连,这也是它比 ClickHouse 好上手的地方——CK 的 SQL 方言和 join 能力是常年槽点。

导入侧是它的强项:Kafka 实时消费、MySQL binlog CDC、对象存储/湖仓批量导入都原生支持,微批 + 内存表让数据秒级可见。查询上向量化执行、CBO 优化器、物化视图和倒排索引都是标配,这两年又加了向量检索,想做「结构化过滤 + 语义召回」的混合检索可以塞进一个引擎里。

实际落地就几类:互联网的报表和即席查询(业务自己写 SQL 出数,不排队等数仓开发)、实时大屏和监控、用户行为/漏斗/留存分析、日志与可观测性(替代 ELK 里 ES 那部分聚合查询,成本低一个量级)、湖仓查询加速(直接查 Hudi/Iceberg/Paimon 外表)。官网列的客户有美团、快手、京东、小米、顺丰、网易、米哈游、MiniMax、智谱,还有福特、比亚迪这些车企。

几个要提前想清楚的边界。它擅长的是大宽表聚合、多表 join 的报告型负载,不是高并发点查和事务——那种场景该用 KV 或 OLTP 库。单表行宽和高基数的精确去重(比如 UV 精确统计)有成本,得靠 bitmap 近似或者接受资源开销。小数据量(百 GB 以内、几台机器)用它有点杀鸡用牛刀,DuckDB 或 ClickHouse 单机更省事。如果你是想给某个项目做用户行为分析或者日志检索,说一下大概的数据量和查询模式,我帮你判断值不值得上。