菜鸟实时数仓技术架构演进 / 开普饭

今年的双11,实时计算处理的流量洪峰创纪录地达到了每秒40亿条的记录,数据体量也达到了惊人的每秒7TB,基于Flink的流批一体数据应用开始在阿里巴巴最核心的数据业务场景崭露头角,并在稳定性.性能和效 ...

本文根据黄东旭在 PingCAP D 轮融资线上发布会的演讲实录进行整理. TiDB 的现在和未来大家好,我是黄东旭,是 PingCAP 的联合创始人和 CTO,这是 PingCAP 成立以来的第一 ...

作者:陈守元(巴真),阿里巴巴高级产品专家摘要:本文由阿里巴巴高级产品专家陈守元老师分享,详细讲解实时计算 Flink 的具体业务场景并分享实时计算 Flink 的相关应用案例. 内容分为以下四部分 ...

好未来(NYSE:TAL)是一家以智慧教育和开放平台为主体,以素质教育和课外辅导为载体,在全球范围内服务公办教育,助力民办教育,探索未来教育新模式的科技教育公司.截至2020年11月底,好未来在102 ...

本文根据上海久耶大数据研发工程师武基鹏在中国HBase技术社区第四届MeetUp上海站中分享的<基于HBase实时数仓探索实践>编辑整理而成. 今天从六个方面介绍,首先是久耶第一代离线数仓 ...

近日,由极客邦科技旗下品牌 TGO 鲲鹏会举办的 GTLC 全球技术领导力峰会台北站圆满结束.在 GTLC 台北站上,蘑菇街平台技术总监 & TGO 鲲鹏会杭州分会会员赵成带来了「顺势而为,技 ...

导读随着公司用户增长业务快速发展,陆续孵化出部落.同镇.C 端会员.游戏等非常多的业务板块.与此同时产品及运营对实时数据需求逐渐增多,帮助他们更快的做出决策,更好的进行产品迭代,实时数仓的建设变得 ...

背景 Flink + Kafka 平台化设计 Kafka 在实时数仓中的应用问题 & 改进一.背景介绍 1.流平台通用框架目前流平台通用的架构一般来说包括消息队列.计算引擎和存储三部分, ...

近几年,数字驱动的口号越喊越响,在这样一个用数据说话的时代,数据在一定程度上决定企业的业务和决策.而从数据驱动的方面考虑,多维实时数据分析系统的重要性也不言而喻.但是当数据量巨大的情况下,企业对数据技 ...

Flink 和 ClickHouse 分别是实时计算和(近实时)OLAP 领域的翘楚,也是近些年非常火爆的开源框架,很多大厂都在将两者结合使用来构建各种用途的实时平台,效果很好.关于两者的优点就不再赘 ...

随着互联网飞速发展,企业业务种类会越来越多,业务数据量会越来越大,当发展到一定规模时,传统的数据存储结构逐渐无法满足企业需求,实时数据仓库就变成了一个必要的基础服务.以维表 Join 为例,数据在业务 ...

摘要:这世间青山灼灼星光杳杳,秋雨淅淅晚风慢慢,也抵不过公子眉目间的星辰和大数据视频. 我趁老婆洗澡,看了一眼她手机, 发现她和丈母娘的语音聊天. 老婆说:今天胸口闷得慌, 老婆说:待会儿把他揍一顿出 ...

菜鸟实时数仓技术架构演进