Kafka 集群在马蜂窝大数据平台的优化与应用扩展 / 开普饭

背景 Flink + Kafka 平台化设计 Kafka 在实时数仓中的应用问题 & 改进一.背景介绍 1.流平台通用框架目前流平台通用的架构一般来说包括消息队列.计算引擎和存储三部分, ...

导读随着公司用户增长业务快速发展,陆续孵化出部落.同镇.C 端会员.游戏等非常多的业务板块.与此同时产品及运营对实时数据需求逐渐增多,帮助他们更快的做出决策,更好的进行产品迭代,实时数仓的建设变得 ...

本文根据上海久耶大数据研发工程师武基鹏在中国HBase技术社区第四届MeetUp上海站中分享的<基于HBase实时数仓探索实践>编辑整理而成. 今天从六个方面介绍,首先是久耶第一代离线数仓 ...

桔妹导读: LogI-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验,是面向Kafka用户.Kafka运维人员打造的共享多租户Kafka云平台.专注于Kafka运维管控.监控告警. ...

提起大数据,不得不提由IBM提出的关于大数据的5V特点:Volume(大量).Velocity(高速).Variety(多样).Value(低价值密度).Veracity(真实性),而对于大数据领域的 ...

引言大数据平台是对海量结构化.非结构化.半机构化数据进行采集.存储.计算.统计.分析处理的一系列技术平台.大数据平台处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据仓库工具无法处理完 ...

大数据DT 提供大数据.AI等领域干货学习资源的「宝藏号」,跟50万技术人共同成长,一起玩转大数据.Python.数据分析.数据科学.人工智能!还会有各种好玩又奇葩的数据解读,边学习边吃瓜! 542篇 ...

南航疫情大数据平台采用敏捷开发模型.协同开发模式,在微服务架构的支持下,多项开发工作并行开展.通过正确的技术选型.合理的模块划分,最大程度发挥微服务优势. 2020年初新冠肺炎(COVID-19)疫情 ...

大数据分析平台综述大数据分析平台总体架构大数据分析平台演进路线大数据分析平台实施重点数据治理管理平台里面设计的详细的架构方案设计,甚至还有网络拓扑和服务器配置,大家收藏呀!

主讲人 : 孟庆国,清华大学公共管理学院教授.博士生导师,现任清华大学国家治理研究院执行院长.中央党校(国家行政学院)兼职教授.主要研究领域包括政府治理.电子政务.数字政府.政务数据治理等. 除了 ...

继2017年.2019.2020年被写入政府工作报告之后,"数字经济"在2021年的政府报告中再次被写入. 政府工作报告中提到,十四五时期,将加快数字化发展,打造数字经济新优势,协 ...

2019年10月30日,由中国联通为华侨城集团规划建设的"华侨城数字云图--旅游大数据平台"上线启动. 华侨城旅游大数据平台上线仪式华侨城集团多年位居全球主题公园集团四强,累计接 ...

本文根据阿里云高级技术专家李金波在首届阿里巴巴在线峰会的<企业大数据平台仓库架构建设思路>的分享整理而成.随着互联网规模不断的扩大,数据也在爆炸式地增长,各种结构化.半结构化.非结构化数据 ...

Kafka 集群在马蜂窝大数据平台的优化与应用扩展