Spark2.x精通：Executor端BlockManager源码剖析 / 开普饭

原创链三丰区块链研究实验室昨天在上一篇文章中,我们讨论了区块链概念并构建了一个DEMO原型 [ 传送机:区块链研究实验室 | 如何从0构建区块链(一)],在这一集中,我们将使用Javascri ...

MemeoryStore 上一节,我们对BlockManager的主要写入方法做了一个整理,知道了BlockMananger的主要写入逻辑,以及对于块信息的管理.但是,由于spark的整个存储模块是在 ...

ShuffleManager(一) 本篇,我们来看一下spark内核中另一个重要的模块,Shuffle管理器ShuffleManager.shuffle可以说是分布式计算中最重要的一个概念了,数据的j ...

Android常用的开发工具: 1.java decompiler: java的常用工具,可以查看源文件. 2.UE: 一款历史悠久的文本编辑软件,防止在windows上编辑文件时,错误地将文件保存成 ...

根据之前的一系列分析,我们对spark作业从创建到调度分发,到执行,最后结果回传driver的过程有了一个大概的了解.但是在分析源码的过程中也留下了大量的问题,最主要的就是涉及到的spark中重要的几 ...

原创柚子君 APICloud 昨天 - AVM多端框架是在兼容和继承APICloud所有API.模块.技术栈以及用户体验的基础上,我们定义了一套新的代码编写标准(DSL):基于标准Web Compo ...

24.1 APP 抽奖活动问题请编写程序完成 APP 抽奖活动具体要求如下: 1) 假如每参加一次这个活动要扣除用户 50 积分,中奖概率是 10% 2) 奖品数量固定,抽完就不能抽奖 3) 活动 ...

我们在之前的文章中已经了解过一部分Redis的数据结构了,尤其是dict 中讲到,可以把redis看做一个hashtable,存储了一堆的key-value,今天就来看下key-value中value ...

大家好,我是小贺. 点赞再看,养成习惯文章每周持续更新,可以微信搜索「herongwei」第一时间阅读和催更,本文 GitHub : https://github.com/rongweihe/Mor ...

Dict在redis中是最为核心的一个数据结构,因为它承载了redis里的所有数据,你可以简单粗暴的认为redis就是一个大的dict,里面存储的所有的key-value. redis中dict的本质 ...

一.整体设计 dubbo整体设计以及调用用链路参照官网http://dubbo.apache.org/zh-cn/docs/dev/design.html 二.dubbo的注册中心 1.注册中心参照官 ...

微信自从出现一直在影响着我们生活的方方面面,从简单的社交.到今天的便民生活服务:从简单的分享.到今天的微商城等等.对于很多中小型企业.甚至是个人商家来说,微信小程序商城可以说是相当方便了. 对于微信小 ...

Spark2.x精通：Executor端BlockManager源码剖析