爱情最好的样子,演讲设计示例
分类:技术

图片 1

引子

为什么需要HDFS?

因为一个物理计算机的存储已经hold不住我们庞大的数据集。

HDFS的特点是什么?

HDFS以流式数据访问模式来存储超大文件,运行于商用硬件集群上

1.超大文件:数量级MB、GB、TB等

2.流式数据访问模式:以块为单位进行读写。一次写入、多次读取。

3.高数据吞吐量,时间延迟不低

4.不能存储大量小文件:namenode的内存中存储HDFS中文件元信息,每个元信息大约占150B,因此HDFS能存储的文件总数受限于namenode的内存大小。

5.不支持多用户写入:HDFS中的文件只有一个writer

6.不能任意修改文件:写操作是追加模式


写在前面

 

基础概念

该演讲是根据国际演讲会高阶演讲手册《幽默演讲》第五单元来进行设计的。

1.

我的短篇小说《陈芸和她的爱情故事》中的女主角陈芸的原型是我大学时的好友。她与男主角家明的原型结婚时,我在封好的红包上写了一句话:“几世修得有,何可一日无”。不记得在哪里看到的这句话,很喜欢,看了一眼便记住了。她问我这话是什么意思,我说:“祝愿你俩能够恩爱到老。”

当他们热恋的时候,我还在单身,便跟她开玩笑说,我不羡鸳鸯不羡仙,只羡慕他们二人的感情。从高三一直爱到大学毕业,每日甜甜蜜蜜、卿卿我我。我也知道他俩一路走来有多么不容易,不顾家人反对,只求和对方在一起。所以,收到他们的请帖时,我真心希望他俩能够花好月圆,人丁兴旺。

可惜二人婚后一年便离了婚,成了老死不相往来的仇人。事后,身边的人都唏嘘不已,责骂男孩负了女孩。其实是缘分尽了,说不清谁负了谁。

还好,我的这位女友去年冬天与单位的一位同事结了婚。婚礼是在教堂举行的,她穿着洁白的婚纱笑靥如花,身边的新郎善良体贴。他们敬酒的时候都在牵着手,看起来很是相爱。她不久便生了一个女儿。

数据块

作为独立的存储单元,读写最小单位。默认64MB,可在hdfs-site.xml中自定义。

块要比磁盘块(512B)大得多,是因为最小化寻址开销。磁盘传输数据耗时>定位这个块开始位置的耗时。然而块不能设置过大,是因为MR任务中,map任务通常一次处理一个块,如果块数量少,则并行map任务就少,job运行速度较慢。

再说说......

· 文件所有的块分布式存储在各个datanode上,

· 小于一个块默认大小的文件,不会占据整个块的空间。

单元目标:讲述一个有主题的幽默演讲,主要目标是让你的听众感到愉悦

2.

电视剧《三生三世十里桃花》有一个情节是青丘白浅封印东皇钟,失忆后落到凡间的东皇俊疾山。夜华因被金猊兽的红莲业火所伤,暂时不能恢复人身,在一个山洞里休息。白浅去山洞,见到夜华变成的那条黑龙,误以为这是一条小黑蛇带回家中。白浅奇怪小黑龙都睡了七八日了,为何还不醒来。白浅正在自言自语时,小黑蛇醒了过来。白浅十分开心,不仅跟小黑蛇说自己新添了一床鲜艳被子,还说自己穿的衣服太素色。白浅在小黑蛇面前宽衣解带,小黑蛇一直祈祷白浅别再脱衣服了。白浅脱得还剩一件内衣时,就让小黑蛇跟自己一起睡下,同时让小黑龙跟自己一同盖那床鲜艳的被子。半夜,夜华趁白浅睡着,变回人身跟白浅同床共枕。 当夜华躺在白浅身边时,她看起来是那么的安心。

我喜欢这个情节,喜欢看他们一起睡觉。与同事一起吃饭,说起睡觉之前会同枕边人做些什么。有的倾心交谈,有的各忙各的,有的持续着白天的冷战互不理睬,有的同床共枕却丢给彼此一个冷冷的背影,有的各自手捧着一个手机,打发着无聊时光......

我一直觉得婚姻幸不幸福从床头至床尾便能看得出来。

namenode和datanode

namenode管理文件系统的命名空间和每个文件中各个块所在的数据节点信息。命名空间是HDFS的文件系统树以及树内所有目录和文件,以fsimage和editlog文件永久保存在本地磁盘上。块的存储信息在内存中,系统启动时由datanode上报。

datanode是HDFS的工作节点,负责存储并检索数据块,定期向namenode发送它们所存储的块的列表。

关于配置:

dfs.replication默认3,一个数据块存3份,HDFS会自动备份到3个不同的datanode上。


单元要求:1)使用夸张的方式讲述一个幽默故事;2)让听众感到愉悦;3)有效的使用身体语言和声音来增强故事效果

3.

喜欢《勃朗宁夫人十四行诗》,更喜欢勃朗宁夫妇的爱情故事。伊丽莎白·芭蕾特·勃朗宁,又称勃朗宁夫人,是十九世纪英国维多利亚时代著名的女诗人。1806年3月6日生于英格兰的达勒姆。十五岁那一年,她骑马时不幸从马背上摔下来损伤了脊椎。从此,下肢瘫痪达二十四年之久。在她三十九岁那年,结识了罗伯特·勃朗宁。

他们的友谊从互通信札,漫谈文学,畅谈人生开始。四个半月的书信往来,为伊丽莎白黯淡的生活打开了一扇明媚的天窗。罗伯特·勃朗宁于1845年5月去看望他。伊丽莎白·芭蕾特比他年长六岁,而且还身有残疾,她几乎不能相信这个精力旺盛、仪表堂堂的罗伯特·勃朗宁回响他公开宣称的那样去真心爱她。当勃朗宁出现在伊丽莎白面前时,蜷伏在沙发上的她,虚弱得连欠身让座都做不到。见面三天后,勃朗宁给她寄来了求婚的书信。伊丽莎白拿着这封信,彻夜难眠,痛苦了整整一个晚上。第二天她拿起笔来,怀着无比复杂的心情,尽管不情愿,但还是断然拒绝了勃朗宁的求婚,并请求勃朗宁不要再说这些不知轻重的话。

在他第三次向她求婚的时候,她再也没法拒绝了,她已是一个被征服者,心悦诚服地答应了她情人的呼唤。

在一本书里写道:勃朗宁夫妇一起度过了十五年幸福的生活,在这十五年中,从不知道有一天会分离。1861年6月29日,勃朗宁夫人永别了她的罗伯特。临终前,她并没有病痛(不过患支气管炎罢了),也没有预感,只是觉得疲惫。那是在一个晚上,她正和勃朗宁商量消夏的计划。

她和他说笑,用最温存的话表达她的爱情,后来她感到有些倦意,就偎依在勃朗宁的胸前睡去了。她这样地瞌睡了几分钟,头忽然垂下来。他以为她是一时的昏晕,但是她去了,再不回来了。她在丈夫的怀抱中闭了眼睛,她的容貌像少女一般,微笑,快乐。

HDFS读写流程

读文件

【一句话版本】namenode告知客户端数据的块位置,让客户端联系datanode流式检索数据。

好处: namenode内存存储块索引信息,相应快;block分散在集群所有节点上,以便HDFS可扩展大量并发客户端。

瓶颈:随客户端数量增长,namenode的IO成为瓶颈。

1. 【概括版】客户端调用DistributedFileSystem对象的open()方法,RPC调用namenode的GetBlockLocations()方法,namenode返回存有该文件所有block信息,包括其副本所在的所有datanode地址

【细节版】客户端调用DistributedFileSystem.open(Path f, int bufferSize),open()函数中new了一个DFSInputStream对象;在DFSInputStream的构造函数中,openInfo()函数被调用,其主要从namenode中得到要打开的文件所对应的blocks的信息,通过callGetBlockLocations()实现,核心代码如下:

// openInfo():

LocatedBlocks newInfo = callGetBlockLocations(namenode, src, 0, prefetchSize);

//callGetBlockLocations()中将发起一个RPC调用,返回 LocatedBlocks 对象

namenode.getBlockLocations(src, start, length);

LocatedBlocks 是一个链表,List<LocatedBlock> blocks,其中每个元素包含以下信息:

Block b:此block的信息

long offset:此block在文件中的偏移量

DatanodeInfo[] locs:此block位于哪些DataNode上

2. namenode接收到请求后,将进行一系列操作。RPC调用NameNode.getBlockLocations(),里面再调用namesystem.getBlockLocations(getClientMachine(), src, offset, length);

namesystem保存着namenode上的命名空间树,具体是一个INode链表,INode有两种子类:INodeFile和INodeDirectory。其中,INodeFile有成员变量BlockInfo blocks[],是此文件包含的block的信息。

getBlockLocations()具体步骤:1) 得到此文件的block信息; 2) 从offset开始,长度为length所涉及的blocks; 3) 找到各个block对应的、健康的datanode机器。返回LocatedBlocks对象。

3~5. 回到客户端,在DFSInputStream的构造函数通过RPC收到一串block信息(即LocatedBlocks对象)之后,DFSInputStream读取文件起始块的datanode地址,随即与距离最近的datanode建立Socket连接和读入流,客户端反复调用FSDataInputStream的read()读取block信息

e.g.对于64M一个block的文件系统来说,欲读取从100M(offset)开始,长度为128M(length)的数据,则block列表包括第2,3,4块block。第2号block从36MB开始读取28MB,第3号block从0MB开始读取64MB....

到达block末端,DFSInputStream关闭与该datanode的连接,寻找下一个block的最佳datanode。

6.到达文件末端时,客户端对FSDataInputStream调用close()方法。

再说说...

遇到读失败,1) DFSInputStream和datanode的连接发生错误时,从距离次近的datanode读取,并将该节点记入“故障节点列表”,以防反复从该节点读。2)读取到一个损坏的block,先通知namenode,再从其他datanode读取该块的另一个副本。

写文件

【一句话版本】客户端向namenode申请创建文件,namenode分配datanode,客户端通过pipeline形式写数据,全部确认正常写入后通知namenode。

1.客户端通过调用DistributedFileSystem对象的create()方法,该方法生成一个FSDataOutputStream用于向新生成的文件中写入数据,其成员变量dfs的类型为DFSClient,DFSClient的create()函数中返回一个DFSOutputStream对象。在DFSOutputStream的构造函数中,做了两件重要的事情:一是通过RPC调用NameNode的create()来创建一个文件;二是streamer.start(),即启动了一个pipeline,用于写数据。

//以下为客户端调用的create                                                                                  public FSDataOutputStream create(Path f, FsPermission permission, boolean overwrite, int bufferSize, short replication, long blockSize, Progressable progress) throws IOException { return new FSDataOutputStream(dfs.create(getPathName(f), permission, overwrite, replication, blockSize, progress, bufferSize), statistics);  }

  1. namenode 先在命名空间(在磁盘)中检查文件是否存在以及客户端是否有权限,再新建一个新文件的元信息到fsimage 中,就是命名空间,此时没有任何块与之对应。

3~5. 客户端调用DFSOutputStream对象的write()方法写数据。按照HDFS的设计,对block的数据写入使用的是pipeline的方式,也即将数据分成一个个的package,如果需要复制三分,分别写入DataNode 1, 2, 3,则会进行如下的过程:

    1) 创建写入流,RPC调用namenode为文件分配block, 并设置block对应的DataNode。

    2) 将block分成若干个chunk(512B),每N个chunk + 校验值形成一个package。package进入dataQueue

    3) 客户端将DataNode 2、3信息和 package 1写入DataNode 1,package 1从dataQueue移至ackQueue,等待确认。

    4) 由DataNode 1负责将DataNode3信息和package1写入DataNode 2,同时客户端可以将pacage 2写入DataNode 1。package 2从dataQueue移至ackQueue,等待确认。

    5) DataNode 2负责将package 1写入DataNode 3, 同时客户端可以将package 3写入DataNode 1,DataNode 1将package 2写入DataNode 2。package 3从dataQueue移至ackQueue,等待确认。

就这样将一个个package排着队的传递下去,直到所有的数据全部写入并复制完毕并且都接收到ACK确认包。

6~7.写完所有块之后,断开与DataNode 1的连接,客户端通知namenode,完成。

再说说....

遇到写失败,DataNode1故障时,1)关闭pipeline,2)把ackQueue中的所有数据包添加到dataQueue的头部, 3)为DataNode2中当前block指定一个新标识,通知namenode,以便DataNode1恢复后删除本block的残缺数据,4)将故障DataNode1从pipeline中删除,然后继续将剩余数据包写入正常节点。异步完成本block的副本复制。

关于“文件一致性”:在文件创建后,写完前,正在写入的block是读取不到的(e.g.读文件内容、获取文件大小)。除非调用HDFS的sync()方法强制所有缓存与数据节点同步。

参考文章:

《Hadoop- The Definitive Guide, 4th Edition》

Hadoop学习总结之二:HDFS读写过程解析

单元时长:不少于4分30秒,不长于7分30秒。

4.

与闺蜜聊天,问她们自家先生做的什么事情最让她们感动。

A说:她自小就时常在梦中哭泣,尤其是白天受了委屈的时候。跟前男友恋爱,第一次去他家中,半夜又哭泣不已。男朋友生气地叫醒她,冷冷地让她不要再哭了。他们那里的说法,半夜哭会给家中带来噩运。后来,这位女友与别的男孩结了婚。我问她婚后感觉如何。她说很好,现在她很少在梦中哭了。即使偶尔哭醒,她那憨厚的老公会轻轻拍着她的肩膀说:“没事了,没事了……”

B说:她婆家所在的地方喜宴上有一道菜是甜米饭,她很喜欢吃。有一次她老公回老家参加一个喜宴,她有事情没有跟他一块去。她那老公吃甜米饭的时候,竟然鼻子一酸流了眼泪,因为她没有吃上甜米饭。

C想了半天,说:“我老公没有做过什么让我感动的,可能因为他做得还不够好。”我们不信,因为我们都知道她的老公是一个浪漫的人,从认识到现在每年情人节都会送一大捧玫瑰花给她。她说:“送花算什么?我不觉得有什么感动啊!”过了一会儿,她忽然跳起来说:“我想起来了,我生孩子的时候,刚进产房他就哭了......”

我觉得她们都是幸福的女人,因为她们都看到过爱情最好的样子。

解构练习

在你接着往下看演讲稿之前,有一个小任务交给你。请你带着这个任务来阅读。读完以后请你试着来解构一下这个演讲的设计。

演讲采用的是什么结构?

如何开场的?

使用了哪些内容设计技巧?

如果是你来演绎,你会怎么讲?

你可以记录在你自己的笔记本上,也欢迎你在评论中留言。

本文由奥门金沙网址发布于技术,转载请注明出处:爱情最好的样子,演讲设计示例

上一篇:前任要结婚了,数据分析的灵魂与皮囊 下一篇:谷歌和亚马逊如何做产品,等你歌唱
猜你喜欢
热门排行
精彩图文