ITeye博客

Chris Hsu

chris.hsu · 共 18 篇文章

twitter storm源码走读之6 -- Trident Topology执行过程分析

欢迎转载,转载请注明出处,徽沪一郎。 TridentTopology是storm提供的高层使用接口,常见的一些SQL中的操作在tridenttopology提供的api中都有类似的影射。关于TridentTopology的使用及运行原理,当前进行详细分析的文章不多。 从TridentTopology到vanilla topology(普通的topology)由三个层次组成: 面向最终用户的概念stream, operation 利用planner将tridenttopology转换成vanilla topology 执行vanilla topology 本文尝试TridentTopology…

2014-05-16 17:30 · Twitter Storm · 评论(0)

twitter storm源码走读之7 -- trident topology可靠性分析

欢迎转载,转载请注明出处,徽沪一郎。 本文详细分析TridentTopology的可靠性实现, TridentTopology通过transactional spout与transactional state相结合,能够做到tuple“只被处理一次,不多也不少”。也就是做到事务性处理exactly-once,要么成功,要么失败。 而一般的storm topology是无法保证eactly-once的处理的,它们要么是at-least-once(至少被处理一次,有可能被处理多次);要么是at-most-once(最多被处理一次,这样就存在遗漏的可能). TridentTopology在设计中借…

2014-05-16 17:29 · Twitter Storm · 评论(0)

twitter storm源码走读之8 -- TridentTopology创建过程详解

欢迎转载,转载请注明出处,徽沪一郎。 从用户层面来看TridentTopology,有两个重要的概念一是Stream,另一个是作用于Stream上的各种Operation。在实现层面来看,无论是stream,还是后续的operation都会转变成为各个Node,这些Node之间的关系通过重要的数据结构 图 来维护*。*具体到TridentTopology,实现图的各种操作的组件是jgrapht。 说到图,两个基本的概念会闪现出来,一是结点,二是描述结点之间关系的边。要想很好的理解TridentTopology就需要紧盯图中结点和边的变化。 TridentTopology在转换成为普通的Sto…

2014-05-16 17:29 · Twitter Storm · 评论(0)

twitter storm 源码走读之5 -- worker进程内部消息传递处理和数据结构分析

欢迎转载,转载请注明出处,徽沪一郎。 本文从外部消息在worker进程内部的转化,传递及处理过程入手,一步步分析在worker-data中的数据项存在的原因和意义。试图从代码实现的角度来回答,如果是从头开始实现worker的话,该如何来定义消息接口,如何实现各自接口上的消息处理。 Topology到Worker的映射关系 Topology由Spout,Bolt组成,其逻辑关系大体如下图所示。 无论是Spout或Bolt的处理逻辑都需要在进程或线程内执行,那么它们与进程及线程间的映射关系又是如何呢。有关这个问题, Understanding the Parallelism of a Storm…

2014-05-13 13:47 · Twitter Storm · 评论(0)

twitter storm源码走读之4 -- worker进程中线程的分类及用途

欢迎转载,转载请注明出版,徽沪一郎。 本文重点分析storm的worker进程在正常启动之后有哪些类型的线程,针对每种类型的线程,剖析其用途及消息的接收与发送流程。 概述 worker进程启动过程中最重要的两个函数是 mk-worker 和*worker-data,*代码就不一一列出了。worker顺利启动之后会拥有如下图所示的各类线程。 接收和发送线程 worker在启动的时候会生成进程级别的消息接收和消息发送线程,它们视具体配置而定,可以是基于zmq,也可以基于netty,这个没有太多好说的。socket connection的建立过程可以在 tuple消息传递 一文中找到说明。 zk …

2014-05-13 13:46 · Twitter Storm · 评论(0)

twitter storm源码走读之3--topology提交过程分析

概要 storm cluster可以想像成为一个工厂,nimbus主要负责从外部接收订单和任务分配。除了从外部接单,nimbus还要将这些外部订单转换成为内部工作分配,这个时候nimbus充当了调度室的角色。supervisor作为中层干部,职责就是生产车间的主任,他的日常工作就是时刻等待着调度到给他下达新的工作。作为车间主任,supervisor领到的活是不用自己亲力亲为去作的,他手下有着一班的普通工人。supervisor对这些工人只会喊两句话,开工,收工。注意,讲收工的时候并不意味着worker手上的活已经干完了,只是进入休息状态而已。 topology的提交过程涉及到以下角色。 st…

2014-05-13 13:46 · Twitter Storm · 评论(0)

twitter storm源码走读之2 -- tuple消息发送场景分析

欢迎转载,转载请注明出处源自徽沪一郎。本文尝试分析tuple发送时的具体细节,本博的另一篇文章《bolt消息传递路径之源码解读》主要从消息接收方面来阐述问题,两篇文章互为补充。 worker进程内消息接收与处理全景图 先上幅图简要勾勒出worker进程接收到tuple消息之后的处理全过程 IConnection的建立与使用 话说在mk-threads :bolt函数的实现中有这么一段代码,其主要功能是实现tuple的emit功能 bolt-emit (fn [stream anchors values task] (let [out-tasks (if task (tasks-fn task…

2014-05-13 12:32 · Twitter Storm · 评论(0)

twitter storm源码走读之1 -- nimbus启动场景分析

欢迎转载,转载时请注明作者徽沪一郎及出处,谢谢。 本文详细介绍了twitter storm中的nimbus节点的启动场景,分析nimbus是如何一步步实现定义于storm.thrift中的service,以及如何利用curator来和zookeeper server建立通讯。 对于storm client来说,nimbus是storm cluster与外部的唯一接口,是总的接口人,在这个接口上使用thrift定义的各种service。但是nimbus光接单并不干活,具体的脏活累活,这哥们都是分配到各个slots上的,让nimbus来具体管理各个slots也就是worker,似乎还是太累了,中…

2014-05-13 12:16 · Twitter Storm · 评论(0)

jquery1.9删除的browser,live,die,sub,toggle的替换方法

jQuery 1.9变化有几点,最重要的是标题所提到的browser,live,die,sub,toggle这几个,如果你在使用过程中遇到高级版本不行,而低版本却可以的时候,那你就要了解一下是不是版本升级带来的影响了。之前也转载过一篇“j Query1.9升级和删除的API指南 ”的文章,文里面介绍了很多方面,其实很多我都没用过,这上面的几个,我也是熟悉过browser,live,toggle而已。 jQuery.browser() 官方推荐修改方式是通过条件判断来区分不同的浏览器 <!--[if lt IE 9]> <script src="http://m.cnblogs.com/109…

2014-03-04 15:27 · WEB前置 · 评论(0)

<!--[if IE]>….<![endif]--> (<!--[if !IE]>||<![endif]-->)

<!--[if !IE]><!--> 除IE外都可识别 <!--<![endif]--> <!--[if IE]> 所有的IE可识别 <![endif]--> <!--[if IE 5.0]> 只有IE5.0可以识别 <![endif]--> <!--[if IE 5]> 仅IE5.0与IE5.5可以识别 <![endif]--> <!--[if gt IE 5.0]> IE5.0以及IE5.0以上版本都可以识别 <![endif]--> <!--[if IE 6]> 仅IE6可识别 <![endif]--> <!--[if lt IE 6]> IE6以及IE6以下版本可识别 <![endi…

2014-03-04 15:19 · WEB前置 · 评论(0)

LDAP

LDAP是轻量目录访问协议,英文全称是Lightweight Directory Access Protocol,一般都简称为LDAP。它是基于X.500标准的,但是简单多了并且可以根据需要定制。与X.500不同,LDAP支持TCP/IP,这对访问Internet是必须的。LDAP的核心规范在RFC中都有定义,所有与LDAP相关的RFC都可以在LDAPman RFC网页中找到。 简单的说来,LDAP是一个得到关于人或者资源的集中、静态数据的快速方式。 LDAP是一个用来发布目录信息到许多不同资源的协议。通常它都作为一个集中的地址被使用,不过根据组织者的需要,它可以做得更加强大。 LDAP其实…

2014-03-04 08:56 · 网络协议 · 评论(0)

jBPM-jPDL学习笔记—框架设计简介(四)

jBPM-jPDL学习笔记—框架设计简介(四) 关键字 : jbpm jpdl xml元素 上接 jBPM-jPDL学习笔记—框架设计简介(三) <common node elements >(通用结点元素) 名称 类型 多样性 描述 name 属性 必须 结点名称 async 属性 { true | false }, false is the default 设置成true,则结点以异步方式运行 transition 元素 [0..*] 离开结点的转向.每个转向必须有一个可区别的名字。最多只允许一个转向是没有命名。第一个转向指定为默认的转向,当没有给结点指定转向时,将使用默认转向。 eve…

2008-04-28 16:06 · 工作流 · 评论(0)

jBPM-jPDL学习笔记—框架设计简介(三)

jBPM-jPDL学习笔记—框架设计简介(三) 关键字 : jbpm jpdl 元素定义 上接 jBPM-jPDL学习笔记—框架设计简介(二) 编号 PD-006 对象 任务(Task) 描述 任务作为流程定义中的一部分,定义了如何创建任务实例(Task instances)以及任务分配。任务可以在任务结点(Task-Node)和流程定义(process-definition)两个地方定义。通常会在一个任务结点中定义一个或多个的任务。在这种情况下,任务结点表示在流程中等待用户处理的交互操作。业务流程会停留在任务处,等待用户完成相应的操作之后继续。任务也可在流程定义中声明。通过任务名,可以找到…

2008-04-28 16:04 · 工作流 · 评论(0)

jBPM-jPDL学习笔记—框架设计简介(二)

jBPM-jPDL学习笔记—框架设计简介(二) 关键字 : jbpm jpdl 工作流 ...上接 jBPM-jPDL学习笔记—框架设计简介(一) jPDL业务流程模型 理解现实生活中的业务流程 下面我们通过一个简单的部门借款流程来了解现实中的业务流程概念,流程图如下: 上图表达了一个抽象的流程定义(Process Definition)。之所以称之为抽象,是因为它没有表示确切的执行者。当上述的借款人被具体化为“张三”,部门主管就成为张三的部门经理“李四”,而财务则明确为“王五”的时候,这个流程定义就被具体化,成为了一个流程实例(Process Instance)。此外,过程中的相关人员我们…

2008-04-28 15:52 · 工作流 · 评论(0)

jBPM-jPDL学习笔记—框架设计简介(一)

jBPM-jPDL学习笔记—框架设计简介(一) 关键字 : jbpm jpdl 框架设计 工作流 相关资料: 《jBPM学习笔记(V3.2环境部署)》 《jBPM学习笔记(流程设计与控制)》 概述: jBPM(JBoss Business Process Management业务流程管理),它是覆盖了业务流程管理、工作流、服务协作等领域的一个开源的、灵活的、易扩展的可执行流程语言框架。 jPDL是构建于jBPM框架上的流程语言之一。在jPDL中提供了任务(tasks)、待处理状态(wait states)、计时器(timers)、自动处理(automated actions)…等术语,并通过…

2008-04-28 15:48 · 工作流 · 评论(0)