知其然,知其所以然
x-rip · 共 25 篇文章
Kryo为什么比Hessian快
Kryo 是一个快速高效的Java对象图形序列化框架,它原生支持java,且在java的序列化上甚至优于google著名的序列化框架protobuf。由于protobuf需要编写Schema文件(.proto),且需静态编译。故选择与Kryo类似的序列化框架Hessian作为比较来了解一下Kryo为什么这么快。 序列化的过程中主要有3个指标: 1、对象序列化后的大小 一个对象会被序列化工具序列化为一串byte数组,这其中包含了对象的field值以及元数据信息,使其可以被反序列化回一个对象 2、序列化与反序列化的速度 一个对象被序列化成byte数组的时间取决于它生成/解析byte数组的方法 3…
2012-06-08T17:46:31Z · 开源软件 · 评论(3)
序列化框架 kryo VS hessian VS Protostuff VS java
序列化框架性能对比(kryo、hessian、java、protostuff) 简介: 优点 缺点 Kryo 速度快,序列化后体积小 跨语言支持较复杂 Hessian 默认支持跨语言 较慢 Protostuff 速度快,基于protobuf 需静态编译 Protostuff-Runtime 无需静态编译,但序列化前需预先传入schema 不支持无默认构造函数的类,反序列化时需用户自己初始化序列化后的对象,其只负责将该对象进行赋值 Java 使用方便,可序列化所有类 速度慢,占空间 测试环境: 硬件信息: 16 Intel(R) Xeon(R) CPU E5620 @2.40GHz Red H…
2012-06-08T13:32:32Z · 开源软件 · 评论(1)
转(How to Analyze Java Thread Dumps)
转自: http://www.cubrid.org/blog/dev-platform/how-to-analyze-java-thread-dumps/ When there is an obstacle, or when a Java based Web application is running much slower than expected, we need to use thread dumps . If thread dumps feel like very complicated to you, this article may help you very much. H…
2012-06-01T10:22:19Z · 编程语言 · 评论(0)
Job初始化(一)
Job的初始化 1.WordCount.java public static void main(String[] args) throws Exception { // 初始化Configuration Configuration conf = new Configuration(); --> Configuration.java 默认构造函数执行this(true);即 public Configuration(boolean loadDefaults) { // 设定加载默认设置 this.loadDefaults = loadDefaults; // 保存最近使用最多的key和val…
2012-05-26T20:10:50Z · 开源软件 · 评论(0)
Yarn/MRv2中MapReduce的启动过程之Client端
Yarn/MRv2中MapReduce的启动过程之Client端 Hadoop版本0.23.1 Shell端 $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-0.23.1.jar wordcount input output Client端 1、 bin/hadoop文件 (该文件主要用于解析hadoop的命令参数,并传给相应的Java类进行处理,其中与运行WordCount相关代码如下) #将第一个参数即字符串jar传给参数COMMAND COMMAND=$1…
2012-05-21T11:05:10Z · 开源软件 · 评论(0)
YARN/MRv2 ResourceManager端 源码分析1
2. ResourceManager端 Client端通过YarnRunner.submitJob()将Application提交给了ResourceManager。 连接Client与ResourceManager的协议为ClientRMProtocol,该协议的实现类为ClientRMService。 1) ClientRMService.java Client端与ResourceManager交互的所有操作最终都是由ClientRMService中的操作实现的。以submitApplication()为例。 public SubmitApplicationResponse submit…
2012-05-21T10:39:24Z · 开源软件 · 评论(0)
YARN/MRv2 Client端 源码分析
1. 客户端 1)Job.java 用户编辑好的MapReduce程序会通过Job.waitForCompletion(true)提交任务。 public boolean waitForCompletion(boolean verbose ) throws IOException, InterruptedException, ClassNotFoundException { // 通过submit()方法提交Job if (state == JobState.DEFINE) { submit(); } if (verbose) { //在循环中不断得到此任务的状态,并打印到客户端的Conso…
2012-05-20T19:11:26Z · 开源软件 · 评论(0)
由Client启动ApplicationMaster的步骤
1. 申请Application 1) 连接ResourceManager YarnConfiguration yarnConf = new YarnConfiguration(conf); InetSocketAddress rmAddress = NetUtils.createSocketAddr(yarnConf.get( YarnConfiguration.RM_ADDRESS, YarnConfiguration.DEFAULT_RM_ADDRESS)); LOG.info("Connecting to ResourceManager at " rmAddress); Client…
2012-05-20T17:02:33Z · 开源软件 · 评论(0)
由ApplicationMaster启动一个Container的步骤
1. 申请Container 1) 连接ResourceManager Configuration conf = new Configuration(); YarnRPC rpc = YarnRPC.create(conf); YarnConfiguration yarnConf = new YarnConfiguration(conf); // 获取ResourceManager的地址 InetSocketAddress rmAddress = NetUtils.createSocketAddr(yarnConf.get( YarnConfiguration.RM_SCHEDULER_AD…
2012-05-20T15:47:07Z · 开源软件 · 评论(0)
YARN/MRv2状态机
转自 http://weibo.com/coderplay Application ApplicationAttempt Job Task TaskAttempt NodeManager Container
2012-05-20T11:09:59Z · 开源软件 · 评论(0)
YARN/MRv2异步处理编程模型介绍
一、前言 YARN/MRv2在处理请求时采用了基于事件驱动机制的异步编程模型SEDA,如下图所示: 事件通过Dispather中一个HandlerThread分发给该事件对应的EventHandlerService来处理。每种事件对应一种EventHandler。未被EventHandler处理的事件,会放在EventQueue中等待被处理。 SEDA(Staged Event Driven Architecture)是加州大学伯克利分校研究的一套优秀的高性能互联网服务器架构模型。其设计目标是:支持大规模并发处理、简化系统开发、支持处理监测、支持系统资源管理。其综合了多线程服务器和事件驱动并…
2012-05-20T10:55:24Z · 开源软件 · 评论(0)
YARN常见异常
异常1: 2012-05-16 16:18:42,468 WARN org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch: Failed to launch container. java.io.FileNotFoundException: File /tmp/nm-local-dir/usercache/a/appcache/application_1337150856633_0016 does not exist at org.apache.hadoop.fs.RawLoca…
2012-05-16T20:28:07Z · 开源软件 · 评论(0)
YARN/MRv2环境搭建
搭建环境: 1)hadoop版本:0.23.1 2)Linux版本:Linux version 2.6.18-164.el5 3)操作系统:Red Hat Enterprise Linux Server release 5.4 拓扑结构: 总共四台机器(A、B、C、D) namenode:A、B datanode:A、B、C、D ResourceManager:B NodeManager:A、B、C、D 步骤: 1、下载hadoop0.23.1源代码和JAR包 wget http://labs.renren.com/apache-mirror//hadoop/core/hadoop-0.23…
2012-05-15T16:19:23Z · 开源软件 · 评论(0)