`
x-rip
  • 浏览: 105333 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

Storm中以后可能会出现的几个比较有用的功能

 
阅读更多

1、replication

nathan提到可以通过自己实现的Grouping方式来让同一个流发送到不同的机器上,从而达到Replication的效果。

2、Hook

在执行Spout/Bolt的emitted, acked, failed方法前后所执行的Hook.

3、定制某个流发送到特定的某个机器上

可以实现1中的效果,还可以利用本地化进行补数据。由于宕机等事故,导致部分数据丢失需要重跑的时候,我们可以选择将需要重跑的方法依次发送到存储宕机数据的机器上,模仿Hadoop进行补数据。

分享到:
评论

相关推荐

    storm中文学习资料

    storm中文学习资料

    第一个Storm应用

    写第一个Storm应用--数单词数量(一个spout读取文本,第一个bolt用来标准化单词,第二个bolt为单词计数) 一、Storm运行模式: 1.本地模式(Local Mode): 即Topology(相当于一个任务,后续会详细讲解) 运行在本地...

    StormStorm集成Kafka 从Kafka中读取数据

    Storm集成Kafka 一、整合说明 二、写入数据到Kafka 三、从Kafka中读取数据 从Kafka中读取数据 Storm从Kafka集群读取数据处理

    Storm入门教程 之Storm原理和概念详解

    Storm入门教程 之Storm原理和概念详解,出自Storm流计算从入门到精通之技术篇,Storm入门视频教程用到技术:Storm集群、Zookeeper集群等,涉及项目:网站PV、UV案例实战、其他案例; Storm视频教程亮点: 1、Storm...

    storm-ui:Apache Storm 的用户界面

    默认情况下,您可以在用户家中新建一个名为“.storm”的目录,并通过storm.yaml设置storm配置通过设置系统环境变量进行配置 export STORM_CONF_DIR在用户主目录中创建一个名为“.storm”的新目录。 像“~/.storm” ...

    Storm 1.1.0 中文文档

    Storm 1.1.0 中文文档 Storm 1.1.0 中文文档 Storm 1.1.0 中文文档

    细细品味Storm_Storm简介及安装

    细细品味Storm_Storm简介及安装

    storm一个简单实例

    storm的第一个简单的实例,适合初学storm的人理解和学习,已经在storm集群中跑通。注释是自己写的方便理解

    storm安装包

    storm安装包storm安装包storm安装包storm安装包storm安装包storm安装包storm安装包

    storm入门.pdf

    storm的入门,东西很不错!看完就算是基本入门啦!!还等什么?

    传智播客Storm项目实战课程 Storm的集群搭建实战 Storm项目学习视频教程

    01-storm简介 02-storm部署-1 03-storm部署-2 04-storm部署概念 05-streamgrouping 06-storm组件生命周期 07-storm可靠性1 08-storm可靠性2

    Apache Storm(apache-storm-2.3.0.tar.gz)

    Apache Storm(apache-storm-2.3.0.tar.gz) 是一个免费的开源分布式实时计算系统。Apache Storm 可以轻松可靠地处理无限制的数据流,实时处理就像 Hadoop 进行批处理一样。Apache Storm 很简单,可以与任何编程语言...

    大数据-Storm实时数据处理

    系统讲解Storm的基础知识和实时数据处理的最佳实践方法,内容涵盖Storm本地开发环境搭建、日志流数据处理、Trident、分布式远程过程调用、Topology在不同编程语言中的实现方法、Storm与Hadoop的集成方法、实时机器...

    Apache Storm(apache-storm-2.3.0-src.tar.gz 源码)

    Apache Storm(apache-storm-2.3.0-src.tar.gz 源码) 是一个免费的开源分布式实时计算系统。Apache Storm 可以轻松可靠地处理无限制的数据流,实时处理就像 Hadoop 进行批处理一样。Apache Storm 很简单,可以与...

    storm chm文档

    storm chm文档 ,使用Storm实现实时大数据分析,storm源码学习

    Storm实战:构建大数据实时计算

    随着大数据实时处理需求的强劲增长,Storm的出现填补了大数据处理生态系统的缺失,并被越来越多的公司所采用。阿里巴巴集团数据平台事业部商家数据业务部正是最早使用Storm的技术团队之一。  《Storm实战:构建...

    《Storm实时数据处理》PDF.zip

    系统讲解Storm的基础知识和实时数据处理的最佳实践方法,内容涵盖Storm本地开发环境搭建、日志流数据处理、Trident、分布式远程过程调用、Topology在不同编程语言中的实现方法、Storm与Hadoop的集成方法、实时机器...

    Storm实时数据处理

    Storm实时数据处理

    Storm中涉及到的类

    Storm事务中涉及到的类,以及在非事务、事务、分区事务、不透明分区事务的比较的信息汇总

Global site tag (gtag.js) - Google Analytics