在实时计算框架Storm集群上运行Storm-Starter例子

官方文档待翻译,个人实践在下面

Example Storm Topologies

Learn to use Storm!


Table of Contents


Getting started

Prerequisites

First, you need java and git installed and in your user's PATH. Also, two of the examples in storm-starter require Python and Ruby.

Next …

Read More

实时计算框架Storm集群搭建

首先对三台ubuntu14.04进行任务分配:

4-1

  • nimbus: ip:192.168.56.102

  • zookeeper: ip:192.168.56.102;192.168.56.103;192.168.56.104

  • supervisor: ip:192.168.56.103 192.168.56.104

此三台虚拟机分别用作Storm集群中的nimbus节点、Zookeeper集群(一台机器开多个zookeeper进程,当然也可以多台机器)、supervisor节点。

在这里我为方便起见 直接从单机安装的virtualbox虚拟机clone了三台一样的机器进行配置,每台上的配置过程见实时计算框架Storm本地模式搭建

下面针对每一个节点进行具体的配置

4-2

搭建一个Zookeeper集群

三台机器同时作为zookeeper集群 …

Read More

实时计算框架Storm本地模式搭建

平台:Ubuntu14.04

安装依赖

通过ubuntu自带的软件包管理器安装java环境。 安装Java:

$ sudo apt-get install openjdk-7-jdk

检查是否安装完成:

$ java -version

1-1

检查python版本:

$ python -V

1-2

安装ZooKeeper

为了避免每次获取超级权限重复输入sudo 临时进入超级用户:

$ sudo -s

使用ctrl+d退出

定位目录:

# cd /usr/local/src

从阿里的源下载:

# wget http://mirrors.aliyun.com/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

1-3

使用命令解压:

# tar -xzvf zookeeper-3 …

Read More

ubuntu突然出现打开系统设置慢 sudo时出现无法解析主机的解决办法

突然间发现我的ubuntu12.04打开系统设置变得非常慢,正不知如何解决的时候。发现sudo时出现“无法解析的主机 XXXX" 的提示。马上就联想到不久前改过hosts,原来是主机名无法解析了,这样问题就好解决了

$ sudo vim /etc/hosts

加入以下行

127.0.0.1       (你现在的主机名)
127.0.1.1       (你现在的主机名)

之后 打开系统设置就非常快了

Read More

virtualbox主机访问虚拟机

virtualbox中,如果选择默认的网卡设置,也就是网络地址转换(NAT),是不能让宿主机访问到虚拟机的,如果想让两者相互连通,可以在保留默认的NAT网卡的基础上增加一张Host-Only的网卡。

NAT

Host-Only

需要注意的是,如果你的宿主机是Linux的话,安装virtualbox后是没有一张Host-Only的网卡的,你需要在virtualbox的设置里添加这张网卡。

add-Host-Only

Read More

VMware中使easy install失效

用Typcial或custom方式安装虚拟机时,会出现Easy Install,使得安装过程自动进行,但这种自动的安装会有一些问题,比如装Linux时的分区,ubuntu的中文支持也会有问题。 更多的,对于像我这种学生来说,虚拟机有很大的作用是用来学习系统的安装的,这时Easy Install就显得多余了,那我们要怎么取消Easy Install呢?下面是一种不错的方法。

  1. 用Typcial或custom方式进入虚拟机的安装。
  2. 出现Easy Install Information时,可以随便填写,这个在后来的实际安装过程中是用不着的。
  3. 按你的需要配置虚拟机
  4. 在Ready to Create Virtual Machine页中,需要把Power on this virtual machine after creation前的勾去掉,Finish
  5. 接下来配置你刚刚创建的虚拟机。
  6. 把使用autoinst.iso的CD/DVD这个硬件直接remove或选为Auto detect,同样更改Floppy这个硬件,OK
  7. 现在启动虚拟机安装系统时就不会进入Easy Install了。

Read More