JDK 1.7下载并设置JDK路径:我们需要安装JDK并设置好其环境变量.# cd /usr/java # wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-i586.tar.gz" # tar xzf jdk-7u79-linux-i586.tar.gz
解压并设置好JAVA_HOME路径安装Maven2:接下来下载安装maven# wget https://launchpad.net/~bneijt/+archive/ubuntu/ppa/+build/2139203/+files/maven3_3.0.1-0~ppa2_all.deb
# dpkg -i maven3_3.0.1-0~ppa2_all.deb
检查maven版本好# mvn3 -version
Apache Maven 3.0.1 (r1038046; 2010-11-23 16:28:32+0530)安装Hello-Samza : # cd /usr/local
把hello-samza复制进来,# git clone git://git.apache.org/samza-hello-samza.git hello-samza
本项目中含有一个"grid"的脚本,其中有hello-samza变量,有了这个你可以搞定一切了. 使用它可以安装 Kafka, Yarn和Zookeeper.执行下面的命令,# cd /usr/local/hello-samza
root@dev:/usr/local/hello-samza# bin/grid install kafka
EXECUTING: install kafkaroot@dev:/usr/local/hello-samza# bin/grid install yarn
EXECUTING: install yarnroot@dev:/usr/local/hello-samza# bin/grid install zookeeper
EXECUTING: install zookeeper现在你会发现所有的包都在hello-samza根目录下面的一个名字叫 “deploy”文件夹里面.root@dev:/usr/local/hello-samza# cd deployroot@dev:/usr/local/hello-samza/deploy# ls
kafka yarn zookeeper执行bin/grid bootstrap命令root@dev:/usr/local/hello-samza# bin/grid bootstrap
Download http://repo1.maven.org/maven2/org/fusesource/scalate/scalate-util_2.10/1.6.1/scalate-util_2.10-1.6.1.jarTotal time: 20 mins 32.855 secs上面的grid执行完后,你就可以验证YARN是否安装好了并在运行,访问URL http://localhost:8088. 看到的就是YARN UI界面.Build一个Samza工作包:你需要build下这个包,YARN就是通过这个包来执行grid的. 注: 比如你build的是hello-samza项目的最新版的话,记得首先执行下下面的命令。root@dev:/usr/local/hello-samza#./gradlew publishToMavenLocal
你可以在hello-samza项目中使用这些命令:root@dev:/usr/local/hello-samza# mvn clean packageroot@dev:/usr/local/hello-samza# mkdir -p deploy/samzaroot@dev:/usr/local/hello-samza# tar -xvf ./target/hello-samza-0.10.0-dist.tar.gz -C deploy/samza
执行Samza任务:完成build Samza包之后,你就可以在grid使用t run-job.sh 脚本来完成一些任务了root@dev:/usr/local/hello-samza # deploy/samza/bin/run-job.sh --config-factory=org.apache.samza.config.factories.PropertiesConfigFactory --config-path=file://$PWD/deploy/samza/config/wikipedia-feed.properties
上面的这个任务将会从Wikipedia上把实施反馈编辑撤销掉,会把这些编辑放到一个叫“thelinuxfaq-raw”的主题里面去. 让这个主题运行几分钟后,你再来看下Kafka 最后面的更新情况:root@dev:/usr/local/hello-samza# deploy/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic thelinuxfaq-raw
再次访问YARN UI界面(http://localhost:8088). 你就看到Samza很正常的运行而不是有错误提示了! 关闭Samza:一切都弄好了,你就可以使用grid脚本关闭所有的相关服务器了.同意的,你可以使用grid脚本来启动所有服务,root@dev:/usr/local/hello-samza # bin/grid start all
海外公司注册、海外银行开户、跨境平台代入驻、VAT、EPR等知识和在线办理:https://www.xlkjsw.com
原标题:在Linux上怎么安装和配置Apache Samza
关键词:linux