系统环境:centos 7.6
阅读全文
Linux下Flume的安装
Flume 需要依赖 JDK 1.8+,JDK 安装方式见本仓库:
阅读全文
Hadoop集群环境搭建
这里搭建一个 3 节点的 Hadoop 集群,其中三台主机均部署 DataNode 和 NodeManager 服务,但只有 hadoop001 上部署 NameNode 和 ResourceManager 服务。
阅读全文
Hadoop单机版环境搭建
Hadoop 的运行依赖 JDK,需要预先安装,安装步骤见:
阅读全文
HBase集群环境配置
这里搭建一个 3 节点的 HBase 集群,其中三台主机上均为 Regin Server。同时为了保证高可用,除了在 hadoop001 上部署主 Master 服务外,还在 hadoop002 上部署备用的 Master 服务。Master 服务由 Zookeeper 集群进行协调管理,如果主 Master 不可
阅读全文
HBase基本环境搭建
HBase 需要依赖 JDK 环境,同时 HBase 2.0+ 以上版本不再支持 JDK 1.7 ,需要安装 JDK 1.8+ 。JDK 安装方式见本仓库:
阅读全文
Flink Standalone Cluster
Flink 支持使用多种部署模式来满足不同规模应用的需求,常见的有单机模式,Standalone Cluster 模式,同时 Flink 也支持部署在其他第三方平台上,如 YARN,Mesos,Docker,Kubernetes 等。以下主要介绍其单机模式和 Standalone Cluster 模式的
阅读全文
Azkaban 3.x 编译及部署
Azkaban 在 3.0 版本之后就不提供对应的安装包,需要自己下载源码进行编译。
阅读全文
Zookeeper简介及核心概念
Zookeeper 是一个开源的分布式协调服务,目前由 Apache 进行维护。Zookeeper 可以用于实现分布式系统中常见的发布/订阅、负载均衡、命令服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。它具有以下
阅读全文
Zookeeper常用Shell命令
使用 help 可以查看所有命令及格式。
阅读全文