使用Apache Mesos和Consul实现服务的注册发现

  为保证基于Docker应用程序和服务都具有高性能和可用性,设计出一种具有服务发现,高可用性和容错能力的解决方案非常重要。

  我们使用Apache Mesos 和Mesosphere的 Marathon实现Docker的任务调度和应用部署,Mesos能够帮助完成高可用性 高容错性。

  作为服务编排注册和发现, Consul 不仅能够作为一个key/value存储,而且能够支持错误侦测以及多数据中心支持。

  注册定义是当有Docker容器启动或停止时,其他Docker容器应该能获知,使用Apache Consul实现注册或注销Docker容器的微服务名称以及发布端口。Consul-template 是一个独立的应用,能够查询Consul并且更新文件系统上的一个文件模板,正如你看到一样,使用Consul/Consul-template实现注册的捆绑能够帮助完成动态服务的注册和发现,以及配置文件的更新,我们可以使用这些工具与Haproxy联合一起为所有服务请求提供一个通用的代理网关。

 

安装步骤

  假设 Consul为3个或5个服务器集群工作,每个服务器节点包括所有mesos 主从服务器和haproxy等都必须有一个Consul代理网关安装和运行。

  安装Consul 服务器和代理节点的步骤:

wget https://dl.bintray.com/mitchellh/consul/0.4.1_linux_amd64.zip
unzip 0.4.1_linux_amd64.zip
cp consul /usr/local/bin

 

Consul服务器设置

  我们配置3个vm作为Consul服务器集群. 按照Consul网站的 the server setup instructions 设置服务器集群创建领导人选举,如果一切正常,你应该能通过运行'consul members'看到所有服务器节点。

 

Consul节点设置

  按照Consul网站的 the agent setup instructions安装,键入'consul members' 应该可以看到所有服务节点,包括服务器节点。

 

设置Mesos主服务器

我们可以按照 Mesosphere Master Node Instructions指引安装和配置主节点,我们运行桑格主节点,设置2 quorum, 需要python egg来启动或停止脚步,除安装标准操作外,确保你还运行了下面指令:

curl -sSfL http://downloads.mesosphere.io/master/redhat/6/mesos-0.20.1-py2.6-linux-x86_64.egg –output /tmp/mesos.egg

easy_install –allow-hosts pypi.python.org /tmp/mesos.egg

一旦全部安装完成,键入命令启动:

start mesos-master

会出现:

[root@mesos-master-01 mesos-master]# ps -ef | grep master
root 8978 1 0 Oct29 ? 00:09:47 /usr/local/sbin/mesos-master --zk=zk://1.1.1.1:2181,
2.2.2.2:2181,3.3.3.3:2181/mesos --port=5050 --log_dir=/var/log/mesos
--hostname=1.1.1.1 --quorum=2 --work_dir=/var/lib/mesos
root 8990 8978 0 Oct29 ? 00:00:00 logger -p user.info -t mesos-master[8978]
root 8991 8978 0 Oct29 ? 00:00:00 logger -p user.err -t mesos-master[8978]

 

设置Mesos 从服务器

按照 Mesosphere Slave Node Instructions 安装从服务器,也需要安装python egg来运行启动脚本,运行以下命令:

curl -sSfL http://downloads.mesosphere.io/master/redhat/6/mesos-0.20.1-py2.6-linux-x86_64.egg –output /tmp/mesos.egg

easy_install –allow-hosts pypi.python.org /tmp/mesos.egg

一切安装正常后,运行:

start mesos-slave

你会看到:

ps -ef | grep slave
root 10749 3451 0 11:03 pts/0 00:00:00 grep slave
root 15229 1 0 Nov06 ? 00:25:01 /usr/local/sbin/mesos-slave
--master=zk://1.1.1.1:2181,2.2.2.2:2181,3.3.3.3:2181/mesos --log_dir=/var/log/mesos
--containerizers=docker,mesos
--executor_registration_timeout=5mins --hostname=172.25.1.35
root 15241 15229 0 Nov06 ? 00:00:00 logger -p user.info -t mesos-slave[15229]
root 15242 15229 0 Nov06 ? 00:00:00 logger -p user.err -t mesos-slave[15229]

一旦安装所有mesos所有组件,你就可以通过端口 5050看见从服务器激活了。

mesos

 

安装Docker

wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
rpm -Uvh epel-release-6*.rpm
yum install -y docker-io

配置后台运行配置,确保/etc/sysconfig/docker有如下:

other_args="-H tcp://0.0.0.0:4243 -H unix:///var/run/docker.sock"

启动Docker后台运行:service docker start

 

设置注册器

拉一个Docker image:

docker pull progrium/registrator

运行注册器容器 (确保Consul代理已经安装和运行)

docker run -d -v /var/run/docker.sock:/tmp/docker.sock -h $HOSTNAME progrium/registrator consul://localhost:8500

在注册器容器运行docker logs应该会看到:

2014/10/31 20:06:26 registrator: Using consul registry backend at consul://172.0.0.1:8500 2014/10/31 20:06:26 registrator: Listening for Docker events…

 

设置consul-template 和 haproxy

现在我们需要设置使用consul-template配置haproxy实例, 这样能在haproxy实现服务的动态注册和注销。

安装haproxy到你的vm, 然后安装consul-template. 确保Consul已经安装并且加入了集群. consul-template下载地址: https://github.com/hashicorp/consul-template/releases.

wget https://github.com/hashicorp/consul-template/releases/download/v0.2.0/
consul-template_0.2.0_linux_amd64.tar.gz

tar xvfz consul-template_0.2.0_linux_amd64.tar.gz cp consul-template /usr/local/bin

下面配置consul-template

首先创建一个模板配置文件,这个文件当启动consul-template时会被使用,创建文件在/data/cfg/consul/tmpl.json:

consul = "127.0.0.1:8500"

template {

  source = "/etc/haproxy/haproxy.ctmpl"
  destination = "/etc/haproxy/haproxy.cfg"
  command = "service haproxy restart"

}

这个配置文件提供了所有consul-template需要的必备配置,使用它们consul-template能够实现haproxy配置,其中haproxy.cfg配置如下:

defaults REDIS
    mode tcp
    timeout connect  4s 
    timeout server  30s 
    timeout client  30s 
 
listen http-in 
    bind *:80{{range service "web"}} 
        server {{.Node}} {{.Address}}:{{.Port}}{{end}} 
listen http-in 
    bind *:4567{{range service "demoapp"}} 
        server {{.Node}} {{.Address}}:{{.Port}}{{end}} 
frontend ft_redis
    bind *:6379 name redis
    default_backend bk_redis
backend bk_redis{{range service "redis"}} 
        server {{.Node}} {{.Address}}:{{.Port}}{{end}} 

 

配置中有三个监听:一个是webapps监听在端口80, 一个是为sinatra webapps监听在端口 4567 ,一个redis监听端口是6379.

使用下面命令启动consul-template:

nohup consul-template -config /data/cfg/consul/tmpl.json > consul-template.out 2>&1 &

当名为 "web", "demoapp" "redis"的docker服务器启动后,节点的IP和端口信息将自动更新haproxy.cfg. Haproxy将会自动分发负载到后台docker服务,以随机分配的端口的方法,如果一个后台docker容器死机,它的节点IP和端口将被自动从haproxy.cfg移除。

视频和英文原文:Service Discovery & Orchestration With Mesos and Consul

Docker教程

使用Mesos和Marathon管理Docker集群