本文共 11796 字，大约阅读时间需要 39 分钟。
集群背景介绍 1.1 术语定义 服务软体是b/s或c/s结构的s部分，是为b或c提供服务的服务性软件系统。 服务硬体指提供计算服务的硬件、比如pc机、pc服务器。 服务实体通指服务软体和服务硬体。 客户端指接受服务实体服务的软件或硬件。 1.2 两大关键特性 集群是一组协同工作的服务实体，用以提供比单一服务实体更具扩展性与可用性的服务平台。在客户端看来，一个集群就象是一个服务实体，但事实上集群由一组服务实体组成。与单一服务实体相比较，集群提供了以下两个关键特性： 可扩展性－－集群的性能不限于单一的服务实体，新的服务实体可以动态地加入到集群，从而增强集群的性能。 高可用性－－集群通过服务实体冗余使客户端免于轻易遇到out of service的警告。在集群中，同样的服务可以由多个服务实体提供。如果一个服务实体失败了，另一个服务实体会接管失败的服务实体。集群提供的从一个出错的服务实体恢复到另一个服务实体的功能增强了应用的可用性。 1.3 两大能力 为了具有可扩展性和高可用性特点，集群的必须具备以下两大能力： 负载均衡－－负载均衡能把任务比较均衡地分布到集群环境下的计算和网络资源。 错误恢复－－由于某种原因，执行某个任务的资源出现故障，另一服务实体中执行同一任务的资源接着完成任务。这种由于一个实体中的资源不能工作，另一个实体中的资源透明的继续完成任务的过程叫错误恢复。 负载均衡和错误恢复都要求各服务实体中有执行同一任务的资源存在，而且对于同一任务的各个资源来说，执行任务所需的信息视图（信息上下文）必须是一样的。 1.4 两大技术 实现集群务必要有以下两大技术： 集群地址－－集群由多个服务实体组成，集群客户端通过访问集群的集群地址获取集群内部各服务实体的功能。具有单一集群地址（也叫单一影像）是集群的一个基本特征。维护集群地址的设置被称为负载均衡器。负载均衡器内部负责管理各个服务实体的加入和退出，外部负责集群地址向内部服务实体地址的转换。有的负载均衡器实现真正的负载均衡算法，有的只支持任务的转换。只实现任务转换的负载均衡器适用于支持ACTIVE-STANDBY的集群环境，在那里，集群中只有一个服务实体工作，当正在工作的服务实体发生故障时，负载均衡器把后来的任务转向另外一个服务实体。 内部通信－－为了能协同工作、实现负载均衡和错误恢复，集群各实体间必须时常通信，比如负载均衡器对服务实体心跳测试信息、服务实体间任务执行上下文信息的通信。 具有同一个集群地址使得客户端能访问集群提供的计算服务，一个集群地址下隐藏了各个服务实体的内部地址，使得客户要求的计算服务能在各个服务实体之间分布。内部通信是集群能正常运转的基础，它使得集群具有均衡负载和错误恢复的能力。 (一)环境说明 (1)服务器有4台，一台安装apache,三台安装tomcat (2)apache2.0.55、tomcat5.5.15、jk2.0.4、jdk1.5.6或jdk1.4.2 (3)ip配置,一台安装apache的ip为192.168.0.88,三台安装tomcat的服务器ip分别为192.168.0.1/2/4 (二)安装过程 (1)在三台要安装tomcat的服务器上先安装jdk (2)配置jdk的安装路径,在环境变量path中加入jdk的bin路径,新建环境变量JAVA_HOME指向jdk的安装路径 (3)在三台要安装tomcat的服务器上分别安装tomcat,调试三个tomcat到能够正常启动 (4)tomcat的默认WEB服务端口是8080,默认的模式是单独服务,我的三个tomcat的WEB服务端口修改为7080/8888/9999 修改位置为tomcat的安装目录下的conf/server.xml 修改前的配置为 修改后的配置为 依次修改每个tomcat的监听端口(7080/8888/9999) (5)分别测试每个tomcat的启动是否正常 http://192.168.0.1:7080 http://192.168.0.2:8888 http://192.168.0.4:9999/ (三)负载均衡配置过程 (1)在那台要安装apache的服务器上安装apache2.0.55,我的安装路径为默认C:\Program Files\Apache Group\Apache2 (2)安装后测试apache能否正常启动，调试到能够正常启动http://192.168.0.88 (3)下载jk2.0.4后解压缩文件 (4)将解压缩后的目录中的modules目录中的mod_jk2.so文件复制到apache的安装目录下的modules目录中,我的为C:\Program Files\Apache Group\Apache2\modules (5)修改apache的安装目录中的conf目录的配置文件httpd.conf，在文件中加LoadModule模块配置信息的最后加上一句LoadModule jk2_module modules/mod_jk2.so (6)分别修改三个tomcat的配置文件conf/server.xml，修改内容如下 修改前 --> 修改后 --> 将其中的jvmRoute="jvm1"分别修改为jvmRoute="tomcat1"和jvmRoute="tomcat2"和jvmRoute="tomcat3" (7)然后重启三个tomcat，调试能够正常启动。 (8)在apache的安装目录中的conf目录下创建文件workers2.propertie，写入文件内容如下 # fine the communication channel [channel.socket:192.168.0.1:8009] info=Ajp13 forwarding over socket #配置第一个服务器 tomcatId=tomcat1 #要和tomcat的配置文件server.xml中的jvmRoute="tomcat1"名称一致 debug=0 lb_factor=1 #负载平衡因子，数字越大请求被分配的几率越高 # Define the communication channel [channel.socket:192.168.0.2:8009] info=Ajp13 forwarding over socket tomcatId=tomcat2 debug=0 lb_factor=1 # Define the communication channel [channel.socket:192.168.0.4:8009] info=Ajp13 forwarding over socket tomcatId=tomcat3 debug=0 lb_factor=1 [status:] info=Status worker, displays runtime information. [uri:/jkstatus.jsp] info=Display status information and checks the config file for changes. group=status: [uri:/*] info=Map the whole webapp debug=0 (9)在三个tomcat的安装目录中的webapps建立相同的应用,我和应用目录名为TomcatDemo,在三个应用目录中建立相同 WEB-INF目录和页面index.jsp,index.jsp的页面内容如下 Cluster App Test Server Info: 0) { String dataValue = request.getParameter("dataValue"); session.setAttribute(dataName, dataValue); } out.print("Session 列表"); Enumeration e = session.getAttributeNames(); while (e.hasMoreElements()) { String name = (String)e.nextElement(); String value = session.getAttribute(name).toString(); out.println( name + " = " + value+" "); System.out.println( name + " = " + value); } %> 名称: 值: (10)重启apache服务器和三个tomcat服务器,到此负载 均衡已配置完成。测试负载均衡先测试apache,访问http://192.168.0.88/jkstatus.jsp 能否正常访问，并查询其中的内容，有三个tomcat的相关配置信息和负载说明,访问http://192.168.0.88/TomcatDemo/index.jsp看能够运行, 能运行，则已建立负载均衡。 (四)tomcat集群配置 (1)负载均衡配置的条件下配置tomcat集群 (2)分别修改三个tomcat的配置文件conf/server.xml,修改内容如下 修改前 --> 修改后 将集群配置选项的注释放开即可，如上。 (3)在Conf目录下建立jk2.properties文件，写入下面一行，其中端口为相应的Tomcat对应的AJP端口。 channelSocket.port=8009 (4)重启三个tomcat。到此tomcat的集群已配置完成。 (五)应用配置 对于要进行负载和集群的的tomcat目录下的webapps中的应用中的WEB-INF中的web.xml文件要添加如下一句配置 配置前 TomcatDemo 配置后 TomcatDemo 源地址 http://hi.baidu.com/injava/blog/item/c8df882f136f21391e30896d.html 对上面方法的改进: 一、安装apachea、下载最新源文件httpd-2.2.3.tar.gz。wget http://apache.mirrors.hoobly.com/httpd/httpd-2.2.3.tar.gzb 、编译 一、安装apache a、 下载 最新源文件httpd-2.2.3.tar.gz。 wget http://apache.mirrors.hoobly.com/httpd/httpd-2.2.3.tar.gz b、编译 apache gunzip httpd-2.2.3.tar.gz tar xvf httpd-2.2.3.tar cd httpd-2.2.3 ./configure --prefix=/home/apache --enable-so --with-mpm=worker make make install c、简单配置：编辑httpd.conf， 把#ServerName www.example.com:80项中ServerName前的#号去掉，把xxxxx改成自己的机器全名，212中修改如下 #ServerName www.example.com:80改成ServerName 127.0.0.1 d、启动Apache： #cd /home/apache/bin #./apachectl start e、测试Apache是否已经正确运行：http://202.202.202.15 二、安装tomcat 把主体资源的tomcat拷为/home/tomcat/tomcat11目录 cd /home/tomcat tar cvf ../tool/tomcat.tar tomcat5 --exclude tomcat5/webapps --exclude tomcat5/work cd /home/tool tar xvf tomcat.tar mv tomcat5 ../tomcat/tomcat11 修改tomcat的文件目录，将/home/tomcat/tomcat11/conf/server.xml appBase="webapps"修改为 appBase="/home/tomcat/tomcat5/webapps" 修改tomcat的端口 tomcat1/conf/server.xml 改为 改为 改为 cp -fR /home/tomcat/tomcat11 /home/tomcat/tomcat12 cp -fR /home/tomcat/tomcat11 /home/tomcat/tomcat13 cp -fR /home/tomcat/tomcat11 /home/tomcat/tomcat14 将相关端口修改为12001、12002和12003，13001、13002和13003，14001、14002和14003;将标识修改为tomcat12,tomcat13,tomcat14 f、启动tomcat： #cd /home/tomcat/tomcat11/bin #./startup.sh #cd /home/tomcat/tomcat12/bin #./startup.sh #cd /home/tomcat/tomcat13/bin #./startup.sh #cd /home/tomcat/tomcat14/bin #./startup.sh g、测试tomcat是否已经正确运行： http://202.202.202.15:11002 http://202.202.202.15:12002 http://202.202.202.15:13002 http://202.202.202.15:14002 三、apache + 2tomcat的负载均衡 a、 下载 tomcat-connectors的源代码，编译，生成/home/apache/modules/mod_jk.so文件 wget http://mirrors.ccs.neu.edu/Apache/dist/tomcat/tomcat-connectors/jk/source/jk-1.2.19/tomcat-connectors-1.2.19-src.tar.gz gzip -d tomcat-connectors-1.2.19-src.tar.gz tar xvf tomcat-connectors-1.2.19-src.tar cd tomcat-connectors-1.2.19-src cd native ./configure --with-apxs=/home/apache/bin/apxs make make install b、修改httpd.conf配置 编辑Apache的配置文件Apache安装目录的conf/httpd.conf 把DocumentRoot "/mnt/sdd1/yanfa/vcmresource/apache/htdocs"改成 DocumentRoot "/home/tomcat/tomcat5/webapps/ROOT" 把改成 把 DirectoryIndex index.html 改为 DirectoryIndex index.jsp index.html 取消以下注释 #EnableMMAP off #EnableSendfile off 改为 EnableMMAP off EnableSendfile off #Include conf/extra/httpd-mpm.conf 改为 Include conf/extra/httpd-mpm.conf #Include conf/extra/httpd-default.conf 改为 Include conf/extra/httpd-default.conf 加入以下内容 # Jk connectors Include conf/mod_jk.conf 修改conf/extra/httpd-mpm.conf配置 # worker MPM StartServers 2 MaxClients 150 MinSpareThreads 25 MaxSpareThreads 75 ThreadsPerChild 25 MaxRequestsPerChild 0 改为 # worker MPM StartServers 5 ServerLimit 60 MaxClients 3000 MinSpareThreads 25 MaxSpareThreads 75 ThreadsPerChild 50 MaxRequestsPerChild 0 d、在conf目录下创建mod_jk.conf文件，内容如下： --------------------------------------mod_jk.conf------------------------------------------ # Load mod_jk module LoadModule jk_module modules/mod_jk.so # Where to find workers.properties JkWorkersFile conf/workers.properties # Where to put jk logs JkLogFile logs/mod_jk.log # Set the jk log level [debug/error/info] JkLogLevel warn # Select the log format # JkLogStampFormat "[%a %b %d %H:%M:%S %Y] " # JkOptions indicate to send SSL KEY SIZE, # JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories # JkRequestLogFormat set the request format # JkRequestLogFormat "%w %V %T" # Send JSPs for context / to worker named loadBalancer #JkMount /*.jsp loadBalancer #JkMount /*.do* loadBalancer JkMountFile conf/urimap.properties --------------------------------------------mod_jk.conf------------------------------------ 在conf目录下创建urimap.properties文件，内容如下： /*=loadBalancer !/*.gif=loadBalancer !/*.jpg=loadBalancer !/*.png=loadBalancer !/*.css=loadBalancer !/*.js=loadBalancer !/*.htm=loadBalancer !/*.html=loadBalancer !/*.mid=loadBalancer !/*.jpeg=loadBalancer !/*.txt=loadBalancer !/*.mp3=loadBalancer !/*.swf=loadBalancer !/*.wmv=loadBalancer !/*.zip=loadBalancer !/*.rar=loadBalancer !/*.pl=loadBalancer e、在 conf目录下创建workers.properties文件，该文件将告诉apache 每个负载均衡的tomcat 服务的运行参数，如机器名和端口号等。 -----------------------------------------workers.properties------------------------------- # # workers.properties # # list the workers by name worker.list=loadBalancer # ------------------------ # First tomcat server # ------------------------ worker.tomcat11.port=11003 worker.tomcat11.host=202.202.202.15 worker.tomcat11.type=ajp13 # Specify the size of the open connection cache. # worker.tomcat11.cachesize=1000 # # Specifies the load balance factor when used with # a load balancing worker. # Note: # ----> lbfactor must be > 0 # ----> Low lbfactor means less work done by the worker. worker.tomcat11.lbfactor=10 # ------------------------ # Second tomcat server # ------------------------ worker.tomcat12.port=12003 worker.tomcat12.host=202.202.202.15 worker.tomcat12.type=ajp13 # Specify the size of the open connection cache. # worker.tomcat12.cachesize=1000 # # Specifies the load balance factor when used with # a load balancing worker. # Note: # ----> lbfactor must be > 0 # ----> Low lbfactor means less work done by the worker. worker.tomcat12.lbfactor=10 # ------------------------ # Third tomcat server # ------------------------ worker.tomcat13.port=13003 worker.tomcat13.host=202.202.202.15 worker.tomcat13.type=ajp13 # Specify the size of the open connection cache. # worker.tomcat13.cachesize=1000 # # Specifies the load balance factor when used with # a load balancing worker. # Note: # ----> lbfactor must be > 0 # ----> Low lbfactor means less work done by the worker. worker.tomcat13.lbfactor=10 # ------------------------ # Fourth tomcat server # ------------------------ worker.tomcat14.port=14003 worker.tomcat14.host=202.202.202.15 worker.tomcat14.type=ajp13 # Specify the size of the open connection cache. # worker.tomcat14.cachesize=1000 # # Specifies the load balance factor when used with # a load balancing worker. # Note: # ----> lbfactor must be > 0 # ----> Low lbfactor means less work done by the worker. worker.tomcat14.lbfactor=10 # ------------------------ # Load Balancer worker # ------------------------ # # The loadbalancer (type lb) worker performs weighted round-robin # load balancing with sticky sessions. # Note: # ----> If a worker dies, the load balancer will check its state # once in a while. Until then all work is redirected to peer # worker. worker.loadBalancer.type=lb worker.loadBalancer.balance_workers=tomcat11,tomcat12,tomcat13,tomcat14 worker.loadBalancer.method=B # # END workers.properties f、配置Tomcat 服务器 修改conf/server.xml文件： 在tomcat1目录的conf/server.xml，在第128行, 替换: 为: 在tomcat2目录的conf/server.xml，替换为 jvmRoute="tomcat2". 为: 在tomcat3目录的conf/server.xml，替换为 jvmRoute="tomcat3". 为: 在tomcat4目录的conf/server.xml，替换为 jvmRoute="tomcat4". 为: 注意，一定是替换这一行，而包含在原来的engine里面的host不做更改。有的文档写的是在配置中加入一行 ,其实是不对的，这样负载均衡是没有问题的，但是不能做session绑定了，也就是说同一用户会在两台服务器上跳来跳去。这是由于jvmRoute不正确引起的，所以一定要替换。而且这个jvmRoute一定要跟workers.properties中的名称完全匹配，否则也不能实现session绑定. g、配置session亲和、监测各个tomcat的状态 vi /home/apache/conf/workers.properties 加入 worker.loadBalancer.sticky_session=1 修改 worker.list=loadBalancer为 worker.list=loadBalancer,status 加入 worker.status.type=status vi /home/apache/conf/mod_jk.conf 加入 JkMount /resource-tomcat-status status 重启apache，可在http://202.202.202.15/jkstatus监测各个tomcat的情况 （status实际上mod_jk自带的一个应用，目的是观察每个tomcat的状态，并可以在运行时设置每个tomcat的某些参数） 如需用户/密码验证才能监测状态，配置如下 /home/apache/bin/htpasswd -c /home/apache/conf/jk_passwd vcmedu vi /home/apache/conf/mod_jk.conf 去掉以下项 JkMount /jkstatus status 加如下面内容 JkMount status Order deny,allow AuthType Basic AuthName "jkstatus" AuthUserFile conf/jk_passwd require valid-user 转载地址：http://hnkai.baihongyu.com/