《Linux集群和自动化运维》源代码

全书分为7章：第1章主要是讲解的是进行网架架构设计的软硬件环境，包括机房的选型、CDN类型的选择，到底是用机房租赁的方式还是采用云主机的方式以及系统的优化等等；第2章，生产环境下的shell脚本，这里面的Shell脚本和Python脚本都是取自于线上环境，这章内容是以Shell为主，Python为辅，而且Shell部分讲得比较详细，Python部分重点和关注的地方也有提及；第3章讲解的是自动化运维工具Farbic，这也是作者的公司大家喜欢用的自动化运维工具之一，基于python开发的轻量级自动化维工具，作者也在公司推广，在开发团队也在应用；第4章，是关于分布式自动化运维工具Puppet详解，现在自动化运维是运维的流行趋势，而Puppet正是这方面的翘楚，熟悉掌握Puppet的使用能增加职业技能点；第5章讲解的是Linux防火墙在企业中的部署，所有的iptables脚本都是用于作者的线上服务器，大家可根据需求对照学习，在此章节中作者也重点介绍了iptables语法的学习重难点及在AWS EC2主机安全组的应用；第6章，高可用Linux集群案例分享，这个也是本书的精华之一，作者在此章中用自己的证券及电子商务项目为实践，详细说明了Nginx+Keepalived的部署安装过程及DRBD+Hearbeat+NFS高可用文件服务器，后面的章节作者还附带了项目施工图；第7章，网站系统架构设计详解，分别以百万PV、千万PV及亿级PV的网站为例说明网站架构设，也分层说明了网站架构设计，并且说明了我们设计网站的压力及注意点所在。

Foreword推荐序一
在全球“互联网＋”的大背景下，互联网创业企业的数量如雨后春笋般大量产生并得到了快速发展！对“互联网＋”最有力的支撑就是Linux运维架构师、云计算和大数据工程师，以及自动化开发工程师等！

但是，随着计算机技术的发展，企业对Linux运维人员的能力要求越来越高，这就使得很多想入门运维的新手不知所措，望而却步，甚至努力了很久却仍然徘徊在运维岗位的边缘；而有些已经工作了的运维人员也往往是疲于奔命，没有时间和精力去学习企业所需的新知识和新技能，从而使得个人的职业发展前景大大受限。

本书就是在这样的背景下诞生并致力于为上述问题提供解决方案的，本书是作者余洪春先生10多年来一线工作经验的“再”结晶，此前作者已经出版过Linux集群方向的图书（《构建高可用Linux服务器》），本次出版的书是作者对运维行业的再回馈。

书中不仅涵盖了入门运维人员必须了解的IDC和CDN服务的选型、Linux系统及常见服务的优化实践内容，还有对于企业运维人员需要的大规模集群场景下必备的运维自动化Shell和Python企业开发应用实践案例、热门的自动化运维工具的企业应用实践、大规模集群及高可用的企业案例分享与安全防护等。

本书能够帮助运维人员掌握业内运维实战专家的网站集群的企业级应用经验的精髓，从而以较高的标准胜任各类企业运维的工作岗位，并提升自己的运维职业发展竞争力，值得一读！

封面图

目录

• 推荐序一
• 推荐序二
• 前言
• 第1章系统架构设计的构建基础1
• 1.1网站架构设计相关术语1
• 1.1.1什么是HTTP 1.11
• 1.1.2什么是Web 2.02
• 1.1.3软件开发C/S结构与B/S结构的区别3
• 1.1.4评估网站性能的专业术语5
• 1.2IDC机房的选择及CDN的选型6
• 1.3如何根据服务器应用选购服务器7
• 1.4CentOS 6.4 x86_64最小化安装后的优化13
• 1.4.1系统的基础优化13
• 1.4.2优化Linux下的内核TCP参数以提高系统性能19
• 1.4.3CentOS 6.4 x86_64系统最小化优化脚本22
• 1.4.4Linux下CPU使用率与机器负载的关系与区别23
• 1.5MySQL数据库的优化25
• 1.5.1服务器物理硬件的优化25
• 1.5.2利用tuning-primer脚本来调优MySQL数据库25
• 1.6小结28
• 第2章生产环境下的Shell和Python脚本29
• 2.1Shell和Python语言的简单介绍29
• 2.2Shell编程基础30
• 2.2.1Shell脚本的基本元素30
• 2.2.2Shell特殊字符31
• 2.2.3变量和运算符31
• 2.3Shell中的控制流结构42
• 2.4sed的基础用法及实用示例45
• 2.4.1sed的基础语法格式46
• 2.4.2sed的用法示例51
• 2.5awk的基础用法及实用示例56
• 2.6生产环境下的Shell和Python脚本分类61
• 2.6.1备份类脚本62
• 2.6.2统计类脚本66
• 2.6.3监控类脚本69
• 2.6.4开发类脚本72
• 2.6.5自动化类脚本78
• 2.7小结80
• 第3章轻量级自动化运维工具Fabric详解81
• 3.1Python语言的应用领域81
• 3.2选择Python的原因83
• 3.3Python的版本说明83
• 3.4增强的交互式环境IPython84
• 3.5Python(x,y)介绍85
• 3.6轻量级自动化运维工具Fabric介绍86
• 3.6.1Fabric的安装87
• 3.6.2命令行入口fab命令详解88
• 3.6.3Fabric的核心API88
• 3.7Fabric应用实例92
• 3.7.1开发环境中的Fabric应用实例92
• 3.7.2线上环境中的Fabric应用实例93
• 3.8小结96
• 第4章自动化部署管理工具Ansible简介97
• 4.1YAML语言介绍99
• 4.2Ansible的安装步骤 101
• 4.3利用ssh-keygen设置SSH无密码登录105
• 4.4Ansible常用模块介绍107
• 4.5playbook介绍121
• 4.6角色126
• 4.7Jinja2过滤器132
• 4.8小结136
• 第5章自动化配置管理工具Puppet137
• 5.1Puppet的基本概念及介绍137
• 5.1.1Puppet简介137
• 5.1.2学习Puppet应该掌握Ruby基础138
• 5.1.3Puppet的基本概念及工作流程介绍138
• 5.2安装Puppet前的准备工作140
• 5.3Puppet的详细安装步骤141
• 5.4Puppet的简单文件应用 145
• 5.5Puppet的进阶操作152
• 5.5.1如何同步Puppet-Client端上的常用服务152
• 5.5.2如何在Puppet-Client端自动安装常用的软件包153
• 5.5.3如何自动同步Puppet-Client端的yum源153
• 5.5.4如何根据不同名字的节点机器推送不同的文件155
• 5.5.5如何根据节点机器名选择性地执行Shell程序158
• 5.5.6如何快速同步Puppet-Server端的www目录文件160
• 5.5.7如何利用ERB模板来自动配置Apache虚拟主机165
• 5.5.8如何利用ERB模板来自动配置Nginx虚拟主机168
• 5.6Puppet的负载均衡方式172
• 5.7用GitHub来管理Puppet配置文件173
• 5.8小结176
• 第6章Linux防火墙及系统安全篇177
• 6.1基础网络知识177
• 6.1.1OSI网络参考模型177
• 6.1.2TCP/IP三次握手的过程详解178
• 6.1.3Socket应用及其他基础网络知识181
• 6.2Linux防火墙的概念182
• 6.3Linux防火墙在企业中的应用183
• 6.4Linux防火墙的语法184
• 6.5iptables的基础知识188
• 6.5.1iptables的状态state188
• 6.5.2iptables的conntrack记录190
• 6.5.3关于iptables模块的说明191
• 6.5.4iptables防火墙初始化的注意事项192
• 6.5.5如何保存运行中的iptables规则192
• 6.6如何流程化编写iptables脚本193
• 6.7学习iptables应该掌握的工具 196
• 6.7.1命令行的抓包工具TCPDump196
• 6.7.2图形化抓包工具Wireshark197
• 6.7.3强大的命令行扫描工具Nmap200
• 6.8iptables简单脚本：Web主机防护脚本203
• 6.9线上生产服务器的iptables脚本204
• 6.9.1安全的主机iptables防火墙脚本205
• 6.9.2自动分析黑名单及白名单的iptables脚本207
• 6.9.3利用recent模块限制同一IP的连接数210
• 6.9.4利用DenyHosts工具和脚本来防止SSH暴力破解214
• 6.10TCP_Wrappers应用级防火墙的介绍和应用218
• 6.11工作中的Linux防火墙总结220
• 6.12Linux服务器基础防护知识221
• 6.13Linux服务器高级防护知识222
• 6.14如何防止入侵222
• 6.15小结223
• 第7章Linux集群及项目案例分享224
• 7.1负载均衡高可用核心概念及常用软件224
• 7.1.1什么是负载均衡高可用224
• 7.1.2以F5 BIG-IP作为负载均衡器225
• 7.1.3以LVS作为负载均衡器226
• 7.1.4以Nginx作为负载均衡器230
• 7.1.5以HAProxy作为负载均衡器231
• 7.1.6高可用软件Keepalived232
• 7.1.7高可用软件Heartbeat233
• 7.1.8高可用块设备DRBD233
• 7.1.9四、七层负载均衡工作流程对比235
• 7.2负载均衡关键技术237
• 7.2.1什么是Session237
• 7.2.2什么是Session共享237
• 7.2.3什么是会话保持238
• 7.3负载均衡器的会话保持机制239
• 7.3.1LVS的会话保持机制239
• 7.3.2Nginx负载均衡器中的ip_hash算法244
• 7.3.3HAProxy负载均衡器的source算法244
• 7.3.4服务器健康检测技术249
• 7.4Linux集群的项目案例分享250
• 7.4.1案例分享一：用Nginx+Keepalived实现在线票务系统250
• 7.4.2案例分享二：企业级Web负载均衡高可用之Nginx+Keepalived253
• 7.4.3案例分享三：Nginx主主负载均衡架构265
• 7.4.4案例分享四：生产环境下的高可用NFS文件服务器270
• 7.4.5案例分享五：生产环境下的MySQL DRBD双机高可用280
• 7.4.6案例分享六：生产环境下的MySQL数据库主从同步293
• 7.4.7案例分享七：HAProxy双机高可用方案之HAProxy+Keepalived303
• 7.4.8案例分享八：巧用DNS轮询做负载均衡308
• 7.5软件级负载均衡器的特点介绍与对比313
• 7.6网站系统架构设计图315
• 7.7小结316
• 第8章浅谈网站系统架构设计318
• 8.1网站架构设计规划预案318
• 8.1.1利用经验，合理设计318
• 8.1.2规划好网站未来的发展319
• 8.1.3合理选用开源软件方案319
• 8.1.4机房及CDN选型319
• 8.1.5节约成本320
• 8.1.6安全备份320
• 8.2百万级PV高可用网站架构设计321
• 8.3千万级PV高性能高并发网站架构设计323
• 8.4亿级PV高性能高并发网站架构设计327
• 8.5细分五层解说网站架构333
• 8.6小结335
• 附录AHAProxy 1.4的配置文档336
• 附录Brsync及inotify在工作中的应用343
• 附录C用Supervisor批量管理进程355