項(xiàng)目1　系統(tǒng)自動化運(yùn)維：從Shell到Python　1 知識目標(biāo)　1 技能目標(biāo)　1 素養(yǎng)目標(biāo)　1 任務(wù)1.1　從Shell編程開始系統(tǒng)自動化運(yùn)維　1 任務(wù)要求　1 相關(guān)知識　2 1.1.1　初識系統(tǒng)自動化運(yùn)維　2 1.1.2　Linux系統(tǒng)自動化運(yùn)維的基本工具——Shell腳本　3 任務(wù)實(shí)現(xiàn)　4 任務(wù)1.1.1　準(zhǔn)備實(shí)驗(yàn)環(huán)境　4 任務(wù)1.1.2　編寫Shell腳本批量創(chuàng)建Linux用戶賬戶　5 任務(wù)1.1.3　編寫Shell腳本批量檢測主機(jī)在線狀態(tài)　7 任務(wù)1.1.4　編寫Shell腳本一鍵安裝JDK　8 任務(wù)1.1.5　編寫Shell腳本監(jiān)控Linux系統(tǒng)性能　9 任務(wù)1.2　使用Python提升系統(tǒng)自動化運(yùn)維技能　13 任務(wù)要求　13 相關(guān)知識　13 1.2.1　Python簡介　13 1.2.2　Python的模塊、包與庫　14 1.2.3　Python與系統(tǒng)自動化運(yùn)維　15 任務(wù)實(shí)現(xiàn)　15 任務(wù)1.2.1　搭建Python開發(fā)環(huán)境　15 任務(wù)1.2.2　編寫Python程序監(jiān)控Linux系統(tǒng)性能　18 任務(wù)1.3　使用Python執(zhí)行外部命令　23 任務(wù)要求　23 相關(guān)知識　23 1.3.1　subprocess模塊簡介　23 1.3.2　subprocess模塊的便利函數(shù)　23 1.3.3　subprocess模塊的Popen類　25 任務(wù)實(shí)現(xiàn)　26 任務(wù)1.3.1　使用subprocess模塊編程批量檢測主機(jī)在線狀態(tài)　26 任務(wù)1.3.2　編寫通用的外部命令執(zhí)行函數(shù)　27 項(xiàng)目小結(jié)　28 課后練習(xí)　28 項(xiàng)目實(shí)訓(xùn)　29 實(shí)訓(xùn)1　編寫Shell腳本監(jiān)控系統(tǒng)性能　29 實(shí)訓(xùn)2　編寫Python腳本監(jiān)控系統(tǒng)負(fù)載　29 實(shí)訓(xùn)3　使用subprocess模塊編程創(chuàng)建Linux用戶賬戶　29 項(xiàng)目2　監(jiān)控系統(tǒng)與調(diào)度運(yùn)維任務(wù)　30 知識目標(biāo)　30 技能目標(biāo)　30 素養(yǎng)目標(biāo)　30 任務(wù)2.1　采集系統(tǒng)信息和管理進(jìn)程　30 任務(wù)要求　30 相關(guān)知識　31 2.1.1　了解psutil庫　31 2.1.2　系統(tǒng)信息相關(guān)函數(shù)　31 2.1.3　進(jìn)程管理功能　33 任務(wù)實(shí)現(xiàn)　34 任務(wù)2.1.1　使用psutil庫采集系統(tǒng)信息　34 任務(wù)2.1.2　使用psutil庫實(shí)現(xiàn)進(jìn)程管理　37 任務(wù)2.2　監(jiān)控文件系統(tǒng)更改　37 任務(wù)要求　37 相關(guān)知識　38 2.2.1　了解pyinotify庫　38 2.2.2　了解watchdog庫　40 任務(wù)實(shí)現(xiàn)　42 任務(wù)2.2.1　基于pyinotify庫編寫文件系統(tǒng)更改監(jiān)控程序　42 任務(wù)2.2.2　基于watchdog庫編寫文件系統(tǒng)更改監(jiān)控程序　43 任務(wù)2.3　監(jiān)控Web服務(wù)　45 任務(wù)要求　45 相關(guān)知識　45 2.3.1　PycURL庫簡介　45 2.3.2　PycURL庫的基本用法　46 任務(wù)實(shí)現(xiàn)　48 基于PycURL庫編寫Web服務(wù)監(jiān)控程序　48 任務(wù)2.4　調(diào)度運(yùn)維任務(wù)　50 任務(wù)要求　50 相關(guān)知識　50 2.4.1　APScheduler庫的組件　50 2.4.2　APScheduler庫的基本用法　51 任務(wù)實(shí)現(xiàn)　54 任務(wù)2.4.1　使用Cron服務(wù)調(diào)度運(yùn)維任務(wù)　54 任務(wù)2.4.2　基于APScheduler庫編程調(diào)度運(yùn)維 任務(wù)　54 項(xiàng)目小結(jié)　55 課后練習(xí)　55 項(xiàng)目實(shí)訓(xùn)　56 實(shí)訓(xùn)1　使用psutil庫編程獲取系統(tǒng)啟動時(shí)間和登錄信息　56 實(shí)訓(xùn)2　使用watchdog庫編程監(jiān)控文件的移動　56 實(shí)訓(xùn)3　使用PycURL庫編程判斷Web服務(wù)的可用性　57 實(shí)訓(xùn)4　使用APScheduler庫編程調(diào)度監(jiān)控任務(wù)　57 項(xiàng)目3　處理文件內(nèi)容與配置文件　58 知識目標(biāo)　58 技能目標(biāo)　58 素養(yǎng)目標(biāo)　58 任務(wù)3.1　解析和處理文件內(nèi)容　58 任務(wù)要求　58 相關(guān)知識　59 3.1.1　字符串及其操作　59 3.1.2　文本文件的讀寫　60 3.1.3　編碼和解碼　61 3.1.4　正則表達(dá)式　62 任務(wù)實(shí)現(xiàn)　65 任務(wù)3.1.1　統(tǒng)計(jì)用戶賬戶　65 任務(wù)3.1.2　查看配置文件并去除注釋和空行　66 任務(wù)3.2　操作配置文件　67 任務(wù)要求　67 相關(guān)知識　67 3.2.1　INI文件及其Python操作方法　67 3.2.2　XML文件及其Python解析方法　68 3.2.3　JSON文件及其Python操作方法　69 3.2.4　YAML文件及其Python操作方法　70 任務(wù)實(shí)現(xiàn)　72 任務(wù)3.2.1　編程操作INI文件　72 任務(wù)3.2.2　使用DOM方法讀寫XML文件　73 任務(wù)3.2.3　編程操作JSON文件　74 任務(wù)3.2.4　編程操作YAML文件　75 任務(wù)3.3　使用模板高效處理文本文件　76 任務(wù)要求　76 相關(guān)知識　76 3.3.1　什么是模板　76 3.3.2　Jinja2模板語法　77 3.3.3　Jinja2模板的渲染　78 任務(wù)實(shí)現(xiàn)　79 任務(wù)3.3.1　使用Jinja2模板生成HTML文件　79 任務(wù)3.3.2　使用Jinja2模板生成XML文件　80 任務(wù)3.4　比對文件和目錄內(nèi)容　81 任務(wù)要求　81 相關(guān)知識　81 3.4.1　difflib模塊　81 3.4.2　filecmp模塊　82 任務(wù)實(shí)現(xiàn)　83 任務(wù)3.4.1　使用difflib模塊編程比較兩個(gè)文件 內(nèi)容　83 任務(wù)3.4.2　使用filecmp模塊編程比較兩個(gè)目錄 內(nèi)容　84 項(xiàng)目小結(jié)　85 課后練習(xí)　86 項(xiàng)目實(shí)訓(xùn)　87 實(shí)訓(xùn)1　獲取網(wǎng)頁中所有圖片的鏈接　87 實(shí)訓(xùn)2　編寫將XML文件轉(zhuǎn)換為YAML文件的Python程序　87 實(shí)訓(xùn)3　使用Jinja2模板生成HTML報(bào)表　87 項(xiàng)目4　記錄日志與發(fā)送郵件　88 知識目標(biāo)　88 技能目標(biāo)　88 素養(yǎng)目標(biāo)　88 任務(wù)4.1　記錄日志　88 任務(wù)要求　88 相關(guān)知識　89 4.1.1　為什么要使用logging模塊　89 4.1.2　logging模塊的日志級別　89 4.1.3　logging模塊的基本用法　89 4.1.4　logging模塊的類　91 4.1.5　日志記錄的配置　94 任務(wù)實(shí)現(xiàn)　94 任務(wù)4.1.1　將日志消息同時(shí)輸出到屏幕和文件　94 任務(wù)4.1.2　使用日志文件記錄異常處理信息　95 任務(wù)4.1.3　使用日志記錄系統(tǒng)監(jiān)控異常信息　96 任務(wù)4.2　發(fā)送郵件　97 任務(wù)要求　97 相關(guān)知識　97 4.2.1　smtplib模塊及其基本用法　97 4.2.2　email模塊及其基本用法　98 任務(wù)實(shí)現(xiàn)　100 任務(wù)4.2.1　通過郵件發(fā)送報(bào)警通知　100 任務(wù)4.2.2　通過郵件發(fā)送運(yùn)維報(bào)告　102 項(xiàng)目小結(jié)　103 課后練習(xí)　103 項(xiàng)目實(shí)訓(xùn)　104 實(shí)訓(xùn)1　使用日志記錄文件刪除和移動監(jiān)控的信息　104 實(shí)訓(xùn)2　監(jiān)控文件刪除和移動并發(fā)送郵件通知　104 項(xiàng)目5　運(yùn)維數(shù)據(jù)記錄與可視化　105 知識目標(biāo)　105 技能目標(biāo)　105 素養(yǎng)目標(biāo)　105 任務(wù)5.1　記錄運(yùn)維數(shù)據(jù)　105 任務(wù)要求　105 相關(guān)知識　106 5.1.1　純文本的CSV文件　106 5.1.2　功能強(qiáng)大的Excel文件　106 5.1.3　使用數(shù)據(jù)庫存儲　109 任務(wù)實(shí)現(xiàn)　110 任務(wù)5.1.1　使用CSV文件記錄系統(tǒng)監(jiān)控?cái)?shù)據(jù)　110 任務(wù)5.1.2　使用SQLite數(shù)據(jù)庫記錄系統(tǒng)監(jiān)控?cái)?shù)據(jù)　112 任務(wù)5.2　可視化運(yùn)維數(shù)據(jù)　114 任務(wù)要求　114 相關(guān)知識　115 5.2.1　經(jīng)典的Python繪圖庫Matplotlib　115 5.2.2　高效、簡潔的Web可視化框架Dash　116 任務(wù)實(shí)現(xiàn)　121 任務(wù)5.2.1　基于Matplotlib庫生成系統(tǒng)監(jiān)控?cái)?shù)據(jù)統(tǒng)計(jì)圖表　121 任務(wù)5.2.2　通過Dash框架實(shí)現(xiàn)系統(tǒng)監(jiān)控?cái)?shù)據(jù)儀表盤　123 項(xiàng)目小結(jié)　127 課后練習(xí)　127 項(xiàng)目實(shí)訓(xùn)　128 實(shí)訓(xùn)1　使用Excel文件記錄系統(tǒng)監(jiān)控?cái)?shù)據(jù)并繪制CPU使用率的折線圖　128 實(shí)訓(xùn)2　基于Dash框架繪制CPU和內(nèi)存使用率的柱形圖　128 項(xiàng)目6　遠(yuǎn)程管理和批量運(yùn)維服務(wù)器　129 知識目標(biāo)　129 技能目標(biāo)　129 素養(yǎng)目標(biāo)　129 任務(wù)6.1　使用Paramiko庫遠(yuǎn)程管理服務(wù)器　129 任務(wù)要求　129 相關(guān)知識　130 6.1.1　SSH協(xié)議　130 6.1.2　Paramiko庫簡介　130 6.1.3　使用SSHClient類建立SSH連接　131 6.1.4　使用Transport類控制SSH連接　132 6.1.5　使用SFTPClient實(shí)現(xiàn)文件傳輸　133 任務(wù)實(shí)現(xiàn)　134 任務(wù)6.1.1　搭建多服務(wù)器實(shí)驗(yàn)環(huán)境　134 任務(wù)6.1.2　基于密鑰認(rèn)證連接遠(yuǎn)程服務(wù)器　135 任務(wù)6.1.3　在遠(yuǎn)程服務(wù)器上執(zhí)行sudo命令　137 任務(wù)6.1.4　實(shí)現(xiàn)交互式操作的遠(yuǎn)程偽終端　138 任務(wù)6.2　使用Fabric庫批量管理和運(yùn)維服務(wù)器　139 任務(wù)要求　139 相關(guān)知識　140 6.2.1　Fabric庫簡介　140 6.2.2　Connection類的基本用法　140 6.2.3　為sudo命令自動提供密碼　143 6.2.4　批量操作遠(yuǎn)程服務(wù)器　143 6.2.5　傳統(tǒng)的fab命令行工具　145 任務(wù)實(shí)現(xiàn)　145 任務(wù)6.2.1　批量部署源代碼　145 任務(wù)6.2.2　集中采集多臺服務(wù)器的系統(tǒng)信息　147 任務(wù)6.2.3　自動部署LAMP平臺　148 項(xiàng)目小結(jié)　150 課后練習(xí)　150 項(xiàng)目實(shí)訓(xùn)　151 實(shí)訓(xùn)1　使用Paramiko庫編程實(shí)現(xiàn)基于密鑰認(rèn)證的SSH客戶端　151 實(shí)訓(xùn)2　使用Fabric庫編程實(shí)現(xiàn)批量采集服務(wù)器的網(wǎng)絡(luò)流量信息　151 實(shí)訓(xùn)3　使用Fabric庫編程實(shí)現(xiàn)自動安裝Docker CE　152 項(xiàng)目7　網(wǎng)絡(luò)管理和網(wǎng)絡(luò)安全　153 知識目標(biāo)　153 技能目標(biāo)　153 素養(yǎng)目標(biāo)　153 任務(wù)7.1　IP地址管理與DNS解析　153 任務(wù)要求　153 相關(guān)知識　154 7.1.1　IPy庫及其基本用法　154 7.1.2　dnspython庫及其基本用法　156 任務(wù)實(shí)現(xiàn)　157 任務(wù)7.1.1　使用IPy庫解析IP地址　157 任務(wù)7.1.2　使用dnspython庫解析DNS記錄　158 任務(wù)7.2　實(shí)現(xiàn)網(wǎng)絡(luò)探測和安全掃描　159 任務(wù)要求　159 相關(guān)知識　160 7.2.1　nmap工具　160 7.2.2　python-nmap庫　164 任務(wù)實(shí)現(xiàn)　166 任務(wù)7.2.1　檢測網(wǎng)絡(luò)中在線狀態(tài)的主機(jī)　166 任務(wù)7.2.2　檢測主機(jī)的服務(wù)及版本　166 任務(wù)7.3　使用Scapy庫處理網(wǎng)絡(luò)數(shù)據(jù)包　167 任務(wù)要求　167 相關(guān)知識　168 7.3.1　Scapy庫簡介　168 7.3.2　Scapy庫的基本使用方法　168 任務(wù)實(shí)現(xiàn)　174 任務(wù)7.3.1　使用Scapy庫進(jìn)行SYN掃描　174 任務(wù)7.3.2　使用Scapy庫進(jìn)行TCP路由跟蹤　175 任務(wù)7.3.3　使用Scapy庫進(jìn)行抓包重放　175 項(xiàng)目小結(jié)　177 課后練習(xí)　177 項(xiàng)目實(shí)訓(xùn)　178 實(shí)訓(xùn)1　檢測主機(jī)的服務(wù)及版本并將結(jié)果生成HTML報(bào)表　178 實(shí)訓(xùn)2　使用Scapy庫抓取網(wǎng)絡(luò)數(shù)據(jù)包并進(jìn)行處理　178 項(xiàng)目8　企業(yè)級系統(tǒng)綜合運(yùn)維　179 知識目標(biāo)　179 技能目標(biāo)　179 素養(yǎng)目標(biāo)　179 任務(wù)8.1　熟悉Ansible的基本用法　179 任務(wù)要求　179 相關(guān)知識　180 8.1.1　Ansible的特點(diǎn)和應(yīng)用　180 8.1.2　Ansible的基本架構(gòu)　181 8.1.3　安裝Ansible　181 8.1.4　配置Ansible　182 8.1.5　編寫清單文件　183 8.1.6　配置SSH連接　184 8.1.7　Ansible的模塊　185 8.1.8　使用Ansible即席命令　186 8.1.9　命令執(zhí)行模塊　187 任務(wù)實(shí)現(xiàn)　187 任務(wù)8.1.1　使用Ansible在目標(biāo)主機(jī)上執(zhí)行Shell腳本　187 任務(wù)8.1.2　使用Ansible提權(quán)操作目標(biāo)主機(jī)　190 任務(wù)8.2　基于Playbook實(shí)現(xiàn)自動化任務(wù)　190 任務(wù)要求　190 相關(guān)知識　191 8.2.1　Playbook的基本語法　191 8.2.2　運(yùn)行Playbook　193 8.2.3　在Playbook中使用處理程序　195 8.2.4　在Playbook中定義和使用變量　195 8.2.5　在Playbook中使用控制結(jié)構(gòu)　197 8.2.6　使用Ansible Vault加密內(nèi)容　198 任務(wù)實(shí)現(xiàn)　200 任務(wù)8.2.1　使用Playbook配置系統(tǒng)時(shí)鐘同步　200 任務(wù)8.2.2　使用Playbook批量添加用戶賬戶　202 任務(wù)8.3　使用Ansible角色組織Playbook　204 任務(wù)要求　204 相關(guān)知識　204 8.3.1　理解Ansible角色　204 8.3.2　使用Ansible Galaxy　208 任務(wù)實(shí)現(xiàn)　210 任務(wù)8.3.1　通過角色部署Web負(fù)載平衡　210 任務(wù)8.3.2　通過Ansible Galaxy部署角色　216 任務(wù)8.4　部署Zabbix監(jiān)控平臺　218 任務(wù)要求　218 相關(guān)知識　218 8.4.1　Zabbix的主要特性　218 8.4.2　Zabbix的基本架構(gòu)　219 任務(wù)實(shí)現(xiàn)　219 任務(wù)8.4.1　以容器形式安裝Zabbix服務(wù)器　219 任務(wù)8.4.2　使用Ansible部署Zabbix代理　222 任務(wù)8.4.3　試用Zabbix實(shí)現(xiàn)系統(tǒng)監(jiān)控　225 項(xiàng)目小結(jié)　227 課后練習(xí)　228 項(xiàng)目實(shí)訓(xùn)　229 實(shí)訓(xùn)1　使用Ansible即席命令執(zhí)行Shell腳本檢測目標(biāo)主機(jī)的CPU使用率　229 實(shí)訓(xùn)2　使用Playbook批量更改CentOS的系統(tǒng)環(huán)境配置　229 實(shí)訓(xùn)3　從Ansible Galaxy獲取Redis角色并在CentOS服務(wù)器上部署　230