第 1章 人工智能導(dǎo)論 1 1.1 什么是人工智能 1 1.2 圖靈測(cè)試 3 1.2.1 圖靈測(cè)試的定義 3 1.2.2 詢問者測(cè)試 4 1.3 啟發(fā)式方法 4 1.4 知識(shí)表示 5 1.4.1 基于邏輯的解決方案 5 1.4.2 語義網(wǎng)絡(luò) 6 1.5 人工智能和博弈 6 1.6 專家系統(tǒng) 7 1.7 神經(jīng)計(jì)算 8 1.8 演化計(jì)算 8 1.9 自然語言處理 9 1.10 生物信息學(xué) 10 1.11 人工智能的主要部分 11 1.11.1 機(jī)器學(xué)習(xí) 11 1.11.2 深度學(xué)習(xí) 11 1.11.3 強(qiáng)化學(xué)習(xí) 12 1.11.4 機(jī)器人學(xué) 12 1.11.5 自然語言處理 12 1.12 代碼示例 13 1.13 總結(jié) 13 第 2章 機(jī)器學(xué)習(xí)概述 14 2.1 什么是機(jī)器學(xué)習(xí) 14 2.2 機(jī)器學(xué)習(xí)算法的類型 16 2.3 特征工程、特征選擇和特征提取 18 2.4 降維 19 2.4.1 PCA 19 2.4.2 協(xié)方差矩陣 20 2.5 使用數(shù)據(jù)集 20 2.5.1 訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù) 20 2.5.2 什么是交叉驗(yàn)證 20 2.6 什么是正則化 21 2.6.1 機(jī)器學(xué)習(xí)和特征縮放 21 2.6.2 數(shù)據(jù)歸一化與標(biāo)準(zhǔn)化 21 2.7 偏差-方差權(quán)衡 21 2.8 模型的度量指標(biāo) 22 2.8.1 R2的局限性 22 2.8.2 混淆矩陣 22 2.8.3 準(zhǔn)確率、精確率、召回率 22 2.8.4 ROC曲線 23 2.9 其他有用的統(tǒng)計(jì)學(xué)術(shù)語 23 2.9.1 F1值是什么 24 2.9.2 p值是什么 24 2.10 什么是線性回歸 24 2.10.1 線性回歸與曲線擬合 25 2.10.2 什么時(shí)候解是精確值 25 2.10.3 什么是多元分析 25 2.11 其他類型的回歸 26 2.12 使用平面中的線（可選） 26 2.13 用NumPy和matplotlib畫散點(diǎn)圖（1） 28 2.14 用NumPy和matplotlib畫散點(diǎn)圖（2） 30 2.15 用NumPy和matplotlib畫二次散點(diǎn)圖 30 2.16 MSE公式 31 2.16.1 誤差類型列表 32 2.16.2 非線性最小二乘法 32 2.17 手動(dòng)計(jì)算MSE 32 2.18 用np.linspace() API近似線性數(shù)據(jù) 34 2.19 用np.linspace() API計(jì)算MSE 34 2.20 用Keras進(jìn)行線性回歸 36 2.21 總結(jié) 38 第3章 機(jī)器學(xué)習(xí)分類器 40 3.1 什么是分類 40 3.1.1 什么是分類器 40 3.1.2 常見的分類器 41 3.1.3 二元分類與多類別分類 41 3.1.4 多標(biāo)簽分類 42 3.2 什么是線性分類器 42 3.3 什么是kNN 42 3.4 什么是決策樹 43 3.5 什么是隨機(jī)森林 46 3.6 什么是SVM 46 3.7 什么是貝葉斯推理 47 3.7.1 貝葉斯定理 47 3.7.2 一些貝葉斯術(shù)語 48 3.7.3 什么是最大后驗(yàn)假設(shè) 48 3.7.4 為什么使用貝葉斯定理 48 3.8 什么是樸素貝葉斯分類器 48 3.9 訓(xùn)練分類器 49 3.10 評(píng)估分類器 49 3.11 什么是激活函數(shù) 50 3.11.1 為什么需要激活函數(shù) 51 3.11.2 激活函數(shù)是如何工作的 51 3.12 常見的激活函數(shù) 51 3.12.1 Python中的激活函數(shù) 52 3.12.2 Keras中的激活函數(shù) 53 3.13 ReLU和ELU激活函數(shù) 53 3.13.1 ReLU激活函數(shù) 53 3.13.2 ELU激活函數(shù) 54 3.14 Sigmoid、Softmax、Softplus和tanh激活函數(shù)的相似性 54 3.14.1 Sigmoid激活函數(shù) 54 3.14.2 Softmax激活函數(shù) 54 3.14.3 Softplus激活函數(shù) 54 3.14.4 tanh激活函數(shù) 54 3.15 Sigmoid、Softmax和Hardmax激活函數(shù)之間的差異 55 3.16 什么是邏輯斯諦回歸 55 3.16.1 設(shè)置閾值 55 3.16.2 邏輯斯諦回歸：重要假設(shè) 56 3.16.3 線性可分?jǐn)?shù)據(jù) 56 3.17 Keras、邏輯斯諦回歸和Iris數(shù)據(jù)集 56 3.18 總結(jié) 58 第4章 深度學(xué)習(xí)概述 59 4.1 Keras和異或函數(shù)XOR 59 4.2 什么是深度學(xué)習(xí) 61 4.2.1 什么是超參數(shù) 62 4.2.2 深度學(xué)習(xí)體系架構(gòu) 62 4.2.3 深度學(xué)習(xí)所能解決的問題 63 4.2.4 未來的挑戰(zhàn) 63 4.3 什么是感知器 63 4.3.1 感知器函數(shù)的定義 64 4.3.2 感知器的詳細(xì)視圖 64 4.4 人工神經(jīng)網(wǎng)絡(luò)剖析 65 4.4.1 初始化模型的超參數(shù) 66 4.4.2 激活函數(shù) 66 4.4.3 損失函數(shù) 66 4.4.4 優(yōu)化器 66 4.4.5 學(xué)習(xí)率 67 4.4.6 丟棄率 67 4.5 什么是反向誤差傳播 67 4.6 什么是多層感知器 67 4.7 數(shù)據(jù)點(diǎn)是如何被正確分類的 68 4.8 CNN的高階視圖 69 4.8.1 一個(gè)極簡(jiǎn)的CNN 70 4.8.2 卷積層 70 4.8.3 ReLU激活函數(shù) 70 4.8.4 最大池化層 70 4.9 在MNIST數(shù)據(jù)集上顯示圖像 71 4.10 Keras和MNIST數(shù)據(jù)集 72 4.11 Keras、CNN和MNIST數(shù)據(jù)集 73 4.12 用CNN分析音頻信號(hào) 75 4.13 總結(jié) 76 第5章 深度學(xué)習(xí)體系架構(gòu)：RNN和 LSTM 77 5.1 什么是RNN 77 5.1.1 RNN剖析 78 5.1.2 什么是BPTT 78 5.2 在Keras中使用RNN 79 5.3 在Keras中使用RNN和MNIST數(shù)據(jù)集 80 5.4 在TensorFlow中使用RNN（可選） 81 5.5 什么是LSTM 83 5.5.1 LSTM剖析 83 5.5.2 雙向LSTM 84 5.5.3 LSTM公式 84 5.5.4 LSTM超參數(shù)調(diào)優(yōu) 85 5.6 在TensorFlow中使用LSTM（可選） 85 5.7 什么是GRU 87 5.8 什么是自動(dòng)編碼器 87 5.8.1 自動(dòng)編碼器和主成分分析 88 5.8.2 什么是可變自動(dòng)編碼器 89 5.9 什么是GAN 89 5.10 創(chuàng)建GAN 90 5.11 總結(jié) 92 第6章 自然語言處理和強(qiáng)化學(xué)習(xí) 93 6.1 使用NLP 93 6.1.1 NLP技術(shù) 94 6.1.2 Transformer架構(gòu)和NLP 94 6.1.3 Transformer-XL架構(gòu) 95 6.1.4 Reformer架構(gòu) 95 6.1.5 NLP和深度學(xué)習(xí) 95 6.1.6 NLP中的數(shù)據(jù)預(yù)處理任務(wù) 95 6.2 流行的NLP算法 95 6.2.1 什么是n-gram 96 6.2.2 什么是skip-gram 96 6.2.3 什么是詞袋 96 6.2.4 什么是詞頻 97 6.2.5 什么是反文檔頻率 97 6.2.6 什么是TF-IDF 98 6.3 什么是詞嵌入 98 6.4 ELMo、ULMFit、OpenAI、BERT和ERNIE 2.0 98 6.5 什么是Translatotron 99 6.6 深度學(xué)習(xí)和NLP 100 6.7 NLU與NLG 100 6.8 什么是強(qiáng)化學(xué)習(xí) 101 6.8.1 強(qiáng)化學(xué)習(xí)的應(yīng)用 101 6.8.2 NLP與強(qiáng)化學(xué)習(xí) 102 6.8.3 強(qiáng)化學(xué)習(xí)中的價(jià)值、策略和模型 102 6.9 從NFA到MDP 103 6.9.1 什么是NFA 103 6.9.2 什么是馬爾可夫鏈 103 6.9.3 馬爾可夫決策過程 104 6.10 epsilon貪心算法 104 6.11 貝爾曼方程 105 6.12 強(qiáng)化學(xué)習(xí)工具包和框架 106 6.13 什么是深度強(qiáng)化學(xué)習(xí) 107 6.14 總結(jié) 108 附錄A Keras簡(jiǎn)介 109 A.1 什么是Keras 109 A.1.1 在TF 2中使用Keras命名空間 109 A.1.2 使用tf.keras.layers命名空間 110 A.1.3 使用tf.keras.activations命名空間 110 A.1.4 使用tf.keras.datasets命名空間 111 A.1.5 使用tf.keras.experimental命名空間 111 A.1.6 使用tf.keras中的其他命名空間 112 A.1.7 TF 2 Keras與“獨(dú)立”Keras 112 A.2 創(chuàng)建基于Keras的模型 112 A.3 Keras和線性回歸 114 A.4 Keras、MLP和MNIST數(shù)據(jù)集 115 A.5 Keras、CNN和cifar10數(shù)據(jù)集 117 A.6 在Keras中調(diào)整圖像大小 119 A.7 Keras和提前停止（1） 120 A.8 Keras和提前停止（2） 121 A.9 Keras模型的度量指標(biāo) 123 A.10 保存和恢復(fù)Keras模型 123 A.11 總結(jié) 125 附錄B TF 2簡(jiǎn)介 126 B.1 什么是TF 2 126 B.1.1 TF 2用例 127 B.1.2 TF 2架構(gòu) 128 B.1.3 TF 2安裝 128 B.1.4 TF 2和Python的REPL 129 B.2 其他基于TF 2的工具包 129 B.3 TF 2即時(shí)執(zhí)行 130 B.4 TF 2張量、數(shù)據(jù)類型和原始類型 130 B.4.1 TF 2數(shù)據(jù)類型 130 B.4.2 TF 2原始類型 131 B.5 TF 2中的常量 131 B.6 TF 2中的變量 132 B.7 tf.rank() API 133 B.8 tf.shape() API 134 B.9 TF 2中的變量（重新審視） 135 B.10 TF 2中的@tf.function是什么 136 B.10.1 @tf.function如何工作 136 B.10.2 TF 2中@tf.function的注意事項(xiàng) 137 B.10.3 tf.print()函數(shù)和標(biāo)準(zhǔn)錯(cuò)誤 138 B.11 在TF 2中使用@tf.function 138 B.11.1 一個(gè)未使用@tf.function 的例子 138 B.11.2 一個(gè)使用@tf.function 的例子 139 B.11.3 使用@tf.function重載函數(shù)的例子 139 B.11.4 TF 2中的AutoGraph是什么 140 B.12 TF 2中的算術(shù)運(yùn)算 141 B.13 TF 2中算術(shù)運(yùn)算的 注意事項(xiàng) 141 B.14 TF 2的內(nèi)置函數(shù) 142 B.15 計(jì)算TF 2中的三角 函數(shù)值 143 B.16 計(jì)算TF 2中的指數(shù)值 144 B.17 在TF 2中使用字符串 144 B.18 在TF 2中使用帶有各種張量的運(yùn)算符 145 B.19 TF 2中的二階張量（1） 146 B.20 TF 2中的二階張量（2） 147 B.21 TF 2中兩個(gè)二階張量的 乘法 148 B.22 將Python數(shù)組轉(zhuǎn)換為TF 2 張量 148 B.23 微分和TF 2中的 tf.GradientTape 149 B.24 tf.GradientTape的示例 150 B.24.1 使用tf.GradientTape 的watch()方法 150 B.24.2 將嵌套的循環(huán)用于tf.GradientTape 151 B.24.3 其他涉及tf.GradientTape的TF 2張量運(yùn)算 151 B.24.4 持久的梯度磁帶 152 B.25 谷歌Colaboratory 153 B.26 其他云平臺(tái) 154 B.27 總結(jié) 154 附錄C pandas簡(jiǎn)介 155 C.1 什么是pandas 155 C.1.1 pandas數(shù)據(jù)幀 155 C.1.2 數(shù)據(jù)幀和數(shù)據(jù)清洗任務(wù) 156 C.2 帶標(biāo)簽的pandas數(shù)據(jù)幀 156 C.3 pandas數(shù)值數(shù)據(jù)幀 157 C.4 pandas布爾數(shù)據(jù)幀 158 C.5 pandas數(shù)據(jù)幀和隨機(jī)數(shù) 159 C.6 組合pandas數(shù)據(jù)幀（1） 160 C.7 組合pandas數(shù)據(jù)幀（2） 161 C.8 pandas數(shù)據(jù)幀的數(shù)據(jù)處理（1） 161 C.9 pandas數(shù)據(jù)幀的數(shù)據(jù)處理（2） 162 C.10 pandas數(shù)據(jù)幀的數(shù)據(jù)處理（3） 163 C.11 pandas數(shù)據(jù)幀和CSV文件 164 C.12 pandas數(shù)據(jù)幀和Excel電子表格（1） 167 C.13 pandas數(shù)據(jù)幀和Excel電子表格（2） 167 C.14 讀取具有不同分隔符的數(shù)據(jù)文件 168 C.15 使用sed命令轉(zhuǎn)換數(shù)據(jù)（可選） 169 C.16 選擇、添加和刪除數(shù)據(jù)幀 中的列 171 C.17 pandas數(shù)據(jù)幀和散點(diǎn)圖 172 C.18 pandas數(shù)據(jù)幀和直方圖 173 C.19 pandas數(shù)據(jù)幀和簡(jiǎn)單統(tǒng)計(jì) 175 C.20 pandas數(shù)據(jù)幀的標(biāo)準(zhǔn)化 175 C.21 pandas數(shù)據(jù)幀、NumPy函數(shù) 和大型數(shù)據(jù)集 177 C.22 使用pandas序列 177 C.22.1 數(shù)據(jù)來自ndarray 178 C.22.2 來自pandas序列的 pandas數(shù)據(jù)幀 178 C.23 pandas中有用的單行命令 179 C.24 什么是Jupyter 181 C.24.1 Jupyter特性 181 C.24.2 從命令行啟動(dòng)Jupyter 181 C.24.3 JupyterLab 182 C.24.4 開發(fā)JupyterLab擴(kuò)展 182 C.25 總結(jié) 182