序言

感謝

首先感謝大家的信任。

作者僅是在學習應用數學科學和機器學習演算法時，多讀了幾本數學書，多做了一些思考和知識整理而已。知者不言，言者不知。知者不博，博者不知。由於作者水準有限，斗膽把自己有限所學所思與大家分享，作者權當無知者無畏。希望大家在GitHub 多提意見，讓本書成為作者和讀者共同參與創作的優質作品。

特別感謝北京清華大學出版社的欒大成老師。從選題策劃、內容創作到裝幀設計，欒老師事無巨細、一路陪伴。每次與欒老師交流，都能感受到他對優質作品的追求、對知識分享的熱情。

出來混總是要還的

曾經，考試是我們學習數學的唯一動力。考試是頭懸樑的繩，是錐刺股的錐。我們中的絕大多數人從小到大為各種考試埋頭題海，學數學味同嚼蠟，甚至讓人恨之入骨。

數學所帶來了無盡的「折磨」。我們甚至恐懼數學，憎恨數學，恨不得一走出校門就把數學拋之腦後，老死不相往來。

可悲可笑的是，我們很多人可能會在畢業五年或十年以後，因為工作需要，不得不重新學習微積分、線性代數、機率統計，悔恨當初沒有學好數學，走了很多彎路，沒能學以致用，甚至遷怒於教材和老師。

這一切不能都怪數學，值得反思的是我們學習數學的方法和目的。

再給自己一個學數學的理由

為考試而學數學，是被逼無奈的舉動。而為數學而學數學，則又太過高尚而遙不可及。

相信對絕大部分的我們來說，數學是工具，是謀生手段，而非目的。我們主動學數學，是想用數學工具解決具體問題。

現在，本叢書給大家帶來一個「學數學、用數學」的全新動力—資料科學、機器學習。

資料科學和機器學習已經深度融合到我們生活的各方面，而數學正是開啟未來大門的鑰匙。不是所有人生來都握有一副好牌，但是掌握「數學 + 程式設計 + 機器學習」的知識絕對是王牌。這次，學習數學不再是為了考試、分數、升學，而是為了投資時間，自我實現，面向未來。

未來已來，你來不來？

本書如何幫到你

為了讓大家學數學、用數學，甚至愛上數學，作者可謂頗費心機。在叢書創作時，作者儘量克服傳統數學教材的各種弊端，讓大家學習時有興趣、看得懂、有思考、更自信、用得著。

為此，叢書在內容創作上突出以下幾個特點。

◆數學 + 藝術——全圖解，極致視覺化，讓數學思想躍然紙上、生動有趣、一看就懂，同時提高大家的資料思維、幾何想像力、藝術感。

◆零基礎——從零開始學習 Python 程式設計，從寫第一行程式到架設資料科學和機器學習應用，儘量將陡峭學習曲線拉平。

◆知識網路——打破數學板塊之間的門檻，讓大家看到數學代數、幾何、線性代數、微積分、機率統計等板塊之間的聯繫，編織一張綿密的數學知識網路。

◆動手——授人以魚不如授人以漁，和大家一起寫程式、創作數學動畫、互動App。

◆學習生態——建構自主探究式學習生態環境「紙質圖書 + 程式檔案 + 視覺化工具 + 思維導圖」，提供各種優質學習資源。

◆理論 + 實踐——從加減乘除到機器學習，叢書內容安排由淺入深、螺旋上升，兼顧理論和實踐；在程式設計中學習數學，學習數學時解決實際問題。

雖然本書標榜「從加減乘除到機器學習」，但是建議讀者朋友們至少具備高中數學知識。如果讀者正在學習或曾經學過大學數學 ( 微積分、線性代數、機率統計)，那麼就更容易讀懂本叢書了。

聊聊數學

數學是工具。錘子是工具，剪刀是工具，數學也是工具。

數學是思想。數學是人類思想高度抽象的結晶體。在其冷酷的外表之下，數學的核心實際上就是人類樸素的思想。學習數學時，知其然，更要知其所以然。不要死記硬背公式定理，理解背後的數學思想才是關鍵。如果你能畫一幅圖、用簡單的語言描述清楚一個公式、一則定理，這就說明你真正理解了它。

數學是語言。就好比世界各地不同種族有自己的語言，數學則是人類共同的語言和邏輯。數學這門語言極其精準、高度抽象，放之四海而皆準。雖然我們中大多數人沒有被數學「女神」選中，不能為人類對數學認知開疆擴土；但是，這絲毫不妨礙我們使用數學這門語言。就好比，我們不會成為語言學家，但我們完全可以使用母語和外語交流。

數學是系統。代數、幾何、線性代數、微積分、機率統計、最佳化方法等，看似一個個孤島，實際上都是數學網路的一條條織線。建議大家學習時，特別關注不同數學板塊之間的聯繫，見樹，更要見林。

數學是基石。拿破崙曾說「數學的日臻完善和國強民富息息相關。」數學是科學進步的根基，是經濟繁榮的支柱，是保家衛國的武器，是探索星辰大海的航船。

數學是藝術。數學和音樂、繪畫、建築一樣，都是人類藝術體驗。透過視覺化工具，我們會在看似枯燥的公式、定理、資料背後，發現數學之美。

數學是歷史，是人類共同記憶體。「歷史是過去，又屬於現在，同時在指引未來。」數學是人類的集體學習思考，它把人的思維符號化、形式化，進而記錄、累積、傳播、創新、發展。從甲骨、泥板、石板、竹簡、木牘、紙草、羊皮卷、活字印刷、紙質書，到數位媒介，這一過程持續了數千年，至今綿延不息。

數學是無窮無盡的想像力，是人類的好奇心，是自我挑戰的毅力，是一個接著一個的問題，是看似荒誕不經的猜想，是一次次膽大包天的批判性思考，是敢於站在前人臂膀之上的勇氣，是孜孜不倦地延展人類認知邊界的不懈努力。

家園、詩、遠方

諾瓦利斯曾說：「哲學就是懷著一種鄉愁的衝動到處去尋找家園。」

在紛繁複雜的塵世，數學純粹得就像精神的世外桃源。數學是，一束光，一條巷，一團不滅的希望，一股磅礡的力量，一個值得寄託的避風港。

打破陳腐的鎖鏈，把功利心暫放一邊，我們一道懷揣一份鄉愁，心存些許詩意，踩著藝術維度，投入數學張開的臂膀，駛入它色彩斑斕、變幻無窮的深港，感受久違的歸屬，一睹更美、更好的遠方。

序言

感謝

首先感謝大家的信任。

作者僅是在學習應用數學科學和機器學習演算法時，多讀了幾本數學書，多做了一些思考和知識整理而已。知者不言，言者不知。知者不博，博者不知。由於作者水準有限，斗膽把自己有限所學所思與大家分享，作者權當無知者無畏。希望大家在GitHub 多提意見，讓本書成為作者和讀者共同參與創作的優質作品。

特別感謝北京清華大學出版社的欒大成老師。從選題策劃、內容創作到裝幀設計，欒老師事無巨細、一路陪伴。每次與欒老師交流，都能感受到他對優質作品的追求、對知識分享的熱情。

出來混總是要還的

曾經...

第 1 篇 整體說明
第 1 章 機器學習
1.1 什麼是機器學習?
1.2 迴歸：找到引數與因變數關係
1.3 分類：針對有標籤資料
1.4 降維：降低資料維度，提取主要特徵
1.5 聚類：針對無標籤資料
1.6 機器學習流程
1.7 下一步學什麼？
第 2 篇 迴歸
第 2 章 迴歸分析
2.1 線性迴歸：一個表格、一條直線
2.2 方差分析(ANOVA)
2.3 總離差平方和(SST)
2.4 迴歸平方和(SSR)
2.5 殘差平方和(SSE)
2.6 幾何角度：畢氏定理
2.7 擬合優度：評價擬合程度
2.8 F 檢驗：模型參數不全為0
2.9 t 檢驗：某個迴歸係數是否為0
2.10 置信區間：因變數平均值的區間
2.11 預測區間：因變數特定值的區間
2.12 對數似然函數：用在最大似然估計(MLE)
2.13 資訊準則：選擇模型的標準
2.14 殘差分析：假設殘差服從平均值為0 的正態分佈
2.15 自相關檢測：Durbin-Watson
2.16 條件數：多重共線性
第 3 章 多元線性迴歸
3.1 多元線性迴歸
3.2 最佳化問題：OLS
3.3 幾何解釋：投影
3.4 二元線性迴歸實例
3.5 多元線性迴歸實例
3.6 正交關係
3.7 三個平方和
3.8 t 檢驗
3.9 多重共線性
3.10 條件機率角度看多元線性迴歸
第 4 章 非線性迴歸
4.1 線性迴歸
4.2 線性對數模型
4.3 非線性迴歸
4.4 多項式迴歸
4.5 邏輯迴歸
4.6 邏輯函數完成分類問題
第 5 章 正規化迴歸
5.1 正規化：抑制過擬合
5.2 嶺迴歸
5.3 幾何角度看嶺迴歸
5.4 套索迴歸
5.5 幾何角度看套索迴歸
5.6 彈性網路迴歸
第 6 章 貝氏迴歸
6.1 回顧貝氏推斷
6.2 貝氏迴歸：無資訊先驗
6.3 使用PyMC 完成貝氏迴歸
6.4 貝氏角度理解嶺正規化
6.5 貝氏角度理解套索正規化
第 7 章 高斯過程
7.1 高斯過程原理
7.2 解決迴歸問題
7.3 解決分類問題
第 3 篇 分類
第 8 章 k 最近鄰分類
8.1 k 最近鄰分類原理：近朱者赤，近墨者黑
8.2 二分類：非紅，即藍
8.3 三分類：非紅，不是藍，就是灰
8.4 近鄰數量k 影響投票結果
8.5 投票權重：越近，影響力越高
8.6 最近質心分類：分類邊界為中垂線
8.7 k-NN 迴歸：非參數迴歸
第 9 章 單純貝氏分類
9.1 重逢貝氏
9.2 單純貝氏的「單純」之處
9.3 高斯，你好
第 10 章 高斯判別分析
10.1 又見高斯
10.2 六類協方差矩陣
10.3 決策邊界解析解
10.4 第一類
10.5 第二類
10.6 第三類
10.7 第四類
10.8 第五類
10.9 第六類
10.10 線性和二次判別分析
第 11 章 支援向量機
11.1 支援向量機
11.2 硬間隔：處理線性可分
11.3 構造最佳化問題
11.4 支援向量機處理二分類問題
11.5 軟間隔：處理線性不可分
第 12 章 核心技巧
12.1 映射函數：實現升維
12.2 核心技巧SVM 最佳化問題
12.3 線性核心：最基本的核心函數
12.4 多項式核心
12.5 二次核心：二次曲面
12.6 三次核心：三次曲面
12.7 高斯核心：基於徑向基函數
12.8 Sigmoid 核心
第 13 章 決策樹
13.1 決策樹：可以分類，也可以迴歸
13.2 資訊熵：不確定性度量
13.3 資訊增益：透過劃分，提高確定度
13.4 基尼指數：指數越大，不確定性越高
13.5 最大葉節點：影響決策邊界
13.6 最大深度：控制樹形大小
第 4 篇 降維
第 14 章 主成分分析
14.1 主成分分析
14.2 原始資料
14.3 特徵值分解
14.4 正交空間
14.5 投影結果
14.6 還原
14.7 雙標圖
14.8 陡坡圖
第 15 章 截斷奇異值分解
15.1 幾何角度看奇異值分解
15.2 四種SVD 分解
15.3 幾何角度看截斷型SVD
15.4 最佳化角度看截斷型SVD
15.5 分析鳶尾花照片
第 16 章 主成分分析進階
16.1 從「六條技術路線」說起
16.2 協方差矩陣：中心化資料
16.3 格拉姆矩陣：原始資料
16.4 相關性係數矩陣：標準化資料
第 17 章 主成分分析與迴歸
17.1 正交迴歸
17.2 一元正交迴歸
17.3 幾何角度看正交迴歸
17.4 二元正交迴歸
17.5 多元正交迴歸
17.6 主元迴歸
17.7 偏最小平方迴歸
第 18 章 核心主成分分析
18.1 核心主成分分析
18.2 從主成分分析說起
18.3 用核心技巧完成核心主成分分析
第 19 章 典型相關分析
19.1 典型相關分析原理
19.2 從一個協方差矩陣考慮
19.3 以鳶尾花資料為例
第 5 篇 聚類
第 20 章 K 平均值聚類
20.1 K 平均值聚類
20.2 最佳化問題
20.3 迭代過程
20.4 肘部法則：選定聚類叢集值
20.5 輪廓圖：選定聚類叢集值
20.6 沃羅諾伊圖
第 21 章 高斯混合模型
21.1 高斯混合模型
21.2 四類協方差矩陣
21.3 分量數量
21.4 硬聚類和軟聚類
第 22 章 最大期望演算法
22.1 最大期望
22.2 E 步：最大化期望
22.3 M 步：最大化似然機率
22.4 迭代過程
22.5 多元GMM 迭代
第 23 章 層次聚類
23.1 層次聚類
23.2 樹狀圖
23.3 叢集間距離
23.4 親近度層次聚類
第 24 章 密度聚類
24.1 DBSCAN 聚類
24.2 調節參數
第 25 章 譜聚類
25.1 譜聚類
25.2 距離矩陣
25.3 相似度
25.4 無向圖
25.5 拉普拉斯矩陣
25.6 特徵值分解

第 1 篇 整體說明
第 1 章 機器學習
1.1 什麼是機器學習?
1.2 迴歸：找到引數與因變數關係
1.3 分類：針對有標籤資料
1.4 降維：降低資料維度，提取主要特徵
1.5 聚類：針對無標籤資料
1.6 機器學習流程
1.7 下一步學什麼？
第 2 篇 迴歸
第 2 章 迴歸分析
2.1 線性迴歸：一個表格、一條直線
2.2 方差分析(ANOVA)
2.3 總離差平方和(SST)
2.4 迴歸平方和(SSR)
2.5 殘差平方和(SSE)
2.6 幾何角度：畢氏定理
2.7 擬合優度：評價擬合程度
2.8 F 檢驗：模型參數不全為0
2.9 t 檢驗：某個迴歸係數是否為0
2.10 置信區間：因...