三、機器學習核心算法（入門到實戰(zhàn)）?

1. 監(jiān)督學習算法（已知標簽的模型訓練）?

線性模型?

• 線性回歸（回歸任務）：?
• 核心原理：假設 y = w? + w?x? + w?x? + ... + w?x? + ε（ε 為誤差項），通過最小化均方誤差（MSE=Σ(y_i - ?_i)2/n）求解參數 w?
• 求解方法：?
• 最小二乘法（閉式解）：w = (X^T X)?1 X^T y（適用于特征數少、樣本數適中的情況）?
• 梯度下降法（迭代解）：適用于高維數據（特征數多），避免矩陣求逆的高復雜度?
• 優(yōu)缺點：?
• 優(yōu)點：模型簡單、可解釋性強（權重 w 表示特征重要性）、訓練速度快?
• 缺點：只能捕捉線性關系，對非線性數據擬合效果差?
• 實戰(zhàn)技巧：特征標準化后訓練（避免不同量綱影響參數），用正則化（Ridge/Lasso）防止過擬合?
• 邏輯回歸（分類任務）：?
• 核心原理：將線性回歸的輸出通過 Sigmoid 函數映射到 [0,1] 區(qū)間，作為分類概率，Sigmoid 函數：σ(z)=1/(1+e^(-z))，z=w^T X + b?
• 損失函數：交叉熵損失（Binary Cross-Entropy），L = -Σ(y_i logσ(z_i) + (1-y_i) log (1-σ(z_i)))?
• 求解方法：梯度下降法（批量梯度下降 BGD、隨機梯度下降 SGD、小批量梯度下降 MBGD）?
• 優(yōu)缺點：?
• 優(yōu)點：可解釋性強（概率輸出）、訓練快、適合二分類任務?
• 缺點：對非線性數據需手動構造特征，多分類需用 One-vs-Rest/One-vs-One 策略?
• 實戰(zhàn)技巧：處理類別不平衡（用 class_weight 參數或 SMOTE 過采樣），調整正則化強度（C 參數，C 越小正則化越強）?

樹模型?

• 決策樹：?
• 核心原理：基于特征的閾值劃分數據集，構建樹形結構（根節(jié)點→內部節(jié)點→葉節(jié)點），葉節(jié)點為預測結果?
• 劃分準則：?
• ID3：信息增益（最大化劃分后信息熵的減少量）?
• C4.5：信息增益比（解決信息增益偏向多值特征的問題）?
• CART：Gini 系數（衡量節(jié)點純度，Gini=1-Σp_i2，p_i 為節(jié)點中第 i 類樣本的比例）?
• 剪枝策略（防止過擬合）：?
• 預剪枝：限制樹的深度、最小樣本分裂數、最小樣本葉節(jié)點數?
• 后剪枝：先構建完整樹，再刪除對模型性能無提升的分支?
• 優(yōu)缺點：?
• 優(yōu)點：可解釋性強（可視化樹結構）、無需特征標準化、能捕捉非線性關系?
• 缺點：容易過擬合（單棵樹泛化能力差）、對噪聲數據敏感?
• 隨機森林（集成樹模型）：?
• 核心原理：基于 Bagging（bootstrap aggregation）策略，構建多棵決策樹，最終預測結果為多棵樹的投票（分類）或平均（回歸）?
• 隨機性體現(xiàn)：?
• 樣本隨機：每棵樹用 bootstrap 采樣（有放回抽樣）得到的樣本訓練?
• 特征隨機：每棵樹分裂時，從所有特征中隨機選擇部分特征（如 sqrt (n_features)）作為候選劃分特征?
• 優(yōu)缺點：?
• 優(yōu)點：泛化能力強（降低過擬合風險）、魯棒性好（對噪聲不敏感）、能處理高維數據?
• 缺點：可解釋性差（黑盒模型）、訓練速度比單棵決策樹慢?
• 實戰(zhàn)參數調優(yōu)：?
• n_estimators：樹的數量（越多越好，但需平衡訓練時間）?
• max_depth：樹的深度（避免過深）?
• min_samples_split：節(jié)點分裂的最小樣本數（默認 2）?
• max_features：每棵樹使用的最大特征數（分類任務默認 sqrt (n_features)）?
• XGBoost/LightGBM（梯度提升樹）：?
• 核心原理：基于 Boosting 策略，串行構建多棵樹，每棵樹擬合前序模型的殘差（梯度下降方向），最終模型為多棵樹的加權和?
• 核心優(yōu)化：?
• XGBoost：正則化（L1/L2 正則）、缺失值自動處理、并行計算（特征并行）、樹結構剪枝?
• LightGBM：基于直方圖的分裂策略（提高訓練速度）、梯度單邊采樣（GOSS）、互斥特征捆綁（EFB）（降低內存占用）?
• 優(yōu)缺點：?
• 優(yōu)點：預測精度高（競賽常用模型）、處理非線性數據能力強、支持分類 / 回歸 / 排序任務?
• 缺點：對超參數敏感（需仔細調優(yōu)）、易過擬合（需控制樹的復雜度）?
• 實戰(zhàn)參數調優(yōu)：?
• learning_rate（學習率）：0.01~0.1（越小需越多樹）?
• max_depth：3~10（避免過深）?
• subsample/colsample_bytree：樣本 / 特征采樣比例（0.5~1.0，防止過擬合）?
• reg_alpha/reg_lambda：L1/L2 正則系數（增大可防止過擬合）?

核方法：支持向量機（SVM）?

• 核心原理：找到一個超平面，使兩類樣本的間隔最大化（硬間隔 SVM），對于非線性數據，通過核函數映射到高維特征空間，再找線性超平面?
• 核函數選擇：?
• 線性核（Linear Kernel）：k (x1,x2)=x1^T x2，適用于線性可分數據?
• 高斯核（RBF Kernel）：k (x1,x2)=e^(-γ||x1-x2||2)，適用于非線性數據（γ 越大，模型越復雜）?
• 多項式核：k (x1,x2)=(x1^T x2 + c)^d，d 為多項式次數?
• 軟間隔 SVM：引入松弛變量 ξ，允許部分樣本越界，平衡間隔與分類錯誤，目標函數：min (1/2)||w||2 + CΣξ_i（C 為懲罰系數，C 越大對錯誤樣本懲罰越重）?
• 優(yōu)缺點：?
• 優(yōu)點：泛化能力強（基于間隔最大化）、適合高維數據（特征數多）、對小樣本數據效果好?
• 缺點：訓練速度慢（不適用于大規(guī)模數據）、可解釋性差、對核函數和參數敏感?
• 實戰(zhàn)技巧：數據標準化（SVM 對量綱敏感）、用交叉驗證選擇核函數和 C/γ 參數、處理類別不平衡（調整 class_weight）?

集成學習策略?

• Bagging：?
• 核心思想：并行訓練多棵獨立模型，通過投票 / 平均降低方差（防止過擬合），代表模型：隨機森林?
• 關鍵步驟：bootstrap 采樣（有放回抽樣）、模型獨立訓練、結果融合?
• Boosting：?
• 核心思想：串行訓練多棵弱模型，每棵模型聚焦前序模型的錯誤樣本（調整樣本權重），通過加權和提升模型性能，代表模型：AdaBoost、XGBoost、LightGBM?
• 關鍵步驟：初始化樣本權重、訓練弱模型、計算模型權重（錯誤率越低權重越高）、更新樣本權重（錯誤樣本權重增大）?
• Stacking：?
• 核心思想：用多個基礎模型的預測結果作為新特征，訓練一個元模型（如邏輯回歸、線性回歸），輸出最終預測結果?
• 關鍵步驟：?

1. 將數據集劃分為訓練集和驗證集?
2. 訓練多個基礎模型（如隨機森林、XGBoost、SVM），用驗證集得到預測結果?
3. 將訓練集的基礎模型預測結果拼接成新特征，訓練元模型?
4. 用元模型對測試集的基礎模型預測結果進行預測?

2. 無監(jiān)督學習算法（未知標簽的模型訓練）?

聚類算法?

• K-Means：?
• 核心原理：將 n 個樣本劃分為 k 個簇，使簇內樣本相似度高、簇間樣本相似度低（基于歐氏距離）?
• 算法步驟：?

1. 隨機選擇 k 個樣本作為初始聚類中心?
2. 計算每個樣本到各聚類中心的距離，將樣本分配到最近的簇?
3. 重新計算每個簇的均值（新聚類中心）?
4. 重復步驟 2-3，直到聚類中心不再變化或達到最大迭代次數?

• 聚類效果評估：?
• 內部指標：輪廓系數（Silhouette Coefficient），取值范圍 [-1,1]，越接近 1 聚類效果越好?
• 外部指標：調整蘭德指數（ARI）、互信息（NMI），適用于有真實標簽的情況?
• 優(yōu)缺點：?
• 優(yōu)點：算法簡單、訓練速度快、適用于大規(guī)模數據?
• 缺點：需提前指定 k 值、對初始聚類中心敏感、對非球形簇聚類效果差?
• 實戰(zhàn)技巧：用肘部法則（Elbow Method）選擇 k 值（繪制簇內平方和隨 k 的變化曲線，拐點處為最優(yōu) k）、對數據標準化（避免量綱影響距離計算）?
• DBSCAN（密度聚類）：?
• 核心原理：基于樣本的密度（ε 鄰域內的樣本數）劃分簇，無需提前指定 k 值?
• 核心參數：?
• ε（epsilon）：鄰域半徑?
• MinPts：ε 鄰域內的最小樣本數（核心點的閾值）?
• 樣本分類：?
• 核心點：ε 鄰域內樣本數≥MinPts?
• 邊界點：ε 鄰域內樣本數，但在核心點的鄰域內?
• 噪聲點：既不是核心點也不是邊界點?
• 優(yōu)缺點：?
• 優(yōu)點：無需指定 k 值、能發(fā)現(xiàn)任意形狀的簇、能識別噪聲點?
• 缺點：對 ε 和 MinPts 參數敏感、高維數據中距離計算不準確（聚類效果差）?
• 實戰(zhàn)技巧：用 K 距離圖選擇 ε（繪制樣本到第 k 個最近鄰的距離曲線，拐點處為最優(yōu) ε）、對高維數據先降維再聚類?
• 層次聚類：?
• 核心原理：構建聚類樹（樹狀圖），通過合并或分裂簇逐步形成最終聚類結果?
• 聚類策略：?
• 凝聚式（自底向上）：初始每個樣本為一個簇，逐步合并相似度最高的簇?
• 分裂式（自頂向下）：初始所有樣本為一個簇，逐步分裂差異最大的簇?
• 相似度計算：?
• 單鏈接（最小距離）：兩個簇中最近樣本的距離?
• 全鏈接（最大距離）：兩個簇中最遠樣本的距離?
• 平均鏈接（平均距離）：兩個簇中所有樣本對的平均距離?
• 優(yōu)缺點：?
• 優(yōu)點：無需指定 k 值、能可視化聚類過程（樹狀圖）?
• 缺點：訓練速度慢（時間復雜度 O (n3)）、不適用于大規(guī)模數據?
• 實戰(zhàn)技巧：用樹狀圖確定 k 值（橫向切割樹狀圖，得到 k 個簇）、對小樣本數據效果更佳?

降維算法?

• PCA（主成分分析）：?
• 核心原理：通過線性變換將高維數據映射到低維空間，保留數據的主要信息（方差最大的方向）?
• 算法步驟：?

1. 對數據標準化（均值為 0，方差為 1）?
2. 計算數據的協(xié)方差矩陣?
3. 對協(xié)方差矩陣進行特征值分解，得到特征值和特征向量?
4. 選擇特征值最大的前 k 個特征向量，組成投影矩陣?
5. 將原始數據乘以投影矩陣，得到低維數據?

• 降維效果評估：解釋方差比例（每個主成分的特征值占總特征值的比例，累計比例≥80% 為宜）?
• 優(yōu)缺點：?
• 優(yōu)點：降維速度快、無參數需要調整、能去除數據冗余?
• 缺點：線性降維（無法捕捉非線性關系）、對異常值敏感?
• 實戰(zhàn)技巧：降維前必須標準化數據、用累計解釋方差比例確定 k 值?
• t-SNE（t 分布隨機鄰域嵌入）：?
• 核心原理：基于概率分布的非線性降維算法，在高維空間中用高斯分布描述樣本間的相似度，在低維空間中用 t 分布描述，通過最小化 KL 散度使兩個分布盡可能接近?
• 核心參數：?
• n_components：降維后的維度（通常為 2 或 3，用于可視化）?
• perplexity：困惑度（反映近鄰樣本的數量，通常取 5~50）?
• 優(yōu)缺點：?
• 優(yōu)點：能有效捕捉高維數據的非線性結構、可視化效果好（適合高維數據聚類結果展示）?
• 缺點：訓練速度慢（不適用于大規(guī)模數據）、對參數 perplexity 敏感、不適合用于后續(xù)建模（僅用于可視化）?
• 實戰(zhàn)技巧：先用水 PCA 降維到 50 維，再用 t-SNE 降維到 2/3 維（提高速度）、調整 perplexity 觀察可視化效果?
• LDA（線性判別分析）：?
• 核心原理：監(jiān)督式降維算法，通過線性變換使降維后的數據滿足 “類內方差最小、類間方差最大”，保留有利于分類的信息?
• 算法步驟：?

1. 計算各類樣本的均值向量?
2. 計算類內散度矩陣 S_w 和類間散度矩陣 S_b?
3. 求解 S_w?1 S_b 的特征值和特征向量，選擇特征值最大的前 k 個特征向量組成投影矩陣?
4. 將原始數據乘以投影矩陣，得到低維數據?

• 與 PCA 的區(qū)別：PCA 是無監(jiān)督（不考慮標簽），LDA 是有監(jiān)督（利用標簽信息）?
• 優(yōu)缺點：?
• 優(yōu)點：降維后的數據更適合分類任務、能提高模型訓練速度?
• 缺點：線性降維、對多分類任務計算復雜?
• 實戰(zhàn)技巧：適用于分類任務的預處理步驟、降維后的維度 k≤類別數 - 1?

關聯(lián)規(guī)則：Apriori 算法與 FP-Growth 算法?

• 核心概念：?
• 頻繁項集：支持度≥最小支持度（min_support）的項集（項集是多個物品的集合）?
• 支持度：項集在所有交易中出現(xiàn)的比例（如 {牛奶，面包} 的支持度 = 包含兩者的交易數 / 總交易數）?
• 置信度：關聯(lián)規(guī)則 A→B 的置信度 = 支持度 (A∪B)/ 支持度 (A)（反映 A 發(fā)生時 B 發(fā)生的概率）?
• 提升度：關聯(lián)規(guī)則 A→B 的提升度 = 置信度 (A→B)/ 支持度 (B)（提升度 > 1 表示 A 促進 B 發(fā)生，=1 表示無關）?
• Apriori 算法：?
• 核心原理：基于 “頻繁項集的子集也是頻繁項集” 的先驗性質，通過逐層掃描交易數據，生成候選頻繁項集并篩選?
• 算法步驟：?

1. 掃描數據，生成 1 - 項集（單個物品的集合），篩選支持度≥min_support 的 1 - 頻繁項集?
2. 由 k - 頻繁項集生成 (k+1)- 候選項集（連接操作）?
3. 剪枝操作（刪除包含非頻繁子集的候選項集）?
4. 掃描數據，篩選 (k+1)- 候選項集中支持度≥min_support 的 (k+1)- 頻繁項集?
5. 重復步驟 2-4，直到無法生成新的頻繁項集?

• 優(yōu)缺點：?
• 優(yōu)點：思路簡單、易于實現(xiàn)?
• 缺點：多次掃描數據（效率低）、生成大量候選項集（內存占用大）?
• FP-Growth 算法：?
• 核心原理：通過構建 FP 樹（頻繁模式樹），將交易數據壓縮存儲，無需生成候選項集，直接從 FP 樹中挖掘頻繁項集?
• 算法步驟：?

1. 掃描數據，統(tǒng)計各項的支持度，篩選頻繁項并按支持度降序排序?
2. 構建 FP 樹：逐筆處理交易，將交易中的頻繁項按排序后的順序插入 FP 樹，記錄項的計數?
3. 從 FP 樹中挖掘頻繁項集：對每個頻繁項，構建條件 FP 樹，遞歸挖掘條件頻繁項集?

• 優(yōu)缺點：?
• 優(yōu)點：僅掃描數據兩次（效率高）、無需生成候選項集（內存占用?。?
• 缺點：構建 FP 樹的復雜度較高、對高維數據適應性一般?
• 實戰(zhàn)場景：購物籃分析（如超市商品關聯(lián)推薦）、用戶行為分析（如視頻觀看序列關聯(lián)）?

3. 半監(jiān)督與強化學習?

半監(jiān)督學習?

• 核心概念：利用少量有標簽樣本和大量無標簽樣本訓練模型，解決 “標簽獲取成本高” 的問題，適用于標簽稀缺場景（如醫(yī)療影像診斷、自然語言處理）?
• 常用算法：?
• 自訓練法（Self-Training）：?

1. 用少量有標簽樣本訓練初始模型?
2. 用初始模型預測無標簽樣本，選擇置信度最高的部分樣本（如置信度≥0.9），將其預測結果作為偽標簽，加入有標簽樣本集?
3. 用新的有標簽樣本集重新訓練模型，重復步驟 2-3，直到無標簽樣本耗盡或模型性能收斂?

• 協(xié)同訓練法（Co-Training）：?

1. 將特征集劃分為兩個獨立的視圖（如文本數據的 “詞袋特征” 和 “詞性特征”）?
2. 基于兩個視圖分別訓練兩個模型?
3. 每個模型預測無標簽樣本，選擇置信度高的樣本作為偽標簽，交叉添加到對方的有標簽樣本集?
4. 重復訓練和偽標簽添加，直到模型性能收斂?

• 生成式半監(jiān)督模型（如高斯混合模型 GMM）：?

1. 假設數據服從混合高斯分布，有標簽樣本和無標簽樣本來自同一分布?
2. 用 EM 算法（期望最大化算法）估計分布參數（均值、方差、混合系數）?
3. 基于估計的分布，預測無標簽樣本的標簽?

• 實戰(zhàn)注意事項：?
• 偽標簽的質量至關重要（避免將錯誤標簽加入訓練集），需設置較高的置信度閾值?
• 特征視圖的獨立性（協(xié)同訓練法）是算法有效的關鍵?
• 適用于 “聚類假設” 或 “流形假設” 成立的數據（聚類假設：同一簇的樣本標簽相同；流形假設：高維數據位于低維流形上，鄰近樣本標簽相同）?

強化學習?

• 核心概念：智能體（Agent）通過與環(huán)境（Environment）交互，學習最優(yōu)行為策略（Policy），使累積獎勵（Reward）最大化，適用于序列決策場景（如游戲、機器人控制、推薦系統(tǒng)）?
• 核心要素：?
• 狀態(tài)（State, S）：環(huán)境的當前狀態(tài)（如游戲畫面、機器人位置）?
• 動作（Action, A）：智能體可執(zhí)行的動作（如游戲中的上下左右、機器人的移動）?
• 獎勵（Reward, R）：環(huán)境對智能體動作的反饋（如游戲得分、碰撞懲罰）?
• 策略（Policy, π）：狀態(tài)到動作的映射（如 π(a|s) 表示狀態(tài) s 下選擇動作 a 的概率）?
• 價值函數（Value Function, V (s)）：狀態(tài) s 的長期價值（從 s 出發(fā)的累積獎勵期望）?
• Q 函數（Action-Value Function, Q (s,a)）：狀態(tài) s 下執(zhí)行動作 a 的長期價值?
• 常用算法：?
• 基于價值的算法：?
• Q-Learning：離線策略（Off-Policy）算法，更新公式：Q (s,a) = Q (s,a) + α[r + γ max_a’ Q (s’,a’) - Q (s,a)]（α 為學習率，γ 為折扣因子）?
• SARSA：在線策略（On-Policy）算法，更新公式：Q (s,a) = Q (s,a) + α[r + γ Q (s’,a’) - Q (s,a)]（a’為實際執(zhí)行的下一個動作）?
• 基于策略的算法：?
• 策略梯度（Policy Gradient）：直接優(yōu)化策略 π，目標函數為累積獎勵期望，通過梯度上升最大化目標函數?
• 演員 - 評論家（Actor-Critic）：結合價值函數（評論家）和策略函數（演員），演員負責選擇動作，評論家負責評估動作價值，指導演員更新策略?
• 深度強化學習：?
• DQN（深度 Q 網絡）：用神經網絡替代 Q 表，解決高維狀態(tài)空間問題，核心技術：經驗回放（Experience Replay）、目標網絡（Target Network）?
• DDPG（深度確定性策略梯度）：適用于連續(xù)動作空間（如機器人關節(jié)控制）?
• 實戰(zhàn)流程：?

1. 定義狀態(tài)、動作、獎勵函數（根據具體任務設計）?
2. 構建強化學習環(huán)境（如用 OpenAI Gym 提供的標準環(huán)境，或自定義環(huán)境）?
3. 選擇合適的算法（離散動作選 DQN，連續(xù)動作選 DDPG）?
4. 訓練模型：調整超參數（學習率 α、折扣因子 γ、經驗回放緩沖區(qū)大小）?
5. 評估模型：測試集上計算平均累積獎勵，驗證策略有效性