LR、SVM、GBDT、XGBoost、RF、LightGBM
CF、MF、FM、Word2vec、DNN、Wide&Deep、DSSM、DeepFM、DIN、DIEN
从LASSO回归到结构性稀疏：线性回归的正则项都带来了什么？
线性回归：不能忽视的三个问题
一、逻辑回归
Logistic Regression, LR
一文详尽系列之逻辑回归
关于逻辑回归，面试官们都怎么问
逻辑回归模型的算法原理、推导
CS229 课程笔记之二：分类与逻辑回归
Logistic Regression：最基础的神经网络
为什么回归问题用MSE？
二、支持向量机
Support Vector Machine, SVM
关于SVM，面试官们都怎么问
一文详解支持向量机（SVM）
CS229 课程笔记之五：支持向量机
一文详尽之支持向量机算法！
聊一聊 SVM 背后的那点数学
三、集成学习
3.1 随机森林
一文详解机器学习中最好用的提升方法：Boosting 与 AdaBoost
3.2 GBDT，梯度提升决策树Gradient Boosting Decision Tree
【推荐收藏】GBDT详细讲解
深入理解GBDT回归算法
【完善版】深入理解GBDT二分类算法
深入理解GBDT多分类算法
【务实基础】梯度提升树GBDT
【知出乎争】多任务梯度提升树MT-GBM（含KL Loss求导）的使用小结
3.3 XGBoost，分布式梯度提升库eXtreme Gradient Boosting
深入理解XGBoost
一文读懂 XGBoost 原理、工程优化
3.4 AdaBoost
深入理解AdaBoost
CS229 课程笔记之十三：决策树和集成方法
3.5CatBoost
深入理解CatBoost
一文读懂 CatBoost 算法原理（附代码）
3.6LightGBM
深入理解LightGBM
【务实基础】LightGBM
【机器学习】深度剖析 LightGBM vs XGBOOST 哪个更胜一筹
LightGBM 原理、代码最全解读！
3.7模型融合Stacking
数据挖掘终篇！一文学习模型融合！从加权融合到stacking, boosting
模型融合方法最全总结！
一文总结集成学习与模型融合
机器学习集成学习与模型融合！
四、K-Means、KNN
一文详尽系列之K-means算法
聚类算法之K-means算法
K近邻算法(KNN)原理小结
老生常谈KNN
机器学习十大经典算法-KNN（最近邻学习笔记）
KNN算法介绍
五、EM算法
Expectation Maximization Algorithm
一文详尽系列之EM算法
人人都能看懂的EM算法推导
从最大似然到EM算法：一致的理解方式
六、过拟合
机器学习过拟合与欠拟合！
机器学习中的过拟合与欠拟合！
正则化、增加训练数据、数据增强、标签平滑、BatchNorm、Early-Stop、交叉验证、Dropout、Pre-trained、引入先验知识
大白话解释模型产生过拟合的原因
防止模型过拟合的必备方法！
机器学习防止模型过拟合的讲解
六种方法帮你解决模型过拟合问题
论文分享 | AAAI 2022 探索小样本学习在解决分类任务上过拟合问题的方法
NetAug(网络增强)—Dropout的反面
七、降维算法
【机器学习】机器学习中必知必会的 8 种降维技术，最后一款超硬核！
11 种数据降维算法，代码已开源
来个猛的降维工具！
深度学习中数据降维方法总结：将原高维空间中的数据点映射到低维度的空间中
12种降维方法终极指南（含Python代码）
SVD和PCA
降维算法原理篇：主成分分析PCA、奇异值分解SVD、因子分析法FA、独立成分分析ICA等原理详推
7.1 SVD
Singular Value Decomposition, SVD, 奇异值分解
矩阵之芯 SVD: 奇异值分解及其几何解释
矩阵之芯 SVD: 基本应用以及与其他分解的关系
机器学习中SVD总结
7.2 PCA
Principal Component Analysis, PCA, 主成分分析
一文读懂PCA算法的数学原理
一步步教你轻松学主成分分析PCA降维算法
主成分分析（PCA）原理详解
八、决策树
一文看懂决策树 - Decision tree（3个步骤+3种典型算法+10个优缺点）
机器学习算法复习手册——决策树
决策树是如何选择特征和分裂点？
最常见核心的决策树算法—ID3、C4.5、CART（非常详细）
通透！5000字通俗讲透决策树基本原理
九、梯度消失
深度学习的梯度消失问题
落地成盒！神经网络中的梯度消失和梯度爆炸如何解决？
十、信息论
信息熵、条件熵、联合熵、相对熵、互信息的概念，交叉熵和KL散度区别
绕开数学，讲讲信息论
十一、归一化
Normalization
为什么要做归一化，各种归一化的区别和优缺点，NLP为啥不用BatchNorm
神经网络中的归一化方法总结
解读：为什么要做特征归一化/标准化？
干货分享 | 数据转换的特征缩放方法：标准化vs 归一化（附代码和链接）
常用 Normalization 方法的总结与思考：BN、LN、IN、GN
深入探讨：为什么要做特征归一化/标准化？
深度学习各种 Normalization 方法小结
【基础】Dropout和Batch Norm原理与使用
「炼丹技」DNN中那些绕不过的Norm
十二、优化器
原理和演进过程，SGD、AdaGrad、RMSprop、AdaDelta、Adam、AdamW
从梯度下降到 Adam！一文看懂各种神经网络优化算法
通俗易懂讲解梯度下降法！
梯度下降算法综述！
一文概览神经网络优化算法
机器学习中的优化算法！
从SGD到NadaMax，十种优化算法原理及实现
详解深度学习中的常用优化算法
优化算法Optimizer比较和总结(SGD/BGD/MBGD/Momentum/Adadelta/Adam/RMSprop
从SGD到NadaMax，10种优化算法原理及实现
梯度下降（Gradient Descent）的收敛性分析
「炼丹技」自适应学习率：收敛这件事，算法自己能搞定的
十三、数据预处理
离散特征和连续特征
整理一份详细的数据预处理方法
一篇值得收藏的ML数据预处理原理与实践文章
缺失数据处理方法研究综述
数据维度爆炸怎么办？详解5大常用的特征选择方法
十四、数据（样本）不平衡
广告行业中那些趣事系列24：从理论到实践解决文本分类中的样本不均衡问题
对”样本不均衡”一顿操作
数据不平衡问题都怎么解？
极端类别不平衡数据下的分类问题研究综述 | 硬货
数据类别不平衡/长尾分布？不妨利用半监督或自监督学习
方法总结 | 长尾（不均衡）分布下图像分类问题最新研究综述
机器学习中的数据不平衡问题
样本不均衡的处理（Xgboost，pytorch及tensorflow）
【机器学习】机器学习中样本不平衡，怎么办？
机器学习中的数据不平衡解决方案大全
机器学习中如何处理不平衡数据？ 机器之心
十五、显存爆炸
重计算、梯度累加、混合精度训练、Adam换成SGD、多用inplace
拿什么拯救我的 4G 显卡： PyTorch 节省显存的策略总结
【深度学习】干货！小显存如何训练大模型
十六、损失函数
用过哪些损失函数，为啥分类不用MSE
常见的损失函数(loss function)总结
【损失函数】一文弄懂各种loss function
深度学习常用损失函数总览：基本形式、原理、特点
最全的损失函数汇总
机器学习中常用的5种回归损失函数，你都用过吗？
六个深度学习常用损失函数总览：基本形式、原理、特点
十七、激活函数
优缺点，sigmoid、tanh、relu、gelu
深度学习激活函数全面综述论文
深度学习领域最常用的10个激活函数，一文详解数学原理及优缺点
从ReLU到GELU，一文概览神经网络的激活函数
理解激活函数作用，看这篇文章就够了！
神经网络中的常用激活函数总结
「炼丹技」那些重要却易被忽视的激活函数
「小记-005」对比不同Activation Function的分类效果
十八、正则化
Regularization
一文详解正则化（regularization）
理解L1, L2正则化的正确姿势
NeurIPS 2019 | 适用于众多模型的Embedding正则化方法
机器学习正则化方法小结
正则化之L1 & L2
5.4. 深度学习中的正则化
比较全面的L1和L2正则化的解释
一文读懂机器学习中的正则化
正则化由浅入深的进阶之路
十九、评价指标
Acc、Precision、Recall、F1、ROC、AUC、代码实现AUC
评价一个推荐系统的指标详解！
搞懂机器学习的常用评价指标！
轻松了解模型评价指标
【推荐系统】推荐系统研究中常用的评价指标
二十、神经网络
优缺点、演进和公式推导，lstm、cnn、transformer
人工神经网络的工作原理与数学基础
深度学习入门，一文讲解神经网络的构成、训练和算法
LSTM
深度运用LSTM神经网络并与经典时序模型对比
LSTM内部结构-我彻底明白了
人人都能看懂的LSTM介绍及反向传播算法推导（非常详细）
理解LSTM网络
【深度学习】深度学习之LSTM
CNN
一文概览神经网络模型
【深度学习】一文概览神经网络模型
从此明白了卷积神经网络（CNN）
CNN常用卷积方法一览
收藏 | CNN网络结构发展最全整理
卷积神经网络（CNN）详解
CNN网络结构的发展（最全整理）
图解10大CNN网络架构，通俗易懂！
10 大 CNN 核心模型完全解析（附源代码，已全部跑通）
CNN常用卷积方法一览
一文读懂CNN分类模型的奋斗史
【CNN长文详解】大话卷积神经网络CNN（干货满满）
卷积神经网络（CNN）综述
收藏 | CNN网络结构发展最全整理
【关于 CNN】那些你不知道的事(下)
深度学习之解构卷积
RNN
循环神经网络 RNN 详细图解！
深度学习基础 | RNN家族全面解析
神经网络RNN图解！
超生动图解LSTM和GPU，一文读懂循环神经网络！
[
](https://mp.weixin.qq.com/s/ZllvtpGfkLrcUBKZDtdoTA)
[
](https://mp.weixin.qq.com/s/MfV2QU-C3bj1tQuEllWchg)
[
](https://mp.weixin.qq.com/s/bygY7tZcoyxgZfee4cw7DQ)
[
](https://mp.weixin.qq.com/s/wZTklR1VhNGj0Ri-Vfr5wg)
[
](https://mp.weixin.qq.com/s/sNTsvUjcfERwVP6DTp-TvA)
[
](https://mp.weixin.qq.com/s/0DYOljpR9ePbutMvn8fMzQ)
[
](https://mp.weixin.qq.com/s/--sD6ywCSaNnM-oMW_PTLQ)
[
](https://mp.weixin.qq.com/s/2KlrJhK0t7hi0wVaxDukRA)
——————————————————————————————————————————————————————
[
若有收获，就点个赞吧
0 人点赞
