在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。


    1、特征工程 2、NLP特征工程 3、Linear Regression算法 4、Lasso Regression算法 5、Ridge Regression/Classifier算法

    6、Elastic Net算法 7、Logistic算法 8、K-临近算法KNN 9、回归算法 10、决策树 11、随机森林和提升算法 12、Bagging和Boosting算法 13、随机森林 14、Adaboost算法 15、GBDT算法

    16、SMO算法 17、SVM回归SVR和分类SVC 18、聚类算法和K-means算法 19、密度聚类 20、层级聚类 21、谱聚类 22、EM算法 23、贝叶斯算法

    24、隐马尔科夫模型 25、HMM的参数学习 26、LDA主题模型 27、Laplace平滑 28、Gibbs采样 29、百度音乐系统文件分类 30、千万级P2P金融系统反欺诈模型训练


    1、TensorFlow 2、TensorFlow实现回归算法 3、TensorFlow工具库：Keras 4、感知器神经网络 5、BP神经网络

    6、RBF径向基神经网络 7、卷积神经网络CNN 8、循环神经网络RNN 9、对抗网络


    1、推荐算法 2、协同过滤 3、基于内存推荐 4、知识推荐 5、数据关联规则 6、Aprior算法

    7、（项目）百度云音乐推荐系统 8、（项目）隐因子模型推荐系统开发


    1、公安系统人脸识别 2、图像识别及图像检索 3、今日头条CTR广告点击量预估 4、序列分析系统 5、京东聊天机器人

    6、机器人写诗歌 7、机器翻译系统 8、垃圾邮件过滤系统 9、手工数字识别 10、癌症筛选检测 11、葡萄酒质量检测系统 12、淘宝网购物分析推荐算法

    13、手工实现梯度下降回归算法 14、基于TensorFlow实现回归算法