Deep Learning

白天 夜间 首页 下载 阅读记录
  我的书签   添加书签   移除书签

各种优化器

浏览 132 扫码 分享 2023-11-21 12:47:14
  • Adam优化器

    参考：https://ruder.io/optimizing-gradient-descent/

    Adam优化器

    动量+RMSProp

    各种优化器 - 图1

    若有收获，就点个赞吧

    0 人点赞

    上一篇:
    下一篇:
    • 书签
    • 添加书签 移除书签
    • 机器学习
      • 聚类算法
      • 离群点检测
    • DL基础
      • CNN
      • RNN, Seq2Seq, GRU, LSTM
      • GAN
      • 各种评价指标
      • 启发式搜索算法
      • 数学函数
      • 机器学习术语与概念
      • 机器学习框架
      • 模型压缩
      • 训练技巧，理论
        • batch size选择
        • 归一化Normalization
        • 正则化regularization
        • 标准化Standardization (Z-score Normalization)
        • 各种优化器
        • Batch Normalization
        • Weight Decay (Regularization)
        • httpsblog.csdn.netqq_34886403articledetails85693888
        • trick
        • 李宏毅ML Lecture 9-1 Tips for Training DNN
        • 知识蒸馏
    • Pytorch
    • 图像识别
      • Resnet
    • 强化学习
      • 学习资料，开源代码
      • 1Policy Gradient和Proximal Policy Gradient
      • 分层强化学习
      • 强化学习
      • 无人机
    • 自然语言处理
      • 信息检索
      • NLP
      • NLP基本概念
      • NLP的预训练发展（ELMO、GPT、Bert）
      • NLP预训练中的自监督学习
      • Transformer
      • 推理
      • 文本语义表示方法（SRT）
      • 特征提取器（RNN、CNN、Transformer）
    • 语音识别
      • ASR的结构
      • Bert Audio
      • CTC
      • DeepSpeech
      • Devil's Whisper源码
      • Kaldi
      • Kaldi使用
      • MFCC (Mel-Frequency Cepstral Coefficients，MFCCs)
      • TDNN时延神经网络
      • ASR分类
      • 李宏毅Speech Recognition课程笔记
      • 音频信号基础
    • 公开数据集和模型
      • 动作捕捉数据集
      • 预训练模型
      • 图像数据集
    • 信息检索
    暂无相关搜索结果！

      让时间为你证明

      展开/收起文章目录

      分享，让知识传承更久远

      文章二维码

      手机扫一扫，轻松掌上读

      文档下载

      请下载您需要的格式的文档，随时随地，享受汲取知识的乐趣！
      PDF文档 EPUB文档 MOBI文档

      书签列表

        阅读记录

        阅读进度: 0.00% ( 0/0 ) 重置阅读进度
          思维导图备注