实际上，蒙特卡罗法的思想并不复杂。它所秉承的观点是这样的：因为我们没有办法开启“上帝视角”，所以，我们不知道各种状态转化的概率是多少。那么，我们能不能通过反复实验进行统计，当统计的次数足够多的时候，就用这个统计的转化概率的近似值来代替模型中相应的真实值呢？其实是可以的——“实践出真知”有了另一种解释。

    强化学习的主要目的是研究并解决机器人智能体贯序决策问题。尽管我不喜欢直接把定义硬邦邦、冷冰冰地扔出来让大家被动接受，可还是免不了要在这里猛然给出“贯序决策”这么专业的词汇。好在，很快我就能通过例子把这个词汇给大家解释清楚了。既然大家要么是程序员，要么正走在程序员养成的路上，要么正看着其他人走在程序员养成的路上，那么，按照程序员的思维来理解强化学习将会更加顺畅。
    s33467329.jpg
    《白话强化学习与PyTorch》PDF+源代码+高扬
    下载: https://pan.baidu.com/s/1izKKKcMZTTl6pnjUE1tNnw
    提取码: mcy4
    《白话强化学习与PyTorch》PDF，384页，有书签目录，文字可复制，高扬等著，配套源代码。
    把“贯序决策”翻译成“白话”就是：强化学习希望机器人或者智能体在一个环境中，随着“时间的流逝”，不断地自我学习，并最终在这个环境中学到一套最为合理的行为策略。在这样一个完整的题设下，机器人应该尽可能在没有人干预的情况下，不断根据周围的环境变化学会并判断“在什么情况下怎么做才最好”，从而一步一步完成一个完整的任务。这样一系列针对不同情形的最合理的行为组合逻辑，才是一个完整的策略，而非一个简单而孤立的行为。
    333.png
    《白话强化学习与PyTorch》以“平民”的起点，从“零”开始，基于PyTorch框架，介绍深度学习和强化学习的技术与技巧，逐层铺垫，营造良好的带入感和亲近感，把学习曲线拉平，使得没有学过微积分等高级理论的程序员一样能够读得懂、学得会。同时配合漫画插图来调节阅读气氛，并对每个原理都进行了对比讲解和实例说明，非常适合入门强化学习的不错的书，娓娓道来，激发了我继续研究学习强化学习的兴趣。

    PyTorch 也有很多自己的优势。PyTorch 代码简洁、直观，而且没有太多复杂的由第三方封装的接口，甚至在底层实现上也比TensorFlow“轻”——至少在同样的硬件环境和神经网络拓扑中，我几乎每次都能感觉到PyTorch 的运行速度要比TensorFlow 快一些。我相信，PyTorch 有着非常好的发展前景，毕竟TensorFlow、PyTorch、Theano、Chainer、Keras、Caffe 等深度学习框架经过角逐，人气最旺的是TensorFlow 和PyTorch。顺便说一句：如果不是因为Caffe 的安装太烦琐，我还是很爱它的……
    111.png
    《Python深度学习基于PyTorch》PDF+源代码+吴茂贵
    《Python深度学习基于PyTorch》PDF，531页，有书签目录，文字可复制，吴茂贵等著。，配套源代码。
    下载: https://pan.baidu.com/s/1sJwYJUTfbAAINd33gis6bg
    提取码: mf63
    对于序列数据，可以使用循环神经网络（Recurrent Natural Network，RNN），它特别适合处理序列数据，RNN是一种常用的神经网络结构，已经成功应用于自然语言处理（Neuro-Linguistic Programming，NLP）、语音识别、图片标注、机器翻译等众多时序问题中。
    222.png
    在自然语言处理（NLP）任务中，我们将自然语言交给机器学习算法来处理，但机器无法直接理解人类的语言，因此，首先要做的就是将语言数字化。如何对自然语言进行数字化呢？词向量提供了一种很好的方式。
    我们知道每一个词都有词性，如train这个单词，可表示火车或训练等意思，具体表示为哪种词性，跟这个词所处的环境或上下文密切相关。要根据上下文来确定词性，正是循环网络擅长的事，因循环网络，尤其是LSTM或GRU网络，其具有记忆功能。
    333.png
    卷积神经网络、循环神经网络、对抗式神经网络是深度学习的基石，同时也是深度学习的3大硬骨头。我认为要理解掌握这些网络，在学习理论推导时应该编写代码进行测试，先从简单特例开始，然后逐步一般性化，我选用PyTorch代码实例实现，一些优化方法也采用这种方法，如对数据集Cifar10分类优化，先用一般卷积神经网络，然后使用集成方法、现代经典网络，最后采用数据增加和迁移方法，使得模型精度不断提升，由最初的68%，上升到74%和90%，最后达到95%左右。
    444.png
    整理的用于自己学习的资料：

    《Keras快速上手基于Python的深度学习实战(谢梁)》PDF+源代码+mobi
    下载: https://pan.baidu.com/s/1MUSXB-1rkb9ATJ43IEh6Sg
    提取码: qhap
    《keras2.0中文文档》PDF+《Keras图像深度学习实战》PDF
    下载: https://pan.baidu.com/s/12cMwo8i-yBneOzDF-wVvmw
    提取码: g7ij
    《深度学习之Pytorch》PDF+《PyTorch深度学习实战》PDF+代码
    下载: https://pan.baidu.com/s/1xPLGesq9GdKRaida9K94sg
    提取码: brhy
    《深度学习之PyTorch实战计算机视觉》PDF
    下载: https://pan.baidu.com/s/1qqEhIew0k0I4SHXfQGqfuw
    提取码: r4rx
    《深度学习框架PyTorch入门与实践》PDF+源代码+陈云
    下载: https://pan.baidu.com/s/1QVauOWYB1AVUsRHTlUPssw
    提取码: 546d
    《深度学习：基于Keras的Python实践》PDF+源代码+魏贞原
    下载: https://pan.baidu.com/s/1MrAIWobmN2J593FhE0haaA
    提取码: qj7j
    《Keras深度学习实战》中文PDF+英文PDF+源代码
    下载: https://pan.baidu.com/s/14cbUcZg6wvRQzii6iLOLxQ
    提取码: 9q4n
    《Pytorch深度学习》中文PDF+英文PDF+mobi+epub+源代码
    下载: https://pan.baidu.com/s/1a6HUgw0DR1jvLcQmkejhPQ
    提取码: wpxm
    《深度学习之PyTorch物体检测实战》PDF+源代码
    下载: https://pan.baidu.com/s/1_-MTR1gKsXt_lbexc77o6A
    提取码: 1qje
    《Python深度学习基于PyTorch》PDF+源代码+吴茂贵
    下载: https://pan.baidu.com/s/1sJwYJUTfbAAINd33gis6bg
    提取码: mf63
    《白话强化学习与PyTorch》PDF+源代码+高扬
    下载: https://pan.baidu.com/s/1izKKKcMZTTl6pnjUE1tNnw
    提取码: mcy4


    深度学习框架很多，如TensorFlow、PyTorch、Keras、FastAI、CNTK等，这些框架各有优缺点，应该如何选择？是否有一些标准？我认为，适合自己的就是最好的。初学者建议选择PyTorch，有了一定的基础之后，可以学习其他一些架构，如TensorFlow、CNTK等。

    PyTorch是动态计算图，其用法更贴近Python，并且，PyTorch与Python共用了许多Numpy的命令，可以降低学习的门槛，比TensorFlow更容易上手。

    PyTorch需要定义网络层、参数更新等关键步骤，这非常有助于理解深度学习的核心；而Keras虽然也非常简单，且容易上手，但封装粒度很粗，隐藏了很多关键步骤。PyTorch的动态图机制在调试方面非常方便，如果计算图运行出错，马上可以跟踪问题。PyTorch的调试与Python的调试一样，通过断点检查就可以高效解决问题。PyTorch的流行度仅次于TensorFlow。而最近一年，在GitHub关注度和贡献者的增长方面，PyTorch跟TensorFlow基本持平。PyTorch的搜索热度持续上涨，加上FastAI的支持。