2019.01.14 集智俱乐部、腾讯研究院、南京大学新闻传播学院研讨活动

    • 1 NN(神经网络)
    • 2 CNN(卷积神经网络)
    • 3 GCN(图卷积神经网络)
    • 当我们的数据是完全没有结构的数据时，我们只能利用全连接网络来训练数据
    • 当我们的数据在结构上有规则特征的时候，我们可以考虑利用卷积层共享权值的方式来计算
    • 那如果我们的数据是结构化的数据，但并不规则 => 图神经网络
    • 在Thomas N. Kipf等人的实验中发现，相比其他模型，利用图结构，可以快速有效的完成任务，并且有很高的准确率
    • 4 GAT(图注意力网络)
    • GCN中的投票是一种等权投票的模型，而图注意力网络（ Graph Attention Network，GAT ）利用注意力机制提出来一种不等权的投票机制

    GCN的应用：

    • 例如，用户推荐问题，给定用户-产品的关系，给定用户，推断用户会购买哪些产品。又比如说联络预测问题，给定网络结构，预测连边
    • 再比如，给定网络结构（或时序上的结构），推断网络的类型，预测网络的演化，学习网络上的动力学（流行病转播）等
    • 还有可能帮助我们预测系统结构，学习图像中的语义关系，学习关系推理，预测蛋白质的特性等等。

    网络结构的信息往往蕴含着大量的与功能相关的信息。
    现实中，绝大部分的大型网络是具有稀疏结构的，利用大型网络的这种特性，可以帮助我们更快速地根据数据训练模型。

    2017.07.12 神经网络发展史

    • 机器学习：涉及概率论、统计学、逼近学、凸分析、算法复杂度理论等多门学科 => 它主要使用归纳、综合不是演绎
    • 深度学习：基于对数据进行表征学习的方法
    • 用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征
    • 机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本

    神经网络发展历史：
    闲话 神经网络的进化 - 图1
    在从06年崛起之前经历了两个低谷，这两个低谷也将神经网络的发展分为了三个不同的阶段
    1 感知器(~1960）
    2 BP（反向传播，Back-propagate）神经网络（~1985）

    • 它需要被标记的训练数据，但是几乎所有的数据都是未标记的。
    • 学习时间不易衡量，在多层网络中，速度非常慢。
    • 它陷入局部极小点而不收敛的情况极大

    3 深机器学习DML, Deep Machine Learning
    最近的神经科学研究表明，和人类的许多认知能力相关的大脑皮层，并不显式地预处理感知信号，而是让它们通过一个复杂的模块层次结构，久而久之，就可以根据观察结果呈现的规律来表达它们。
    这一发现促进了深机器学习（DML, Deep Machine Learning）的发展
    目前DML领域有两种主流的方法：

    • CNN
    • DBN

    闲话 神经网络的进化 - 图2