当前位置:首页 > 科技资讯 >

图机器学习有多大神力?一文带你回顾2020,展望2021科技资讯

来源:天之家 发表于:2021-01-13 19:49 阅读:

导读:新智元报道 编辑:keyu 【新智元导读】 近两年,图机器学习可谓是机器学习研究领域的新星,随着模型的更新和应用的推广,越来越多的人开始把注意力转向了这一方向。过去一年中,图机器学习在哪方面有突破呢,在未来的一年中,哪些分支和方向会成为新的研究趋...

图机器学习有多大神力?一文带你回顾2020,展望2021

新智元报道

编辑:keyu

【新智元导读】近两年,图机器学习可谓是机器学习研究领域的新星,随着模型的更新和应用的推广,越来越多的人开始把注意力转向了这一方向。过去一年中,图机器学习在哪方面有突破呢,在未来的一年中,哪些分支和方向会成为新的研究趋势呢?这篇文章,带你领略该领域诸多名人的最新思考。

2020年,图机器学习成为了机器学习领域中炙手可热的”明星“。

不管是刚入门的小白,还是在该领域深耕的专家,都会对该领域的迅速发展有深刻的体验。

而此篇文章,就涵盖了图机器学习及其应用领域的大佬们的一些深入思考,其中包括了对2020年的总结,以及对2021年的的展望。

在这些人中,有GraphSAGE的作者、GCN的作者,Graph Attention Network的作者等这样的巨佬。

他们的观点,又会给我们带来什么引导和启示呢?

相关领域和感兴趣的小伙伴们,准备好了吗?

消息传递(Message Passing)

威尔汉密尔顿(Will Hamilton),麦吉尔大学(McGill University)助理教授,Mila CIFAR主席,GraphSAGE一书作者表示:

2020年,图机器学习领域开始接受消息传递范式的基本限制。这些限制包括所谓的“瓶颈”问题、过度平滑的问题,以及表征能力方面的理论限制

展望未来,我希望在2021年,我们会寻找图机器学习的下一个大的范式。我不确定到底下一代图机器学习算法的会是什么样子,但是我相信,如果想要进步,那么就需要脱离在2020年之前成主导地位的消息传递机制。

此外,我还希望在2021年,也能出现更多的富有更大影响力和更具挑战性的图机器学习应用领域。最近,已经有太多的研究是集中在简单的同质节点分类任务上的。实际上,我更希望在需要更复杂算法推理的任务上看到方法论的进步:比如涉及知识图、强化学习和组合优化的任务。”

算法推理(Algorithmic reasoning)

Petar Veli kovi 是DeepMind的高级研究员,也是图注意网络的作者表示:

图机器学习有多大神力?一文带你回顾2020,展望2021

2020年绝对且不可逆转地,将图表示学习转变为了机器学习的‘一等公民’。”

今年取得的巨大进步太多了,无法简单列举,但我个人最兴奋的,则是神经算法推理。

传统上,神经网络在插值领域是非常强大的,但众所周知,它的推理能力是不充分的。推理的主要特征之一,就是能够在分布之外发挥作用。

对于GNN的未来发展,推理任务很可能会占有很重要的地位,不仅因为GNN与这些任务匹配地非常好,还因为许多真实世界中的图任务具有同质性。这意味着最有效的可扩展的方法,通常会以更简洁的GNN框架形式出现。

建立在先前如神经图灵器和差分神经计算机之类神经设计的成功上,又经过当前图机器学习工具的普遍应用,2020年的许多工作,探索了神经设计的理论局限性、发明了更加新颖且强大的GNN推理结构、并使神经推理任务的泛化能力得到了大幅提高。

我个人最激动的是,经过预训练的算法执行者,可以让我们将经典算法应用于过于原始甚至不适合该算法的输入。例如,我们的XLVIN代理,正是使用了这些概念,即使在底层MDP的具体情况尚不清楚的情况下,也能允许GNN在强化学习中执行值迭代风格的算法。

我相信,到2021年,GNN应用于强化学习的时机将成熟。”

关系结构发现(Relational structure discovery)

Thomas Kipf是谷歌Brain的研究科学家,也是Graph Convolutional Networks的作者,他表示:

图机器学习有多大神力?一文带你回顾2020,展望2021

自从最近基于GNN的模型被广泛采用以来,在图机器学习领域中,一个特别值得注意的趋势是计算结构与数据结构的分离

在最近的ICML研讨会上,我将这种趋势称为关系结构发现。通常,我们设计的是具有固定结构的图神经网络,而固定结构一般是由对应数据集而来,即数据集的节点和边被作为我们模型的计算结构,或者是消息传递结构的黄金标准。