http://tao770.com

7 Papers | Hinton、李飞飞各有新作;深度学习硬件功

原标题:7 Papers | Hinton、李飞飞各有新作;深度学习硬件功能点评 机器之心收拾 参加:一鸣、思源 本周 Hinton、李飞飞都有新论文问世。Hinton 等提出了新的优化算法,而李飞飞等在视频猜测使命上完成了新的 SOTA 模型。此外还有自然言语了解点评办法、文本+图画数据交融使命的总述,以及对深度学习的硬件进行点评的文章等。 本周 Hinton、李飞飞都有新论文问世。Hinton 等提出了新的优化算法,而李飞飞等在视频猜测使命上完成了新的 SOTA 模型。此外还有自然言语了解点评办法、文本+图画数据交融使命的总述,以及对深度学习的硬件进行点评的文章等。 目录: 1.标题:Lookahead Optimizer: k steps forward, 1 step back 作者:Michael R. Zhang、James Lucas、Geoffrey Hinton、Jimmy Ba 论文链接:https://arxiv.org/pdf/1907.08610v1 Keras 完成:https://github.com/bojone/keras_lookahead PyTorch 完成:https://github.com/alphadl/lookahead.pytorch 摘要:这篇论文提出 Lookahead 算法与已有的办法彻底不同,它迭代地更新两组权重。直观来说,Lookahead 算法经过提早调查另一个优化器生成的「fast weights」序列,来挑选查找方向。该研讨发现,Lookahead 算法可以提高学习安稳性,不只降低了调参需求的功夫,一起还能提高收敛速度与作用。研讨标明,Lookahead 在残差网络(ImageNet)、Transformer(WMT 2014)等模型上,算法的功能明显优于 SGD 和 Adam。 引荐:首要这篇论文标明 Lookahead 可以大幅度提高 Adam 等优化器的作用,且作者包括图灵奖得主 Geoffrey Hinton 和 Adam 原论文作者 Jimmy Ba,所以十分值得咱们一读。此外,因为算法完成起来并不困难,而且在各种使命上都能有很安稳的体现,因而也十分值得咱们一试。 如上左图展现了 Lookahead 的两种参数更新办法:Fast 和 Slow。比较蓝色线的规范 SGD,赤色线的 Slow weights 在挨近收敛时能探究到更好的最优解。右图展现了 Lookahead 的伪代码,咱们可以看到,快更新相当于做了一系列试验,然后慢更新再依据试验成果选一个好方向。 2.标题:Eidetic 3D LSTM: A Model for Video Prediction and Beyond
打开全文
作者:Yunbo Wang 、Lu Jiang 、Ming-Hsuan Yang 、Li-Jia Li 、Mingsheng Long 、Li Fei-Fei 论文地址:https://openreview.net/pdf?id=B1lKS2AqtX 完成链接:https://github.com/metrofun/E3D-LSTM 摘要:时空猜测尽管被认为是一种有用的自监督特征学习战略,但现在仍很少体现出在视频猜测之外的作用。这是因为,学习短期帧的依靠和长时刻的高档联系的标明十分困难。研讨人员在这篇论文中提出了一个新的模型,名为「Eidetic 3D LSTM (E3D-LSTM)」。模型可以将三维的卷积信息交融在 RNN 中。这种内嵌的三维卷积层使得 RNN 具有部分的动作敏感性,并可以使机器单元贮存更好的短期特征。 关于长时刻联系,研讨人员运用门操控自注意力单元,使得现在的回想状况和历史记录进行交互。研讨人员称这种回想搬运机制为「eidetic」,因为它可以使模型「回想」起多个时刻步前回想的信息。研讨人员首要在广泛运用的视频猜测数据集进步行了测验,成果达到了 SOTA。然后,他们展现了模型在前期活动检测(early activity recognition)使命上的体现。模型可以在调查少数帧数的视频后揣度动身生了什么,以及即将发作什么。这个使命和视频猜测中的建模动作目的和趋势的使命很好地合作。 引荐:视频猜测使命新 SOTA,作者包括李飞飞等,团队包括清华大学、斯坦福大学、谷歌大脑等的研讨人员。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

相关文章阅读