雷锋网AI科技评论按：近几天，一篇ICLR的拒稿引起了部分研究人员的注意。它不仅是一个能够处理可变长度序列的模型，在多个任务中刷新了当前的最好性能，而且它还是Transformer模型的第三代升级。它的名字叫作「Transformer-XL」（加大号的Transformer）。
前两代Transformer
年6月，谷歌大脑在论文《AttentionIsAllYouNeed》中提出了一个完全基于注意力机制的编解码器模型Transformer，它完全抛弃了之前其它模型引入注意力机制后仍然保留的循环与卷积结构，然后在任务表现、并行能力和易于训练性方面都有大幅的提高。Transformer从此也成为了机器翻译和其它许多文本理解任务中的重要基准模型。
年7月，谷歌大脑在新论文《UniversalTransformer》中对最初的Transformer进行了拓展，让它具有通用计算能力（也就是「图灵完备」）。他们使用了一种新型的、注重效率的时间并行循环结构，这样的设计让它不仅比RNN中使用的串行循环速度更快，也让UniversalTransformer比标准的前馈Transformer更加强大，在更多任务中取得了有力的结果。（雷锋网AI科技评论详细解析文章见这里）
新的Transformer
谷歌大脑的第三代Transformer也在年下半年完成。他们首先投稿了ICLR，近期论文评审结果陆续揭晓后他们把论文上传到了arXiv。
这篇论文《Transformer-XL:AttentiveLanguageModelsBeyondaFixed-LengthContext》（Transformer-XL:超越固定长度内容之外的注意力语言模型，
转载请注明：http://www.0431gb208.com/sjsbszl/8584.html
