Transformer 是 Google Brain 发表在 NIPS2017 的论文《Attention is all you need》中提出的模型，随着深度学习的火热，基于Transformer的预训练模型已经席卷 NLP 领域，足见Transformer的重要性。 本文将按照这篇论文的顺序并结合一定的代码进行解读，但会调整论文中某些部分的顺序。

阅读更多

经过一次本科毕业设计的洗礼，让我逐渐从一个对Deep Learning一无所知的骚年变成一个准备入门的炼丹小白。回顾这几个月（虽然大部分时间都在划水），想做什么都是在谷歌百度，也很难找到一个完全适合我这种小白的Pytorch教程，网上的资料要么过时要么繁琐，最好的学习方式大概是官方的教程，但谁会看得进去呢？所以，我想把我这些日子的经历记录下来，如果有和我一样小白的同学们可以用来参考一下。

阅读更多