他的这一年充满了很多伟大的模特。 在本文中,我希望重点介绍 10 个最值得注意的模型。 今年我一直在定期审查论文并解释它们,我想我有很多好的提及。 免责声明:这里可能没有提到其他好的模型,在评估机器学习模型的质量时,我并没有声称自己是终极专家!

另外,请注意,此列表未排序!

我们较小的模型在 ImageNet 上与 EfficientNet-B7 的测试准确度相匹配,同时训练速度提高了 8.7 倍,我们最大的模型达到了 86.5% 的新的最先进的 top-1 准确度。

来源: arxiv

Deepmind 于 2021 年 2 月发布了无规范器网络,并获得了很多认可。 当时我什至写了一篇解释它们的文章,并获得了 41,000 次浏览!

我自己的来自 medium 的统计关于这篇论文的最有趣的一点是他们对深度学习中现有的优化技术(例如批量标准化)所做的分析。 他们的分析结果使他们得出这样的结论,即不需要它,并且实际删除它可以加快训练过程而不会导致性能下降,因此得名“规范化器免费网络”。

来源:arxiv 如果您有兴趣找到更多,请随时查看我的文章

Deepmind releases a new State-Of-The-Art Image Classification model — NFNets

NFNets 比 EfficientNets 更快,而且它们不使用归一化

CLIP 是一个基于变换的神经网络,它使用对比语言-图像预训练来对图像进行分类。 CLIP 通过将图像分类转化为文本相似性问题,对非常广泛的图像进行分类。 当前图像分类网络的问题在于它们是在固定数量的类别上训练的,CLIP 不是这样工作的,它直接从有关图像的原始文本中学习,因此它不受标签和监督的限制。

如果您正在寻找有关图像变压器的有趣论文,请查看 CLIP:

Open AI CLIP: learning visual concepts from natural language supervision

A transformed-based neural network that uses Contrastive Language–Image Pre-training to classify images

本文是关于一种在保持每秒浮点运算次数(ML 计算成本标准度量)的同时显着增加参数数量的新方法。

众所周知,增加参数的数量会增加模型的复杂性和学习能力(当然,直到某个点)。 正如预期的那样,该模型比 T5-XXL 提高了 4 倍,比 T5-Base 和 T5-Large 提高了 7 倍 .co/t5-大)。

这篇论文使用了各种各样的机器学习概念,这使得它成为一本非常有趣的读物,例如混合专家、[蒸馏](https://en. wikipedia.org/wiki/Knowledge_distillation#:~:text=In%20machine%20learning%2C%20knowledge%20distillation,might%20not%20be%20fully%20utilized.)和模型分片。

来源: arxiv 使用这些技术,他们设法比现有的非常强大的基于变压器的模型提高了 3-30% 的性能。我们也可以看到参数的数量比较少。

Google Switch Transformers:以恒定计算成本扩展到万亿参数模型


在经过强烈调整的 T5-XXL 基线(谷歌的顶级转换器)上实现 4 倍的预训练加速。

这可能是我今年最喜欢的模型,因为我是药物发现和医学领域深度学习的忠实粉丝。 AlphaFold2 是一个由深度思维构建的高级模型,用于解决蛋白质折叠问题。蛋白质折叠问题是生物信息学领域最大的问题之一,如果您想了解更多相关信息,请查看我的文章 [这里](https://ai.plainenglish.io/what-solving-the-protein-折叠问题实际上意味着a94ee2121a98)。

AlphaFold2 是一个相当复杂的模型,有很多细节和技巧,如果你想了解更多关于它的工作原理和他们使用的“Evoformer”,请随时查看我的文章:

Deepmind AlphaFold2:高度准确的蛋白质结构预测


深入了解 AlphaFold2 的文章、它的工作原理、原因以及所有内容

EfficientNets 在图像识别任务中非常流行。今年,谷歌发布了它们的第二个版本,它的性能比最先进的图像模型略高,同时训练速度提高了 5 到 10 倍。这是今年值得注意的论文模式,其中相当多的论文专注于更快地训练模型,而不是获得更高的性能。另外,我认为相当多的论文都集中在基于图像的问题上。

EfficientNetV2 中使用的有趣技术之一是渐进式学习,这意味着虽然训练开始时图像尺寸最初很小,但它们的尺寸会逐渐增加。这个解决方案源于 EfficientNets 的训练速度开始受到大图像尺寸的影响。

Google 发布 EfficientNetV2——更小、更快、更好的 EfficientNet


与最先进的相比,性能更高,训练速度提高 5-10 倍

结论

我知道这些模型中的大多数都是由大公司发布的,我很确定还有其他 2021 年发布的伟大模型没有包含在这个列表中,仅仅是因为它们没有那么受欢迎并且没有达到更大的范围观众。可悲的事实是,来自这些大公司的论文总是有更大的影响力。只是说,我根本没有提到这些模型,因为它们是大公司发布的,我实际上是在阅读论文并在中等帖子中对其进行解释。如果您还有其他出色的论文,请务必将它们留在下面的评论中! (当然我错过了一些好的)