新芒x消息，微软和英伟达推出了一种自然语言生成模型，其参数比 GPT-3 多 3 倍。在一篇博客文章中，他们称该模型为 MT-NLG，并阐述为“迄今为止训练过的最大、最强大的单片 Transformer 语言模型。”
MT-NLG 在这些任务和其他任务上表现出“无与伦比的准确性”，包括阅读理解、常识推理、完成预测和词义消歧。
与 OpenAI 的 GPT-3 模型的 1750 亿个参数相比，该模型有 5300 亿个参数。但值得注意的是，它仍然不及谷歌的 Switch Transformer NLP 模型，它有1.6 万亿个参数。
更多的参数通常意味着一个更复杂的模型，使其更有能力理解语言的细微差别。它使用 Nvidia 价值 8500 万美元以上的 Selene 超级计算机进行训练，该超级计算机由 560 台 DGX A100 服务器组成，其中每台服务器都有 8 个 A100 80GB GPU。
