(资料图片)
钛媒体 App 5 月 17 日消息,据报道,谷歌上周发布的最新大语言模型使用的训练数据,几乎是 2022 年的上一代模型的 5 倍。得益于此,该模型在编程、数学和创意写作方面的表现更为优秀。
谷歌是在其 I/O 开发者大会上发布最新通用大语言模型 PaLM2 的。内部文件显示,该模型采用了 3.6 万亿个令牌(token)进行训练。令牌指的是单词串,这是训练大语言模型的重要基础,因为这可以教给模型如何预测字符串中可能出现的下一个单词。而之前版本的 PaLM 发布于 2022 年,当时使用的令牌为 7800 亿个。(新浪科技)