马斯克突发Grok15!上下文长度至128k推理能力大幅提升
腾讯科技讯 3月29日消息,“硅谷钢铁侠”埃隆·马斯克(Elon Musk)旗下的人工智能初创公司xAI宣布正式推出Grok-1.5,该模型能够进行长语境理解和高级推理,将于近日向X平台Grok用户和早期测试者开放。
通过在两周前公布Grok-1的模型权重和网络架构,xAI展示了该公司截至去年11月取得的进展。此后,xAI在最新模型Grok-1.5中提高了推理和解决问题的能力。
Grok-1.5最显着的改进之一是它在编码和数学相关任务中的性能。在xAI的测试中,Grok-1.5在数学基准测试中获得了50.6%的分数,在GSM8K基准测试中获得了90%的分数,这两项数学基准测试涵盖了从小学到高中的各种竞赛试题。此外,它在评估代码生成和问题解决能力的HumanEval基准测试中获得了74.1%的分数。
Grok-1.5能够在其上下文窗口中处理多达128K Token的长上下文,这是它的一个新特征。这让Grok能够具有高达之前16倍的上下文处理长度,从而能够利用更长文档中的信息。
此外,该模型可以处理更长、更复杂的提示,在上下文窗口扩大的情况下仍保持其遵循指令的能力。在大海捞针(NIAH)评估中,Grok-1.5展示了强大的检索功能,可以在长度达128K的上下文中检索嵌入的文本,获得完美的检索结果。
在大规模GPU集群上运行的尖端大型语言模型研究需要强大而灵活的基础架构。Grok-1.5建立在基于JAX、Rust和Kubernetes的定制分布式训练框架之上。这个训练堆栈让xAI的团队能够以最少的努力构建原型并大规模训练新架构。xAI的定制训练编排器可确保自动检测出有问题的节点,并把它从培训任务中剔除。
Grok-1.5将很快向早期测试人员开放,xAI也期待收到反馈帮助其改进Grok。随着xAI逐渐向更广泛的受众提供Grok-1.5,该公司还将在未来几天为Grok-1.5推出若干项新功能。(编译/无忌)
(责任编辑:管理)
- ·疼!南京一女子误把强力胶当眼药水给丈夫滴
- ·有关洞房花烛深深处什么情况?
- ·并削减政府各部门的预算
- ·有关王小二丧尸漫画具体是什么原因?
- ·关于槽(cáo)擒(qín)到底怎么回事?
- ·关于万能文化猫娘到底怎么回事?
- ·大v是什么意思大v的意思
- ·有关掌(zhǎng)上(shàng)明(míng)珠(zhū
- ·补银行卡要钱吗
- ·露营旅游休闲市场却迎来阵阵春风
- ·十年经典Q萌八仙即将开服!《醉八仙》怀旧
- ·有关标新立异(biāo xīn lì yì)网友怎么
- ·倒扣8分!亚足联官宣国足创奇迹输球=上升4
- ·为听众带来花样繁多内容丰富的京味儿内容
- ·习近平在上海考察时强调聚焦建设“五个中心
- ·三是可支持办理各类表内外国际贸易融资以及
- ·动卧票涨幅超700元?主管部门回复:节假日
- ·有关流(liú)言(yán)蜚(fēi)语(yǔ)网友
- ·四组新闻学影视传播同学围绕欢乐颂为何这么
- ·甜(tián)挺(tǐnɡ)叹(tàn)这是怎么回事?
- ·功名利禄(gōng míng lì lù)背后真相是
- ·讲不出再见伴奏这件事可以这样解读吗?
- ·有关中华慈善总会会长发生了什么?
- ·有关驰名中外(chí míng zhōng wài)怎么
- ·躺平是什么意思网络用语躺平是什么梗
- ·关于混(hùn)淆(xiáo)黑(hēi)白(bái)到
- ·并自动通过广播导航可变信息标志等
- ·关于鞭长莫及终于真相了?
- ·候(hòu)糜(mí)漫(màn)可以这样解读吗?
- ·世界读书日|上图之夜沉浸式“书梦探寻”之