马斯克大模子grok1.5来了：推理才力大升级，支柱128k上下文

李沁鈺 2024-03-30 03:38 472

"马斯克大模子grok1.5来了：推理才力大升级，支柱128k上下文,这篇新闻报道详尽，内容丰富，非常值得一读。这篇报道的内容很有深度，让人看了之后有很多的感悟。作者对于这个话题做了深入的调查和研究，呈现了很多有价值的信息。这篇报道的观点独到，让人眼前一亮。新闻的写作风格流畅，文笔优秀，让人容易理解。 " 账号设置我的关注我的收藏申请的报道退出登录登录搜索36氪Auto数字时氪将来消费智能涌现将来城市启动Power on36氪出海36氪研究院潮生TIDE36氪企服点评36氪财经(Finance)职场bonus36碳后浪研究所暗涌Waves硬氪媒体品牌企业号企服点评36Kr研究院36Kr创新咨询企业服务核心服务城市之窗行政部门服务创投发布LP源计划VClubVClub投资机构库投资机构职位推介投资人认证投资人服务寻求报道36氪Pro创投氪堂企业入驻创业者服务创投平台首页快讯资讯推荐财经(Finance)科技(Technology)创新城市最新创投汽车(Car)企服专精特新直播视频专题活动搜索寻求报道我要入驻城市合作马斯克大模型Grok1.5来了：推理能力大升级，支持128k上下文机器之心·2024-03-29 16:33关注即将在 X 平台中上线。

马斯克搞大模型，速度也奇快。

Grok 1 开源才刚有 10 天，Grok 1.5 就来了。

本周五早上(Morning)，马斯克旗下的人工智能公司 xAI 正式推出了 Gork 大模型的最新版本 Grok-1.5。新一代模型达成了长上下文理解和高级推理能力，计划将在将来几天内向早期测试人员和 X 平台（前 Twitter）上的现有 Grok 用户提供。

上周一，马斯克刚刚开源了 3140 亿参数的混合教授（MoE）模型 Grok-1。通过开源 Grok-1 的模型权重和网站架构，Gork 项目已展示了 xAI 截至去年 11 月所取得的进展。在最新模型 Grok-1.5 中，Gork 又有了进一步提高。

能力与推理

Grok-1.5 最明显的改进之一是其在代码和数学相关任务中的性能。在 xAI 的测试中，Grok-1.5 在 MATH 基准上取得了 50.6% 的成绩，在 GSM8K 基准上取得了 90% 的成绩，这两个数学基准涵盖了广泛的小学(Primary School)到高中(High School)的竞赛问题。

此外，它在评估代码生成和解决问题能力的 HumanEval 基准测试中得分为 74.1%。

还记得昨天(Yesterday) Databricks 开源的通用大模型 DBRX 吗？当时的对比图表如下所示，看起来新版本 Grok 的提升是显著的。

就是不知这个大幅升级的 1.5 版会在什么时候开源？

长上下文理解

Grok-1.5 中的另一个重要升级是在其上下文窗口内可以处理多达 128K token 的长上下文。这使得 Grok 的容量增加到之前上下文长度的 16 倍，从而能够利用(Use)更长文档中的信息。

此外，该模型可以处理更长、更复杂的提示（prompt），同时在上下文窗口扩展时仍然能保持其指令跟踪能力。在大海捞针（NIAH）评估中，Grok-1.5 展示了强大的检索能力，可以在长度高达 128K token 的上下文中嵌入文本，达成完美的检索结果(Result)。

训练 Grok-1.5 的基础设施

xAI 进一步介绍了用于训练模型的算力设施。在大规模 GPU 集群上运行的先进大型语言模型（LLM）研究需要强大而灵活的基础设施。Grok-1.5 构建在基于 JAX、Rust 和 Kubernetes 的自定义分布式训练框架之上。该训练堆栈允许开发团队能够以最小的精力构建想法原型并大规模训练新架构。

在大型计算集群上训练 LLM 的主要挑战是最大限度提高训练作业的可靠性和正常运行时间。xAI 提出的自定义训练协调器可确保自动检测到有问题的节点，并将其从训练作业中剔除。工程师还优化了检查点、数据加载和训练作业重新启动等问题，以最大限度地减少发生故障时的停机时间。

展望

为了寻求替代微软支持的 OpenAI 和 Google 大模型的解决方案，马斯克去年推推动了 AI 创业公司 xAI，以创建他所说的「最大程度寻求真相的人工智能」。去年 12 月，这家初创公司为 X 的 Premium+ 订阅者推出了 Grok。

xAI 表示，Grok-1.5 很快就会向早期测试者开放，其团队将继续改进 Grok。随着新版本推向公众，在将来几天 X 上的大模型将陆续推出一些新功能。

参考内容

https://x.ai/blog/grok-1.5

https://www.reuters.com/technology/musks-xai-launch-improved-version-chatbot-2024-03-29/

本文来自微信公众号“机器之心”（ID：almosthuman2014），作者：关注大模型的，36氪经授权发布。

该文观点仅代表作者本人，36氪平台仅提供信息存储空间服务。

+13

好文章，需要你的鼓励

机器之心特邀作者3收藏+10评论打开微信“扫一扫”，打开网页后点击屏幕右上角分享按钮微博沉浸阅读返回顶部参与评论评论千万条，友善第一条登录后参与讨论(Discuss)提交评论0/1000你可能也喜欢这些文章你正在看的短视频(Short Video)，文案翻译出镜剪辑全都是AI“双面”AIGC：变脸、界线与博弈最强开源大模型再度易主，这家初创公司是如何做到的？DeepMind终结大模型幻觉？标注事实比人类靠谱、还便宜20倍，全开源AI影响祖国集成电路的几点思考Mamba超强进化体一举颠覆Transforme，单张A100跑140K上下文这一年，AI开始改变商业向善的尺度AI国力战争：GPU是明线，HBM是暗线8 名谷歌员工发明了现代人工智能，这是那篇论文的内幕故事最新文章推荐抖音(Tik Tok)电商，推出了自己的“淘宝”分身一只手镯便宜2400元，你会去银行买金首饰吗？欢迎小米来到“刺激战场”4500万成本撬动33亿销售额，微短剧成美妆品牌带货利器李斌直播带货BaaS，蔚来出圈你正在看的短视频(Short Video)，文案翻译出镜剪辑全都是AI给祖国创始人的全球化指南：水平地切开世界雷军“交卷”：小米汽车(Car)没敢冒险雷军临门降价引爆小米SU7，一夜卖光一年产能，高管自曝回工厂007“双面”AIGC：变脸、界线与博弈

机器之心特邀作者

专业的人工智能媒体和产业服务平台

发表文章489篇最近内容DeepMind终结大模型幻觉？标注事实比人类靠谱、还便宜20倍，全开源1小时前马斯克大模型Grok1.5来了：推理能力大升级，支持128k上下文1小时前词曲创作只需几秒，「AI作曲家」Suno引爆音乐(Music)圈，第一手体验和攻略来了2024-03-25阅读更多内容，狠戳这里下一篇价格屠刀+网红带货，阿里云的焦虑有多深？

直播带货会是阿里云增长焦虑的突破口吗？

1小时前

热门标签成都货运微信拍卖艺术品电商陶金多校划片西城学区划片存量土地国人的名义北平无战事琅琊榜吸血鬼日记潜伏素食芈月传生意经潮牌橱窗堡垒之夜网贷银行存管协会汇率欧元固定汇率广州酒家月饼西府海棠茂业紫光控方证人狗刚需关于36氪城市合作寻求报道我要入驻投资者关系商务合作关于我们(We)联系我们(We)加入我们(We)网站谣言信息举报入口热门推荐热门资讯热门产品文章标签快讯标签合作伙伴