RSI两大里程碑发布,单人手搓千亿模型,英伟达大佬教「保命」法则
我们刚刚见证了一个历史性时刻!
近期,“递归自我改进”领域接连出现两项重大发布。
过去十年间,预训练一个基础大模型,一直是科技巨头间的“军备竞赛”。
在开源社区,这需要几十位顶尖专家。
在硅谷的AI实验室,这需要数百人,有人专攻架构和扩展定律,有人负责清洗数万亿Token的数据,还有人日夜盯着成千上万张GPU,以防集群崩溃。
但就在今天,这道看似坚不可摧的壁垒,被硬生生撕开了一个缺口!
两家初创公司几乎同时抛出了重磅消息,将“递归自我改进(RSI)”从科幻概念直接推进了现实。
消息传出后,整个硅谷AI圈彻底沸腾,无数从业者感到背后发凉,彻夜难眠。
1个人单挑百人团队!两款神级模型横空出世
今天的第一颗重磅炸弹,来自初创公司 Mirendil。
他们公布了一项将“人效杠杆”推向极致的疯狂实验:仅用1名研究员,就从零开始手动构建了一个参数量在1000亿到5000亿(100B–500B)之间的编程基础模型——Mirendil-Base!
整个过程花费的算力不到1000万美元(包括所有前期探索实验和Agent的Token消耗),耗时3.5个月。
最令人震惊的细节在于:
项目从一个空白的代码库起步,没有购买任何商业授权数据,没有使用任何模型蒸馏或合成数据,完全基于PyTorch、JAX以及公开的GitHub代码和网页数据。
那么,过去需要一个大厂团队分工协作的训练基础设施、模型架构改进、数据配比调优、底层算子(Kernel)优化,都是由谁完成的?
答案是:AI智能体(Agents)编写了超过99%的代码,自行运行了所有实验,甚至还自己诊断训练故障!
而那唯一的一名人类研究员,在这3.5个月里只做了两件事:决定尝试什么研究方向,以及判断哪些实验结果值得相信。
你以为一个人训练出来的模型只是个“玩具”?当看到评测结果时,所有人都沉默了。
在预测代码库任务中,Mirendil团队直接拉出了目前市面上最强的五个怪兽级编程模型进行对比:
- Kimi-K3(总参数2.8T / 激活104B)
- DeepSeek-V4-Pro-Base(总参数1.6T / 激活49B)
- Inkling(总参数975B / 激活41B)
- GLM-5.3(总参数753B / 激活40B)
- Nemotron-550B-Base(总参数550B / 激活55B)
面对这些动辄上万亿参数、背后站着数百人顶尖团队的MoE(混合专家)巨头,100B–500B规模的 Mirendil-Base 不仅打得有来有回,甚至在多个训练后新发布的外部代码库测试中取得了惊人的高分!
更恐怖的是,这仅仅是一个开始。Mirendil透露,更大的 Mirendil-Base-Large(500B–2T参数) 已经训练了80%,而旗舰版 Mirendil-Base-XL(2T–10T参数,真正的十万亿级巨兽) 训练进度刚到19%,其表现就已经逼近了Large版本目前的得分。
而且,他们的下一代模型,将直接由Mirendil-Base自己参与构建。
另一家大牛田渊栋的初创企业 Recursive,正式发布了开放权重的 400亿参数(40B)编程模型——Flint。
在短上下文场景下,Flint在搭载M4 Pro芯片的MacBook Pro上,每秒可生成超过125个Token;在64GB版NVIDIA RTX Spark上,每秒可生成超过150个Token,速度最高可达同类模型的两倍。
在智能体编程基准测试中,在总参数量低于500亿的混合专家(MoE)模型中,Flint勇夺鳌头。
它的性能足以媲美总参数规模相近的最强稠密模型,运行速度却快得多。
更让人吃惊的是,Flint本身只是“附赠品”,真正的主角是背后的Eureka Machine——一套自动完成“提想法→实现→测试→决定下一步”完整研究循环的系统。
用Flint这个实际交付的模型,证明自动化研究确实能造出东西,而不只是跑玩具实验。
Recursive的目标是打造能够递归自我改进的超级智能,用来自动化知识发现。
Mirendil是“由人指挥AI,把人力和时间压缩到极致”;Recursive则是“用Eureka Machine让研究过程本身高度自动化”。
两家公司不约而同地瞄准了RSI:
AI编程能力越强 ➡️ AI搞科研的速度就越快 ➡️ 造出更强的下一代AI。
闭环,正在我们眼前合拢!
加州大学伯克利分校教授、Databricks联合创始人Ion Stoica等大佬纷纷转发惊叹。
正如业内人士所言:“很快,一切就只取决于两件事:你有多少算力,以及你的‘发现循环’做得有多好。”
初级研究员破防了,NVIDIA大佬紧急喊话
历史的车轮滚滚向前,但被碾过的人却感到了刺骨的寒意。
看到Mirendil和Recursive的消息后,一位刚入行的初级研究员彻底破防了。他深夜给英伟达(NVIDIA)资深研究员Ali Hatamizadeh发去私信,字里行间全是沮丧和恐惧:
整个预训练过程就一个人,没有研发团队,什么都没有…… 如果一个人加一个计算集群,就能干完过去整个团队的活儿,那我花了这么多年苦心积累的专业能力,岂不是还没捂热就已经过时了?
这种焦虑,今天正在无数AI实验室和程序员群体中疯狂蔓延。
面对年轻同事的恐慌,英伟达研究员Ali没有熬鸡汤,而是写下了一篇极其硬核、甚至有些扎心的长文,向所有技术人紧急喊话:别被营销标题吓破了胆!你并没有过时,但你的“饭碗”确实已经换了!
Ali撕开了“单人训千亿模型”背后的底层逻辑,并指出了普通研究员在RSI(递归自我改进)时代的四大生存法则:
第一,认清现实,别再靠“复读旧配方”混日子了
Ali直言,RSI(递归自我改进)确有其事。
今年9月,OpenAI就披露其研究部门记录的智能体工作量,已经达到了每个人类工作日对应3.1个智能体工作日,并计划在2028年3月前实现“自动化AI研究员”。如果你的五年规划还假设AI不会接管预训练,那趁早改规划吧。
但是,为什么Mirendil的1个人能训出模型?因为常规预训练的“配方”已经彻底成熟且公开了!
各大厂早就把开源权重、详细的技术报告喂到了嘴边。
只要算力管够,照着公开的常规架构(比如加个滑动窗口注意力),让AI把代码写出来,训出个好模型根本不难。这时候解决的是**“执行和预算问题”,而不是“科研问题”**。
“如果你的主要工作,只是把去年的训练方案稍作调整、换批数据再跑一遍,那么这类工作的空间正在迅速缩小。”
这是最让人不舒服的真相:靠“复现已有成果”当炼丹童子的旧饭碗,已经被AI砸碎了。
第二,AI吃掉了执行力,“判断力”成了你的天价新饭碗
既然AI写了99%的代码,那为什么还需要人类?因为自动化科研在最关键的环节上,根本还没跑通!
比如在EinsteinArena平台上,AI智能体确实刷新了11个未解数学问题的纪录(把11维空间中接吻数的最佳已知下界从593提高到了604)。
但前提是:人类事先定义好了问题,并写好了自动评分代码。 还有前阵子吹上天的“全AI生成论文通过同行评审”,扒开细节一看:它只通过了一个接收率高达70%的研讨会(Workshop)初审,非主会,而且后来还撤稿了。
在OpenAI内部,那些人类需要花4—8小时完成、而智能体最终成功完成的任务中,超过一半仍然需要至少一次人工干预。
为什么?因为智能体给出答案极快,语气永远自信满满。它会兴冲冲地跑来告诉你:“某项指标暴涨了3个点!”还贴心地附上了消融实验表格和一套自圆其说的解释。
但实际上呢?这3个点可能完全是假象——它来自评测中的数据泄漏、数据加载器的底层Bug、碰巧撞大运的随机种子,或者分词器不匹配!
在执行成本归零的时代,“决定该做哪个实验、该相信哪个结果、该放弃哪个方向”的判断力,就是你最铁的新饭碗!
把智能体的速度,加上你自己的想法和判断力,哪怕你是刚入行的初级研究员,也能瞬间化身为“十倍效率研究员”。
第三,时代的悖论:越把活儿交给AI,你的基本功越得硬
很多新人会想:“既然以后只拼判断力,那我是不是不用学底层代码了,直接学怎么指挥AI就行?”
Ali给出了一个振聋发聩的警告:这就是这个时代的悖论——交给智能体的工作越多,你的基本功就越重要。因为你永远无法监督自己不理解的东西!
你能一眼看出AI跑出的结果有猫腻,靠的是对整个系统骨子里的理解:损失曲线(Loss Curve)为什么长成这种形状?多大的提升才符合物理规律?什么样的结果“好得令人起疑”?
怎么练就这种毒辣的眼光?Ali给出了最实在的建议:
- 亲手造轮子:至少亲手从零实现一次注意力机制(Attention),再实现一种线性变体,比如 Gated DeltaNet。
- 搞破坏实验:从头到尾自己训练一个小模型,然后故意把它弄坏,亲眼观察崩溃时会发生什么。
- 带着质疑读论文:连附录也别放过,在看到作者的实验数字之前,先在脑子里对合理的结果建立预期。
有了这些硬核知识,你才能真正指挥机器,而不是它说什么,你就信什么。
第四,大模型远未研究透,遍地都是黄金考题
最后,别觉得大模型已经没啥可研究的了。
一个人能训出基座模型,只是因为旧路已经被趟平了。Ali直接列出了7个至今无人能完美解答的黄金课题,随便突破一个都够你吃一辈子:
- 少样本高效学习:怎样用更少的数据,学到更多东西?
- 新架构探索:像Gated DeltaNet这样的线性注意力,能否在检索和长上下文任务中追上全注意力?混合架构中两者该如何配比?
- 持续学习:怎样让模型在训练结束后继续学习,同时不遗忘已经掌握的知识?
- 长程推理可靠性:为什么任务一长,推理就变得不那么可靠?该怎么解决?
- 消灭幻觉:模型为什么会编造内容?能不能让它们学会老老实实说“我不知道”?
- 新评测体系:当基准测试成绩趋于饱和,或测试内容混进了训练数据,我们该如何衡量模型是否真的进步了?
- 可解释性与控制:模型内部究竟发生了什么?面对自主性越来越强的模型,该如何确保它们按照人的意图行事?
你看,递归自我改进(AI造AI)不仅没有让研究走到终点,反而让上述问题变得前所未有地迫切!
如果以后真的由模型来训练模型,就必须有人来决定:它们应该优化什么?我们该怎样衡量?又该如何防止这个自我进化的循环越走越偏?
机器正变得越来越擅长沿着我们已经铺好的高速公路狂飙;但下一条路该通向哪里,方向盘,依然死死握在你的手里!
参考资料:
https://mirendil.com/news/pretraining-at-scale-without-a-pretraining-team/
https://recursive.com/updates/introducing-recursive-flint
https://x.com/ahatamiz1/status/2113344049784799378
https://x.com/istoica05/status/2113044240263782436
https://x.com/bneyshabur/status/2112941025862008949?s=20
https://x.com/RobertTLange/status/2112953581523370273?s=20
https://x.com/eliebakouch/status/2112953547759534279?s=20
本文来自微信公众号 “新智元”(ID:AI_era),作者:ASI启示录,36氪经授权发布。