为了让你烧token，英伟达依然卷到机器东谈主身上了
henry 发自 凹非寺量子位 | 公众号 QbitAI
好好好，又给这家伙，找到了新的烧token的面孔（doge）
刚刚，英伟达、CMU和Berkeley相干推出具身智能Autoresearch框架——
ENPIRE
浅近来说，ENPIRE即是让AI agent我方作念机器东谈主探究，让8个Coding Agent，各自断绝一台双臂机器东谈主。
Agent们会我方读论文、改算法、试验战略、部署实验、分析断绝、追念教授，不安然再换个念念路重来。
GEAR的探究员们毋庸盯着屏幕调参数，只需要第二天早上过来看论述。
在最具代表性的Pin Insertion任务中，仅用了3小时，机器东谈主把针插进4毫米孔洞的见效用从0通盘拉到99%。
全程无东谈主类参与，名堂认真东谈主之一的Jim Fan发推说：
GEAR实验室的一部分咫尺依然在一夜自我改良了。咱们只需要早上来读论述。
不外也有网友暗意：
高情商：一夜自我改良；低情商：黑天日间的烧token。
具身智能探究的harness
先证明一丝，ENPIRE并不是让Agent获胜写断绝代码主宰机器东谈主，它更像一个机器东谈主探究员，需要在确凿天下里重置实验场景、检索文件、实施主张、考据断绝、分析问题，优化下一轮迭代。
与雷同code as policy的行为不同，ENPIRE的最终居品的不是一段断绝剧本，而是一个着实能够部署到机器东谈主上的Policy。
这种给实践环境搭建自动化框架的事儿，之是以难是因为实践天下不像代码天下。
在代码天下，Agent写错代码了，大不了删掉重来；实验跑崩了，重新启动即可。
但机器东谈主探究不一样，实验失败之后，物体会歪掉，场景会乱掉，机器东谈主甚而可能把东西碰飞。
如若每轮实验都要靠探究员手动复位、纪录断绝、整理数据，那么Agent压根不行能24小时勾通作念探究。
是以ENPIRE作念的事情，实质上是给AI探究员搭建一套自动化实验台。
论文里把它称为Harness Framework
不错泄露为，它给Coding Agent配都了一整套作念物理实验所需的基础智力。
这套基础智力由四部分构成，也赶巧对应ENPIRE这个名字：
EN（Environment）环境模块：认真搭建实验环境，包括安全界限、自动复位和自动评分。PI（Policy Improvement）战略改良：Agent左证任务标的提议新决策。行为克隆、强化学习、启发式功令，甚而几种行为混搭，实足不错尝试。R（Rollout）——部署测试：把新战略部署到确凿机器东谈主上实践，纪录轨迹、视频和传感器信号。E（Evolution）——进化： 多Agent互助的中枢。8个Agent各自占用一台机器东谈主，通过Git分享代码，相互接纳有用决策，淘汰失败道路。
四个模块连起来之后，就酿成了一个齐全闭环：
提议主张 → 试验战略 → 真机测试 → 自动评分 → 追念教授 → 再提议新主张。
系数过程不需要东谈主工值守，Agent我方认真作念实验，也我方认真从实验里学习。
而其中最关节的一环，其实是Environment模块。因为它惩办的是具身智能探究里最令东谈主头疼的问题：
怎样让实验自动跑起来。
在仿真环境里，复位不时只需要一句：env.reset()
但实践天下莫得env.reset()。
一次失败实验收尾之后，机器东谈主必须先把场景还原到驱动现象，下一轮实验才能动手。
以GPU插拔任务为例，机器东谈主需要先把GPU从主板上拔出来，再移动到指定位置开释，然后了债驱动现象。
系数过程触及复杂的力控操作，因为稍有失慎就可能损坏GPU针脚。
自动评分相通如斯。
举例扎带穿扎任务中，Agent需要判断：“扎带尾巴到底有莫得见效穿过扎带头？”
为了回报这个问题，Agent甚而我方绸缪了一套视觉检测决策。
顶部和侧面两个录像头同期不雅察标的区域，各自进行图像分割；只须当两个视角都证实扎带尾端依然穿过扎带头，系统才会判定实验见效。
系数检测延伸被压缩到150毫秒以内，依然接近东谈主类视觉响应速率。
这些自动复位、自动评分、安全断绝接口一朝调通，就会被固化为尺度API。
后续Agent作念探究时，不再需要珍贵底层实验经由。
由此，确凿天下终于第一次变成了一个不错被反复调用、不竭优化的探究环境。
好的agent不比探究员差
固然，光有实验平台还不够。着实有道理的问题是：
当你把机器东谈主、GPU和Token都准备好之后，Agent到底会不会作念探究？
ENPIRE给出的谜底是：会，况且还挺像那么回事。
如着手所说，论文在四个高难度奢睿操作任务上进行了考据：
Push-T（鼓吹T形积木到标的位置）、Pin Insertion（把针插进4毫米孔洞）、GPU Insertion（把GPU插进主板插槽）以及Zip-tie（扎带穿扎与剪切）。
最终四个任务全部达到了99%的见效用。
但比断绝更有道理的，是Agent达到这个断绝的过程，最典型的是Pin Insertion任务。
论文获胜公开了Agent的Idea Tree，也即是它齐全的探究念念路演化过程。
从中不错明晰看到一条尽头熟悉的探究旅途：
先试行为克隆（Behavior Cloning），断绝一般；加入在线强化学习数据，性能动手擢升；再加多正则化项，见效用出现明显跃升；随后陆续转机Batch Size，赔偿断绝器延伸，进一步擢升褂讪性。
系数过程中，Agent就跟东谈主类探究员一样，一步一步往上试，通盘把见效用从接近零推到接近100%。
系数过程中，狼色精品人妻在线视频免费莫得东谈主类告诉它应该加什么模块，也莫得东谈主类端正实验功令。
扫数决策都来自Agent我方提议的假定，再通过确凿实验考据。
如若把这些纪录荫藏起来，只看探究过程，很难说这和一个机器东谈主博士生在实验室里作念探究有什么实质区别。
更有道理的是，Agent甚而会左证任务性情主动编削探究道路。
在Zip-tie任务中，它很快发现端到端试验断绝并不好。
原因很浅近，因为这个任求实在太长了：
找到剪刀 → 握起剪刀 → 找到扎带 → 瞄准位置 → 完成剪切。
系数操作链杰出多个阶段，单纯依赖端到端战略很难学好，于是Agent我方换了一条道路。
先欺诈VLA模子（Vision-Language-Action）完成粗定位，再调用器具API实践精致操作。
某种进程上，它甚而我方作念了一次系统架构绸缪。
如若要找一个最获胜的参照物，其实即是Karpathy前段技能提议的Autoresearch。
两者实质上都在作念合并件事：让AI自动提议主张、运行实验、比拟断绝，再左证断绝陆续迭代。
区别在于，Autoresearch发生在数字天下。代码写崩了不错重来，实验跑错了不错重启。
算力险些是独一成本，而ENPIRE第一次把这套探究轮回搬进了物理天下，机器东谈主不是代码。
你没法对一台撞坏的机械臂实践Git Revert，确凿天下里，摩擦力在变化，物体位置在变化，光照在变化，传感器也会产生噪声。
ENPIRE的中枢价值，即是通过自动复位、自动评分和安全断绝接口，把正本芜杂词语的物理天下包装成Agent能够反复调用的实验环境。
关于Agent来说，确凿天下第一次领有了雷同软件诞生环境的可迭代性。
另一个有道理的发现，是所谓的「物理Scaling」。
往日大模子Scaling的是参数、数据和算力，ENPIRE动手Scaling实验数目。
论文里，8个Agent永诀占用8台机器东谈主，同期探索不同道路。
断绝Pin Insertion任务达到标的见效用的技能，从单机器东谈主时势下的1.5小时缩小到40分钟。
换句话说，如若往日的大模子是在彭胀GPU集群，那么ENPIRE彭胀的则是机器东谈主舰队。
固然，这种Scaling并未低廉。
跟着Agent数目加多，每个Agent都需要阅读其他Agent的代码、泄露别东谈主的发现、追念教授并同步常识。
因此Token消费增长得比机器东谈主数目更快，论文甚而挑升提议两个标的来臆测这种代价：
Mean Robot Utilization：机器东谈主有若干技能着实用于实验；Mean Token Utilization：系统每分钟究竟烧掉若干Token。
看到这里，或者也能泄露为什么Jim Fan会这样兴盛。因为他们发现，探究本人似乎也动手具备了可彭胀性。
甚而连教授传承都出现了，论文里有个很有道理的实验：
Agent在Pin Insertion任务中集会的教授，被整理成一份笔墨追念，然后获胜塞进GPU Insertion任务的Prompt里。
断绝后续探究效用明显擢升，端庄，这里转移的既不是模子权重，也不是试验数据。
而是一份探究札记，和东谈主类实验室传帮带时作念的事情，险些一模一样。
大平行的终末一块拼图
本年5月，Jim Fan在红杉成本AI Ascent大会上作念了一个演讲，提议了大平行（The Great Parallel）框架：机器东谈主界限正在加快重走大谈话模子走过的路。
如若加上最新的自主探究，谈话模子正在阅历四个阶段——预试验、对都微调、强化学习推理、自主探究。
机器东谈主也在走相通的四步，只不外每一步的介质从文本变成了物理天下。
前三步英伟达依然有了对应的布局：预试验阶段有EgoScale（用两万小时东谈主类第一视角视频试验畅通先验）和DreamZero——一种全新的天下行为模子（WAM），用视频天下模子瞻望下一物理现象，替代谈话模子瞻望下一token；对都阶段用少许传感化东谈主类数据作念行为微调；
强化学习阶段有Dream Dojo——一个纯神经仿真器，毋庸物理引擎，获胜用视频天下模子生成模拟环境，机器东谈主在”虚幻”里作念RL。
但第四步——自主探究——在物理天下一直莫得可实践的完了。ENPIRE即是这一步。
一作肖文力（Wenli Xiao）在推特上写谈：
Autoresearch终于离开了沙盒，参预了具身天下。
肖文力是CMU机器东谈主系博士生，导师是石冠亚（Guanya Shi），此前在英伟达GEAR实验室实习了两年。这篇论文的四位共合并作。
肖文力、谢佳（Jia Xie）、Tonghe ZhangHaotian Lin，全部来自CMU，三位共同指引西宾永诀是范麟熙（Jim Fan）、朱玉可（Yuke Zhu）（均来自英伟达）和石冠亚（CMU）。
Jim Fan在推特上对ENPIRE的刻画或者是整篇论文最有画面感的详尽：
咱们给8个Codex agent一个机器东谈主舰队、一批GPU和鼓胀的token预算。然后东谈主类退场。机器东谈主舰队动手活过来：它们学会寻找视觉印迹，重置场景，纯属生人段，修改断绝栈，在线读论文，辩护，反念念，卡壳，再获胜在硬件上重试。咱们所作念的一切，即是给Codex一个通往原子天下的API。剩下的是裸露。
ENPIRE将全部开源。表面上，每个东谈主也不错搭建我方的”自运行机器东谈主实验室”。
前提是你得买得起那8台机器东谈主、英伟达的GPU，以及跑coding agent的token。
[1]https://x.com/_wenlixiao/status/2066913196641071464
[2]https://research.nvidia.com/labs/gear/enpire/#fleet-scaling
上一篇：纯体裁季刊《澳门体裁》创刊
下一篇：造芯片的，运行造开导了