这项由厦门大学、阿里巴巴AMAP（高德舆图）扣问团队和南边科技大学贯串开展的扣问，以预印本神气发布于2026年5月，论文编号为arXiv:2605.12004，感意思的读者可通过该编号在arXiv平台检索完整论文。

要通晓这篇扣问解决了什么问题，不妨先探究这么一个场景：你雇了一支登山队，条件他们通过反复尝试来找到登顶路线。但问题是，淌若山顶周围有一段峭壁峭壁，而这支队伍的装备和妙技根底无法攀越，那么不管他们在峭壁底下尝试几许次，永远也到不了山顶，天然也就学不到"如何登顶"这件事。这个"峭壁"的譬如，恰好形色了现时AI智能体强化学习进修中最辣手的中枢难题——扣问团队将它定名为"可达性退却"。

连年来，大型语言模子（粗浅通晓为能读能写、能推理的AI大脑）一经从只会回话问题的聊天机器东说念主，进化成了能够主动实施任务的"智能体"。这类智能体可以自主上网搜索信息、调用各式器具、完成复杂的多要领任务，就像一个能我方筹商行程、预订机票、查询攻略的智能助手。进修这种智能体的主流方法叫作念强化学习——让AI反复尝试任务，到手了就给奖励，失败了就扣分，通过大批试错让它越来越灵巧。

关联词，这种进修方式有一个致命流毒：它都备依赖AI我方能"赶巧"找到正确谜底。淌若一项任务对AI来说太难，AI在进修过程中从来莫得一次到手，那就莫得任何"奖励信号"可以学习，进修就透顶堕入停滞。这便是那说念峭壁——超出AI现时技艺范围的任务，它永远触碰不到到手的彼端，天然也就永远学不会。

濒临这个逆境，业界频频的解决决策是在强化学习之前先作念一轮"有监督的微调"——粗浅说，便是先给AI看大批东说念主工标注的高质地示范数据，让它先热热身，打好基础，再运行强化学习进修。但这条路需要糜掷大批东说念主力来准备带有完整推理过程的示范数据，本钱极高，而且每换一个新任务场景就得再行准备，难以限制化。

AMAP扣问团队提倡的新方法——ACTGUIDE-RL——走了一条都备不同的路。他们的中枢想路是：既然互联网上每天都有海量东说念主类操作电脑、使用手机应用、浏览网页的行为记载，这些"动作数据"天然莫得AI推理过程，但胜在随手可取、限制浩繁。能不可把这些动作数据当成一份"行为参考舆图"，成功塞给AI，帮它跨过那说念峭壁？实考据明，这个想路不仅可行，而且后果出众。

**一、峭壁到底有多落魄：可达性退却的本色**

要信得过通晓ACTGUIDE-RL的价值，必须先搞明晰那说念"峭壁"到底有多难翻越。扣问团队为此竖立了一套严谨的表面框架，用"可达性动态"来量化这个问题，天然听起来学术，但背后的逻辑其实很直观。

探究AI在实施一项复杂任务时每走一步的气象。每个气象都可以假想成登山过程中的一个营地——从这里起程，你有多粗略率最终登顶？扣问团队把这个"潜在到手概率"叫作念"有用气象探访质地"。淌若在职务进行到某个要道阶段，这个到手概率转眼从相称可不雅的水平断崖式跌落到接近零，就施展AI在这里遇到了一个无法跳跃的退却。

这就像登山队走到了一段极难的岩壁面前——不管之前累积了几许高度，一朝到了这里，赓续进取的概率趋近于零。更灾祸的是，一朝越过这个退却点，即便拼集走下去，后续扫数要领的到手率也都会保持在极低水平。因为最先就一经"垮掉"了，后头再怎么致力也不著生效。

在强化学习的语境中，这意味着什么？当AI在一批任务上进行进修时，系统会同期让AI尝试归并个任务好屡次，然后比较哪些尝试到手了、哪些失败了，从对比中索取学习信号。但淌若扫数尝试都以失败告终——因为那说念峭壁就在那里——那么到手与失败之间就莫得任何互异可以比较，梯度（也便是模子学习的驱能源）归零，进修透顶卡死。

要道在于，这个问题不是多试几次就能解决的。不管你让AI尝试十次、一百次照旧一千次，只须它的技艺自己莫得冲突阿谁要道瓶颈，收尾都是一样的失败。这是一个结构性问题，不是统计性问题。用登山来譬如：光是不敢越雷池一步登攀归并面峭壁，不给绳子和本领解救，任何次数的尝试都是突然。

**二、行为数据如何化身"向导绳子"：换取机制的使命旨趣**

既然AI我方翻不外峭壁，那就给它一根绳子。ACTGUIDE-RL的中枢转变，就在于如何把东说念主类的操作记载调动为这根"向导绳子"。

扣问团队率先作念了一个要道实验，来考据这根绳子是否确凿有用。他们遐想了两个度量方针：一个是在有参考动作序列换取下，AI的每一步动作与莫得换取时收支几许（称为"换取影响力"）；另一个是在被换取到某个气象之后，淌若把换取拿掉，AI能不可靠我方从这里赓续走到尽头（称为"前缀可达性"）。

实验收尾非常澄澈，而且相宜直观。关于粗浅任务，AI从一运行就有相称大的把合手能到手，给不给换取永别不大，两个方针都比较沉稳。关于中等难度任务，有些阶段换取的影响力会转眼飙升——那正是遇到退却的位置——越过阿谁点之后，AI靠我方的到手率会昭彰回升。而关于贫瘠任务，不换取时AI的到手率重新到尾接近于零，但换取数据在要道退却处会产生巨大的影响力，一朝被换取越过阿谁节点，后续靠我方赓续完成任务的概率就会回到可不雅的水平。

这个发现至关进军。它施展换取数据并不是在替AI作念决策，而是在帮它找到"那扇打不开的门"的位置，然后换取它穿往日。穿往日之后，AI依然需要靠我方的推理技艺赓续前进。这就像给登山队在最难的岩壁上提前打好了固定锚点和绳子——队员照旧得靠我方的膂力和本领爬，但阿谁底本无法通过的要道路段，当今有了可以抓合手的支撑。

在具体已毕上，扣问团队遴荐了一种非常纯粹的注入方式：把参考动作序列算作一段"畴昔行为参考筹商"，成功附加在职务领导词里。比如，任务领导后头会随着一段施展："以下是一份参考行为轨迹，你可以参考这些要领来完成任务，但这份轨迹可能不完整，你仍需自行判断并完成剩余要领。"接着列出若干条具体操作，开云体育中国官方网站入口如"第一步：搜索XXX；第二步：探访某网页；第三步：搜索YYY……"

这种方式与"将就AI原样复制动作"有本色区别。AI读到这段参考筹商后，依然需要用我方的推理技艺来通晓、判断，甚而可以偏离参考轨迹，只是有了一个参照系让它不至于在要道歧路口迷失宗旨。扣问团队还对比了其他注入方式，比如把参考动作算作AI一经输出的内容成功前置（强制前缀），或者模拟成多轮对话历史。实验标明，算作"参考筹商"放在领导词里的后果最好，AI能在顺从参考的同期保持更纯确凿推理。

**三、给几许换取才合适：最小打扰原则的精妙均衡**

找到了向导绳子之后，新的问题来了：给几许绳子才算合适？

名义上看，既然换取有用，那换取越多越好。但扣问团队发现，这个直观是诞妄的。过多的换取会带来一个隐患——离计谋风险（off-policy risk）。这个主张用登山譬如来通晓很直不雅：淌若全程都有东说念主拖着AI爬，最终天然到了山顶，但AI学到的是"被拖着爬的嗅觉"，而不是"我方爬山的妙技"。进修时靠换取爬往日了，测试时莫得换取，照旧不会。

更本领性地说，当AI在有换取的气象下生成的行为轨迹，与它在莫得换取时天然生成的轨迹互异越大，这批进修数据关于进修"无换取版AI"来说就越不可靠。这种互异会累积放大，导致学习信号不褂讪，最终不仅莫得匡助，反而可能让进修朝诞妄宗旨走。

为了量化这个风险，扣问团队测量了"累积对数比率偏移"——豪迈说便是有换取时AI的每一步弃取，与无换取时比拟偏差了几许，把扫数要领的偏差加起来。实验收尾画出了一幅非常直不雅的图：随着换取比例从20%擢升到100%，这个累积偏差的平均值稳步增大，而且更要道的是，偏差的波动幅度（也便是不褂讪性）增长得更快。这意味着换取越强，进修数据的质地越不褂讪，反而会牵累学习后果。

这个发现催生了ACTGUIDE-RL最中枢的遐想原则：最小打扰原则。粗浅说：能不换取就不换取，必须换取时用最少的换取量。

具体操作是这么的：关于每一说念进修题，系统领先让AI在莫得任何换取的情况下尝试若干次。淌若有哪怕一次到手，那就太好了，成功用这些无换取的数据进修即可，根底不需要启动换取机制。只好当扫数无换取尝试全部失败时，系统才会探究引入换取。

而且换取并不是一股脑全部给出，而是分层递进的。参考动作序列被切分红若干段：提供前1步、前2步、前3步……直到全部要领，变成一个从弱到强的换取梯队。系统会用二分查找的方式高效找出"最少需要给出几许步参考动作，才能让AI至少有一次到手"，就用这个最绪论导量，未几给一步。

这个机制的精妙之处在于它的自适合性。关于稍许难小数的任务，可能只需要给前3步的参考，后头AI就能我方惩处；关于非常难的任务，2026世界杯赛事竞猜中国官网可能需要给出前15步甚而更多。换取量动态匹配任务难度，既冲突了退却，又把离计谋风险限定在最低限定。

**四、学到的东西如何变成信得过的技艺：搀和策略优化的内化机制**

有了最小打扰的换取机制，还有终末一说念坎要跨：如何把在换取放学到的东西，信得过内化成AI在莫得换取时也能使用的技艺？

这个问题的本色是：换取只在进修时存在，测试时AI是沉寂使命的。淌若AI只是学会了"有换取时该怎么作念"，那进修再好也没用。必须让它把有换取时赢得的锻真金不怕火，调动为无换取时的内在才略。

扣问团队遴荐的决策叫作念搀和策略优化。在每一轮进修中，系统会同期处理两种开始的数据：一种是AI在莫得任何换取的情况下自主生成的轨迹；另一种是AI在有换取的情况下生成的轨迹。这两种轨迹被搀和在一齐，用于更新归并个模子。

要道在于如何处理这两种数据的"计价方式"。强化学习中有一个进军主张叫进军性比率——它计划的是"咱们当今进修的模子"与"生成这批数据时的模子"在行为上的差距，用来修正学习信号的权重。关于无换取轨迹，比率的谋划方式很模范，成功比较两个版块的无换取模子即可。但关于有换取轨迹，扣问团队作念了一个要道诊疗：分母用的是"生成数据时的有换取模子"，而分子用的是"现时进修的无换取模子"。

这个遐想的含义是：咱们承认这批数据是在换取匡助下生成的，但咱们但愿把这份功劳记在无换取模子的账上，让无换取模子从这些锻真金不怕火中获益，缓缓学会在莫得换取的情况下也能走到那些之前到不了的场所。这就像进修轮上学会了骑自行车，然后通过老到迟缓去掉进修轮，最终已毕自主骑行。

实考据明这个机制是不可或缺的。扣问团队专门作念了消融实验——便是把某个组件去掉，望望后果会差几许。去掉搀和策略优化这个组件后，模子在三个主要测试集上的收获大幅下滑，施展淌若莫得这个"内化通说念"，换取放学到的锻真金不怕火就无法信得过调动为无换取技艺，白白糜掷了进修资源。

**五、实战推崇：数字背后的故事**

表面再完好，最终照旧要用数据讲话。扣问团队在四个难度递进的搜索智能体测评集上进行了全面测试，每个测评集都代表一类实在的复杂任务场景。

GAIA测评集是一个综合性的智能助手技艺测试，包含需要深度推理和辘集搜索的实在问题，分为三个难度品级。WebWalkerQA测试的是智能体在复杂网页中多跳推理的技艺，包含680说念需要跨多个页面抓取信息才能回话的问题。XBench专注于评估深度搜索技艺，测验智能体在广度和深度上检索和整合信息的综合推崇。BrowseComp-ZH则是一个汉文互联网环境下的复杂网页浏览基准，包含289说念需要跨多个主流汉文搜索引擎考据的问题。

以Qwen3-4B-Instruct这个基础模子为例，它是阿里巴巴Qwen系列中一个相对紧凑的模子。在莫得任何额外进修的情况下，它在GAIA上只可拿到15.53分，在WebWalkerQA上仅有3.82分，XBench上14分，BC-ZH上7.96分。可以看出这个基础模子在复杂搜索任务上的技艺相称有限。

加上模范的强化学习进修（莫得换取）之后，收获有所擢升：GAIA涨到了25.24，XBench涨到了18，BC-ZH涨到了15.26，但WebWalkerQA只涨到12.06——因为WebWalkerQA对这个模子来说太难，充满了那些技艺界限以外的"峭壁"地带，模范强化学习遭逢了严重的停滞。

换上ACTGUIDE-RL之后，时势都备不同了。GAIA跃升至35.92，擢升幅度卓越10个百分点；WebWalkerQA从12.06飙升至39.85，一跃提高了近28个百分点；XBench从18涨到37，BC-ZH从15.26涨到20.41。罕见是WebWalkerQA的擢升，简直让东说念主难以置信——这正是因为这个测评集包含了大批超出基础模子技艺的贫瘠任务，恰正是ACTGUIDE-RL最擅长匡助冲突的场景。

这种擢升规章在其他基础模子上一样建立。Qwen3-8B是一个更强的模子，即使用模范强化学习也能取得可以的收尾，但ACTGUIDE-RL在此基础上仍然带来了褂讪的额外增益。Qwen2.5-3B和Qwen2.5-7B这两个稍旧的系列模子，一样从ACTGUIDE-RL中赢得了跨板块的全面擢升。一个真谛的细节是：模范强化学习在某些模子上出现了技艺倒退的情况——比如Qwen2.5-7B在GAIA上的分数反而从22.32跌到了11.65，Qwen3-8B在BC-ZH上也有幽微雕残。ACTGUIDE-RL则有用拦阻了这种雕残，因为自适合换取能让进修数据的难度长久与模子现时技艺匹配，而不是在它安坐待毙的任务上反复消耗。

另一个进军的对比实验是与"SFT+RL"经由的比较。扣问团队用阿里巴巴自研的Tongyi-DeepResearch-30B-A3B大模子蒸馏出了4000条高质地的完整推理轨迹，用这批数据先作念监督微调热身，再接强化学习进修。这是业界公认的模范最优决策，但亦然最不菲的决策。ACTGUIDE-RL在不作念任何监督微调预热的情况下，取得了与这个两阶段经由相称的总体收获。更值得关注的是，监督微调这一步会镌汰模子在非搜索任务上的通用技艺——比如科学推理、事实判断、指示罢黜等技艺都出现了昭彰下滑——而地说念用ACTGUIDE-RL进修的模子则简直莫得这种技艺退化，在这三类额外测试上防守了与基础模子相称的水平。

**六、进修过程中AI在偷偷变灵巧：知道技艺的不雅察**

除了最终的测评分数，扣问团队还对进修过程自己进行了缜密不雅察，发现了一些颇为真谛的风物。

随着进修鼓动，被换取数据匡助冲突退却的任务比例不息加多，有用进修样本的障翳面越来越广，这施展AI的技艺界限在实在膨胀，而不单是是在原有技艺范围内反复打磨。与此同期，在莫得换取的测试轮次中，AI平均自得实施的交互要领数从进修初期的约4步，稳步增长到接近10步；生成的内容长度也从简陋4000个词元增长到接近12000个词元。这意味着AI不单是是在特定任务上变强，而是在主动习得一种"宝石深挖"的行为模式——遇到复杂问题时不放荡放手，自得花更多要领去回首和考据。

为了考据这种更多要领的交互是确凿有用而非无效消耗，扣问团队作念了一个真谛的实验：在测试时把AI能实施的最大交互步数从2步缓缓盛开到32步，不雅察收获变化。收尾夸耀，在2步限定下收获极低，随着步数限定缓缓放宽，收获不息稳步上涨，直到32步时达到最优。这有劲地讲解了AI照实学会了如何有用期骗更多的交互轮次，而不是在糜掷要领。

扣问团队还专门测试了行为数据的"噪声容忍度"——也便是淌若参考动作序列里混入了一些无关或诞妄的操作，后果会下落几许。实验中，他们迅速往参考轨迹里插入与任务无关的干扰动作。收尾夸耀，当干扰比例在10%以内时，收获简直莫得昭彰下落，甚而在GAIA上略有擢升（可能是幽微的千般性引入了正面后果）；当干扰比例升到20%时，收获才出现比较昭彰的下滑。这施展ACTGUIDE-RL对执行中不可幸免的数据质地问题有相称强的鲁棒性，不需要对行为数据进行极其严格的清洗才能使用。

2026美加墨世界杯中国认证平台

扣问团队还探索了一种名为"在线策略自蒸馏"的替代决策，算作对比基准。这个决策的想路是：不主动生成换取轨迹，而是让AI用无换取方式开脱探索，但在优化时以"有换取版模子"的输出算作学习宗旨，相称于用有换取版AI算作憨厚来带领无换取版AI的每一步。实验夸耀这个决策照实能带来一定的擢升，但后果昭彰弱于ACTGUIDE-RL。原因在于：淌若AI我方探索不到要道气象，即使憨厚的带领再好，也无从应用，根底问题莫得被解决。

**七、扣问的界限与畴昔可能**

任何扣问都有其适用范围和未波及的问题，ACTGUIDE-RL也不例外，扣问团队在论文中坦诚地列出了几个值得赓续探索的宗旨。

面前的主要实验聚合在搜索智能体这一特定场景——AI需要搜索网页、浏览页面往返话问题。弃取这个场景有其合感性：搜索任务莫得复杂的永久气象，行为数据相对容易汇集，任务难度也便于援助。但ACTGUIDE-RL的底层旨趣是通用的，表面上一样适用于操作图形界面的GUI智能体、使用敕令行的CLI智能体、调用API的器具型智能体，乃至在造谣或执行物理环境中操作的具身智能体。将方法推行到这些场景，考据其普适性，是无庸赘述的下一步。

在换取机制自己，面前遴荐的是相对粗浅的筹商式换取——把参考动作列成一份清单附在领导词里。更细粒度的换取方式，比如在每一步实施时动态注入现时步的参考、笔据AI及时气象诊疗换取强度，有时能在保持后果的同期进一步镌汰离计谋风险，这些都值得深化扣问。

数据的汇集和处理方式一样是一个被成心留待后续的问题。如何从现存的各类互联网用户行为日记、系统操作记载、应用表率交互数据中高效索取有价值的行为序列？如何进行质地过滤和模式模范化？这些工程性问题与算法扣问同等进军，但本文并莫得系统探讨。

说到底，这篇扣问的中枢孝敬可以用一句话轮廓：它讲解了"怎么作念"的数据可以弥补"为什么这么作念"的数据的缺失，何况找到了一套方法让AI在参考"行为舆图"的同期，信得过学会自主导航。这关于镌汰AI智能体进修的本钱门槛、拓宽可进修任务的范围，都有切实的兴趣兴趣。关于关爱AI如何更好地匡助东说念主类完成复杂任务的读者来说，这正是那些让AI变得更实用、更夷易近东说念主的基础性使命之一。但愿探索完整本领细节的读者，可以通过arXiv编号2605.12004查阅原论文。

---

Q&A

Q1：ACTGUIDE-RL中的行为数据具体是什么，从那儿来？

A：ACTGUIDE-RL中的行为数据是东说念主类或AI系统实施任务时留住的操作要领记载，比如搜索了哪些要道词、探访了哪些网页，只包含"作念了什么动作"而不包含推理过程。在这篇扣问中，行为数据来私用阿里巴巴自研的大模子对进修任务进行采样，索取正确轨迹中的器具调用称号和参数，算作参考筹商注入给待进修的小模子。执行中，这类数据也可以来私用户操作日记、GUI交互记载、游戏行为数据等。

Q2：为什么ACTGUIDE-RL要刻意减少换取量，换取越多不是应该后果越好吗？

A：直观上换取越多越好，但实验发现恰恰相背。换取越强，AI在有换取时产生的行为轨迹与它在莫得换取时的天然行为差距就越大。这批轨迹用于进修"无换取版AI"时，学习信号会变得非常不褂讪，因为AI需要学习一种它在测试时根底不会遇到的情境。ACTGUIDE-RL测量了这种"离计谋风险"，发现换取比例越高，风险方差增长越快。因此最好策略是用最少的换取冲突退却，其余部分让AI我方完成。

Q3：ACTGUIDE-RL和传统的先作念监督微调再作念强化学习的决策比拟，最大的区别是什么？

A：传统SFT+RL决策需要准备包含完整推理链的高质地示范数据2026世界杯赛事竞猜最新版V2026.FIFA，本钱高且每换场景需要再行准备。ACTGUIDE-RL只需要"作念了什么动作"的行为记载，不需要完整的推理过程，数据获取本钱大幅镌汰。实验中ACTGUIDE-RL在四个主要测试集上取得了与SFT+RL相称的总体收获，且不会像SFT那样损伤模子在非宗旨任务上的通用技艺，在科学推理、事实判断、指示罢黜等技艺上均未出现退化。