小模型，大成果：通过分解实现卓越的意图提取

Danielle Cohen*¹，Yoni Halpern∗¹，Noam Kahlon¹，Joel Oren¹，Omri Berkovitch¹，Sapir Caduri¹，Ido Dagan^†1,2，Anatoly Efros†¹

¹谷歌， ²巴伊兰大学

通讯作者：daniellecn@google.com, yhalpern@google.com

摘要

从用户界面交互轨迹中理解用户意图仍然是智能代理开发中的一个具有挑战性但至关重要的前沿领域。虽然基于数据中心的、多模态大型语言模型（MLLMs）具有更大的能力来处理这些序列的复杂性，但较小的模型在设备上运行，能够提供隐私保护、低成本和低延迟的用户体验，但在准确推断意图方面存在困难。我们通过引入一种新颖的分解方法来解决这些限制：首先，我们执行结构化的交互总结，捕捉每个用户动作的关键信息。其次，我们使用一个微调的模型在聚合的总结上执行意图提取。这种方法即使在资源受限的模型中也能改善意图理解，甚至超越大型MLLMs的基础性能。

1 引言

多模态大型语言模型（MLLMs）能力的提升，引起了对使用电话和网页图形界面的用户交互序列进行建模的兴趣，这既是为了自动化（Wang等人，2024b；Jiménez-Ramírez，2024），也是为了理解（Berkovitch等人，2025；Zhang等人，2025）。

在这项工作中，我们专注于用户意图提取任务，该任务包括从与设备的一系列交互中产生用户推断意图的自由形式描述。

大型MLLMs在这方面自然相当擅长，然而，对于较小的模型来说（例如，Gemini 1.5 Flash 8B（Gemini团队等人，2024）或Qwen2 VL 7B（Wang等人，2024a）），这是一个更具挑战性的任务。较小模型的性能对于用户交互任务很重要，因为它们能够在私有的、设备上的环境中运行，如手机或浏览器，具有降低的成本、能耗和延迟（Xu等人，2024）。

在本文中，我们介绍了一种使用小型模型提取用户意图的两阶段方法。在第一阶段，每个原子交互被总结。在第二阶段，将总结的完整序列输入到第二个模型中，该模型输出一个意图。整体流程如图1所示。使用公共UI自动化数据上的语义等价度量，我们的两阶段方法在与小型模型和最先进的大型MLLM相比时，无论数据集和模型类型如何，都展示了优越的性能。我们的方法还自然地处理了传统监督微调方法难以应对的噪声数据场景。从工程角度来看，架构的模块化特性是有帮助的，使我们能够详细评估方法并识别改进的关键领域。

我们的贡献可以总结如下：1. 我们描述了一种有效的意图提取分解方法，释放了小型模型的潜力；2. 我们提出了与分解的每个阶段相关的非平凡设计组件；3. 我们广泛评估了我们的方法，并在一系列数据集、基础模型和度量标准上展示了我们方法的有效性。

2 背景

2.1 从UI交互中提取意图

我们将意图提取任务正式化，有时称为目标理解，类似于先前的工作Berkovitch等人（2025年）和Zhang等人（2025年）。考虑一个用户旅程T，在移动或Web应用程序中表示为一系列交互：T = (I[6], I[7], ..., I[8])，其中每个交互I[9] = (O[10], A[11])由一个观察结果O[12]和用户在该步骤执行的动作A[13]组成。这个描述是通用的，不同的建模方法使用了不同的观察和动作表示（例如，文本描述、屏幕截图图像、DOM层次结构等）（Rawles等人，2023年；Burns等人，2022年）。意图提取任务的目标是生成一个自由形式的句子来描述用户的意图。实际上，这个设置可以被看作是UI自动化任务的逆问题，输入和输出互换了位置。我们不是从指令中生成动作序列，而是问“用户试图用这个轨迹完成什么？”。意图提取已被确定为UI自动化任务、主动帮助和个性化记忆的重要构建块（Berkovitch等人，2025年；Zhang等人，2025年）。₁, I₂, ..., I_n), where each interaction I_i = (O_i, A_i) consists of an observation, O_i, and the action, A_i, the user performed at that step. This description is general and different modeling approaches have used different representations for observations and actions (e.g., textual descriptions, screenshot images, DOM hierarchies, etc.) (Rawles et al., 2023; Burns et al., 2022). The objective of the intent-extraction task is to generate a free-form sentence describing the user’s intent. Effectively, this setting can be thought of as the inverse problem of the UI automation task, with inputs and outputs swapped. Rather than producing a sequence of actions from an instruction, we ask “what was the user trying to accomplish with this trajectory?”. Intent extraction has been identified as an important building block for UI automation tasks, proactive assistance, and personalized memory (Berkovitch et al., 2025; Zhang et al., 2025).

图1：提出的意图提取流程（在第4节中有详细描述）。将个别交互（输入为动作字符串和屏幕截图）进行总结，然后将总结合并，以输出一个简短的推断意图，对应于轨迹。总结步骤使用动作字符串和视觉屏幕信息，输出一个结构化的总结，包含两个字段，对应屏幕总结（顶部，蓝色）和用户动作（底部，红色）。

非常近期，一些工作开始着手解决从UI交互中提取意图的问题。Berkovitch等人（2025年）提出了这个新颖的任务，并且似乎是第一个指出它可以被视为UI自动化任务的逆任务的人。他们评估了MLLM意图提取性能在UI自动化数据集上的表现（交换输入/输出角色）。作为输入，他们考虑了屏幕截图图像和用户动作的文本描述，正如我们在我们的工作中所做的那样，并使用了一种相当简单的问题引导方法来评估标准MLLMs的性能。在我们的工作中，我们遵循这种评估方法，同时测试了他们提示的改进版本作为基线。Zhang等人（2025年）也在UI自动化数据集上评估了他们的SummAct模型，但只考虑了用户交互的特定UI元素和相应的用户动作的简短文本描述，而没有考虑全局屏幕上下文，正如我们所做的那样。与我们的方法大致相似，他们将意图生成分解为两个连续的阶段，尽管这些阶段与我们的方法有显著的不同，并且需要干预LLMs的注意力机制进行微调（详见附录H对两种方法的详细比较）。最后，UI-JEPA模型（Fu等人，2025年）将整个UI会话的视频作为输入。他们的方法采用了一种专门的视频嵌入方法，适用于UI会话的视频，然后微调了一个LLM解码器，基于这些嵌入生成意图描述。总体而言，SummAct、我们的工作和UI-JEPA考虑了不同类型的输入，提供了越来越丰富的上下文，复杂性逐渐增加：“局部”用户动作及其相应UI元素的文本描述，考虑到整个屏幕图像，并处理整个会话的完整视频（分别）。未来的工作需要彻底探索这些替代输入在不同场景下的优缺点。¹

在评估模型预测意图时，一个好的意图应当是忠实的：仅描述轨迹中实际发生的情况；全面的：提供关于用户意图的所有必要信息，以便重新执行轨迹；相关的：不包含超出全面性所需之外的多余信息。然而，即使有明确的地面真实意图，准确评估模型提取的意图也是具有挑战性的。用户意图通常包含许多细节，如旅行计划的具体内容或交易数据，这需要能够处理部分匹配的指标。这类指标分为两类：语义的，分析潜在含义；词法的，评估表面级的词重叠。正如Caduri等人（2025年）所示，词法指标（例如，BLEU和ROUGE）与人类对意图相似性的判断相关性较差，因为它们仅仅比较单词。相比之下，语义指标，如NLI（自然语言推理）和BI-Fact（FActScore（Min等人，2023年）的双向变体），努力捕捉预期的含义。

此外，意图提取本质上是主观的，因为单一轨迹可能由多个潜在动机驱动（例如，用户可能基于价格或出发时间选择航班）。这种主观性在先前的工作中是显而易见的，例如Berkovitch等人（2025年）的研究中，人类编写的意图在网页和电话轨迹中分别只有80%和76%的匹配率。这种人类同意的水平可能被认为是这个任务性能的实际上限。

2.2 UI交互数据集

最近，为了评估UI交互代理，已经开发了许多数据集（在Wang等人（2024b）中进行了调查）。我们使用了两个具有代表性且适合测量意图提取任务的数据集。我们确认我们对数据的使用符合所有道德和法律标准。Mind2Web（CC BY 4.0许可）（Deng等人，2024年）：在网站上有2,350个人类演示。每个用户轨迹平均有7.3个步骤长，并且包含每个步骤的屏幕截图和动作，以及对人类被要求执行的任务的高级描述。

AndroidControl（Apache 2.0许可）（Li等人，2024年）：有15,283个例子是人类在Android应用上执行任务。每个用户轨迹平均有5.5个步骤长，并且包含每个步骤的屏幕截图和动作，以及对目标的高级描述。

Mind2Web的数据收集包括了一个验证步骤，其中注释员验证了完成的轨迹步骤与意图之间的对应关系，这使得这个数据集非常适合意图提取任务。这个关键步骤在AndroidControl的收集协议中缺失，导致标签更加嘈杂。例如，考虑以下任务“删除来自发件人X的所有邮件”，在一个没有来自该发件人的邮件的场景中。基于任务的执行，我们无法确定原始目标是删除邮件。我们在第5.2节中预处理标签，以移除明显无关的陈述，并在第6.2节中分析标签与轨迹之间剩余差异的影响。

2.3 相关研究线路

人机交互理解对于HCI 单屏幕总结作为图像描述的一个特例，已被广泛研究，用于例如，无障碍性、自动化和问答（例如，Li等人，2021b；Bai等人，2021；Li和Li，2022；Wang等人，2021；Yang等人，2025）。我们在Berkovitch等人（2025）；Zhang等人（2025）；Jiménez-Ramírez（2024）中最近提出了从轨迹中识别和总结意图的设置。

多阶段总结将复杂任务分解为更小、更简单的阶段是解决问题的众所周知的方法。在许多模态的总结任务中，如文本（Christensen等人，2014）、音频（Li等人，2021a）、视频（Zhao等人，2022；Cheng等人，2024）中，分层模型很常见。链式思维（CoT）推理（Wei等人，2022）是一种流行的通用提示方法，用于将问题分解为更小的部分。Khot等人（2022）提出了一种自动分解步骤，将问题的不同部分委托给不同的模型调用。

3 基线建模方法

在本节中，我们首先介绍了解决我们任务的自然基线方法，其经验教训引导我们开发了将在第4节中描述的分解的两阶段方法。我们的任务是一个文本生成任务，其中意图描述是从UI轨迹的多模态输入生成的。因此，通过多模态LMs应用基于提示或微调的方法来解决它是最自然的。我们的工作重点是探索使用小型LMs，以便最终在设备上使用。使用的特定模型在第5.1节中指定，包括一个顶级大型模型作为参考点。

基于提示的方法这些方法的优势在于它们不需要训练数据，通过提示来指导通用语言模型。我们发现CoT提示效果最佳。具体来说，我们的CoT提示（见I1）指示模型首先生成一系列对每个UI交互中用户意图的单独描述，然后将这些交互级别的描述整合成最终的描述，即沿着轨迹累积的用户意图。

微调模型由于提示通用模型的性能可能与预期的任务输出不完全一致，且基于提示的小型语言模型的性能通常有限，我们还探索了基线微调方法。为此，我们使用可用的训练数据集对小型模型进行了微调，特别是那些为UI自动化逆问题开发的数据集，同时交换它们的输入/输出角色（见第2.2节）。

无论是基于提示的还是微调的基线方法，都需要一个大的上下文窗口来包含整个用户轨迹，包括图像。如第5.1节所述，实际上这需要对输入进行一些过滤以适应可用的上下文大小。

4 分解的两阶段模型

虽然CoT提示与大型语言模型（LLMs）配合得很好，但我们观察到，当面对完整的轨迹时，无论是CoT还是微调的小型LMs都存在局限性。当应用CoT推理时，小型模型在生成覆盖完整轨迹的高质量思维方面存在困难。微调的小型模型在从完整轨迹生成全面意图方面也存在问题。

这些观察促使我们开发了一个分解的、两阶段的方法，该方法模仿了CoT过程，如图1所示。首先，我们使用提示为轨迹中的每个交互（包括视觉截图和文本动作表示）生成摘要。这一阶段是基于提示的，因为目前没有带有交互摘要标签的训练数据。其次，我们将所有交互级别的摘要输入到第二阶段模型中，以生成整体意图描述。我们在第二阶段应用微调，并在下面（第4.2节）详细描述该过程。以下小节提供了我们提出的方法中每个阶段的详细描述。

4.1 交互摘要

在第一阶段，我们总结了轨迹T = (I_i , . . . , I_i, A_i )中每个单独的用户交互I₁的长度-n。_n总结过程使用视觉和文本信息来提取与用户在该交互中的目标和行动相关的相关信息。这一阶段的输出是屏幕上下文和用户行动的摘要（见图1）。这些描述特定用户交互的关键信息将在随后的融合阶段使用。这个总结过程完全是基于提示的（见I3）。

我们在这一阶段的设计中增加了以下两个改进，如第6.3节的消融研究中所示，这些改进提高了整体性能。

上下文窗口虽然主要任务是独立理解I，但我们也认识到上下文往往对于消除歧义和/或不确定性至关重要。因此，除了I之外，模型还接收前一个和后一个交互作为输入，分别是I_i i 1_{和 I} i+1_{，分别。这允许模型使用例如当前和下一个屏幕截图中的视觉线索来理解第i步的用户行动。}结构化摘要我们要求摘要由两个不同的部分组成：(a) 相关屏幕上下文——当前屏幕上的一组突出细节O，以及 (b) 用户行动：用户在当前交互中采取的一系列中等层次的行动（示例见图1）。尽管分为两个字段，但截图中的视觉线索也被用来理解行动（例如，在图1中，视觉线索有助于提取点击与页面的“Adirondack”部分相关）。作为处理模型输出其（无根据的）对用户潜在意图解释的实际措施，我们还指示它将这些输出到第三个字段（标记为“推测意图”），我们在进入下一阶段之前将其丢弃。

选择这种结构化格式是为了应对使用其他提示策略时遇到的挑战。简单地要求模型简洁导致的摘要缺乏关键细节。相反，提示获取全面信息，包括用户意图，导致过多的猜测，这可能会阻碍随后的摘要融合阶段。我们的结构化格式旨在捕捉更广泛的信息，同时允许在第二阶段之前移除推测性元素。这种平衡方法减少了矛盾的风险，并改善了整体的总结过程。_i4.2 生成会话级意图

This structured format was selected to address challenges encountered with alternative prompting strategies. Simply asking the model to be concise resulted in summaries that lacked crucial details. Conversely, prompting for comprehensive information, including user intent, led to excessive speculation that could hinder the subsequent summary fusion stage. Our structured format aims to capture a broader range of information while enabling the removal of speculative elements prior to the second stage. This balanced approach mitigates the risk of contradictions and improves the overall summarization process.

4.2 Generating Session-Level Intent

在第二阶段，我们将第一阶段提取的信息进行汇总。第二阶段模型的输入是轨迹中所有交互的摘要，以推断用户的整体意图。这个聚合阶段是通过微调一个模型来实现的，使其专门从事上述的聚合工作。微调的训练数据包括：a. 表示轨迹中所有交互的输入摘要，以及 b. 一个相应的、描述给定轨迹中用户整体意图的真实目标。为了进行比较，在我们的消融研究的第6.3小节中，也提供了一个没有微调的变体，这是一个完全基于提示的版本。

我们在早期探索中注意到，简单地应用微调会产生一个模型，该模型通过引入屏幕上摘要输入中不存在的细节来润色或虚构。进一步检查后，我们发现训练过程鼓励模型这样做，因为输入可能是不完整的摘要，而目标是完整的意图陈述。因此，当查看（输入，目标）对时，模型学习到它有时需要添加额外信息才能产生目标意图。

根据这一见解，我们在训练时细化我们的目标意图，去除那些在相应输入中没有反映出来的细节（使用大型语言模型，有关此阶段使用的提示的详细信息，请参见图I5）。这确保了模型将学会仅基于提供的交互摘要来推断意图。我们将在第6.3小节讨论这个清理阶段的影响。

5 实验设置

5.1 模型

我们专注于可以进行微调的小型多模态模型。特别是，我们使用Gemini 1.5 Flash 8B（Gemini团队等，2024年）和Qwen2 VL 7B（Apache 2.0许可证）（王等，2024a）。为了与MLLM进行比较，我们使用Gemini 1.5 Pro（Gemini团队等，2024年）。² 当使用Qwen2 VL 7B作为基线模型时，如果轨迹超过了上下文窗口的长度，我们会随机删除其中的帧。我们发现将轨迹限制在15步以内足以运行我们的实验。当输入到Qwen模型时，我们还将AndroidControl图像的每个维度缩小了4倍。微调的详细信息可以在附录B中找到。

5.2 数据集和预处理

我们使用Mind2Web（Deng等，2024年）和AndroidControl（Li等，2024年）数据集作为代表性的用户交互数据集。我们遵循每个数据集的标准训练/测试分割，使用训练数据进行微调，并在测试数据上报告结果。

We use the Mind2Web (Deng et al., 2024) and AndroidControl (Li et al., 2024) datasets as representative user interaction datasets. We follow the standard train/test split of each dataset, fine-tuning with train, and reporting results on test data.

在Mind2Web中，我们以文本形式表示数据集中的动作：（例如，“[元素名称]点击”或“[元素名称]悬停”。）。在AndroidControl中，我们使用辅助功能树将交互项的屏幕坐标转换为元素名称，并以相同的方式格式化动作。在这两个数据集中，我们使用屏幕截图作为观察结果。我们在截图中用红色框突出显示交互元素（Zheng等人，2024年；Yang等人，2023年）。为了改进用户意图解释的评估，数据集中的目标标签已被清理和重构，以分离平台特定信息和核心意图，详见附录A。

5.3 评估指标

我们使用两种不同的语义等价度量标准来衡量提取目标的质量。

T5 NLI（Honovich等人，2022年）：一个为自然语言推理（NLI）训练的T5-XXL模型。我们计算产生的摘要与黄金标准的蕴含概率，反之亦然，然后取两个值的平均值得到一个单一的双向分数。³ BiFact（Caduri等人，2025年）：一种用于评估UI交互中意图等价性的FActScore（Min等人，2023年）的双向变体，与人类判断相比，显示出最高的相关性。这个度量标准使用LLM（我们使用Gemini 1.5 Pro进行此操作）将真实意图和预测意图分解为它们的基本事实组件。然后比较这些组件以衡量覆盖范围。我们使用BiFact的精确度（预测意图中存在的事实比例），召回率（真实意图中被预测意图捕获的事实比例）和F1。为了评估我们方法的稳健性，我们应用了BiFact度量标准，使用了实验中未使用的替代模型。结果保持一致（附录E）。

我们相信，BiFact使用细粒度的事实级比较，非常适合我们的任务，因为意图可以由许多部分组成（例如，预订航班，航班是去LAX，航班是周五）。NLI整体评估整个句子的逻辑蕴含，不太理想，但提供了额外的信号。

6 实验

6.1 评估提取的意图

为了证明我们的分解方法通常比基线在不同模型和数据模态上更有帮助，我们在两个不同的数据集上使用两个不同的模型评估第5.3节中的指标。结果如表1所示。

To show that our decomposed approach is generally helpful compared to baselines across models and data modalities, we evaluate the metrics in Section 5.3 on two different datasets using two different models. The results are displayed in Table 1.

在此表中，CoT（思维链）和E2E-FT（端到端微调）代表第3节中描述的自然基线。在这两个基线中，没有一个在所有设置中都更有效。在Mind2Web数据集上，该数据集的标签更干净（在2.2节中描述），作为更强的基础模型，Gemini在使用CoT时具有更高的BiFact F1和Bi-NLI分数，而Qwen2 VL 7B则从微调中受益。Gemini 1.5 Pro CoT作为与顶级大型MLLM的比较。我们发现在Mind2Web上，微调的分解方法使得Gemini Flash 8B甚至超过了使用CoT的Gemini 1.5 Pro模型的性能。在AndroidControl上，得分是可比的。

BiFact分数是非确定性的，因为它使用LLM来计算分数。我们在重复时观察到0.016的标准差。在附录F中可以找到按保留数据类型划分的测试集性能的更详细分解。

手动验证 - 人类偏好：为了进一步验证，一个人类评分者比较了20个Mind2Web轨迹，这些轨迹是从Gemini Flash 8B得到的意图预测，选择CoT和Decomposed-FT响应（详细信息在附录D中）。总体而言，Decomposed-FT在12个实例中被优先选择，CoT在4个实例中被优先选择，另外4个被评定为相等。

6.2 标签质量和与专家编写意图的比较

为了理解预处理后的标签质量（在第5.2节和附录A中描述），我们按照(Berkovitch等人，2025)中的注释协议，为AndroidControl数据集中的100个示例征求了专家编写的意图声明。在表2中，我们将提出意图的BiFact F1指标与数据集标签以及与专家编写的意图进行了比较（更详细的指标在附录表5中）。

总体而言，与专家注释相比，每个模型的性能都有所提高，除了E2E-FT模型，该模型是在嘈杂的标签上训练的。微调的分解方法也使用了微调，并且可以预期会因为训练在嘈杂的标签上而遭受同样的问题，但实际上在使用专家意图进行评估时性能显著提高。我们相信这是因为我们在构建微调标签的方法（第4.2节）中移除了在黄金标签中存在但在摘要中缺失的信息。有趣的是，在清理AndroidControl数据后，Gemini 1.5 Pro CoT的性能与Mind2Web上的性能相似，这表明数据集之间的性能差距主要是由数据噪声造成的。

6.3 消融研究

我们考虑了我们方法的四种变体，以估计每个设计选择的影响。这些消融的性能可以在表3中找到。

无上下文在这种变体中，第一阶段只提供了一个交互，没有之前的或接下来的交互。我们的分析显示，结合前一个和下一个交互的信息显著有助于模型推断当前屏幕上的用户行为，从而导致第一阶段的召回率明显提高。

非结构化交互级摘要我们的方法指导模型输出结构化的交互摘要，这些摘要在结构上分解为上下文、用户行为和一个推测性的意图列表（在进入下一阶段之前被移除）。相反，我们允许自由形式的摘要，这些摘要的连接被提供给目标提取。指导模型输出这些特定的结构化响应，允许第二阶段模型一方面专注于用户行为，同时尽可能减少第一阶段的幻觉。由于在我们的方法中消除了这一部分，我们注意到精确度和召回率都有轻微的下降。

未微调在这种消融实验中，我们模型的第二阶段没有进行微调，仅依赖于基于提示的方法运行。我们的发现表明，这种配置导致精确度显著下降。未经微调的模型倾向于更加冗长，导致生成更高比例的不相关或错误信息。相反，这种冗长性有助于提高召回率，因为它捕获了更广泛的可能性信息。然而，当考虑平衡精确度和召回率的F1分数时，微调后的第二阶段版本显示出更优越的性能，强调了微调过程的好处。为了完整性，附录G提供了对更大模型的这种基于提示的方法的分析。

	Mind2Web				AndroidControl
方法	F1	BiFact 精确度	召回率	Bi-NLI	F1	BiFact 精确度	召回率	Bi-NLI
Gemini Flash 8B
CoT	0.659	0.758	0.647	0.326	0.594	0.628	0.660	0.302
E2E-FT	0.653	0.676	0.671	0.311	0.611	0.655	0.656	0.343
Decomposed-FT	0.752	0.814	0.746	0.391	0.630	0.664	0.688	0.350
Qwen2 VL 7B
CoT	0.563	0.694	0.551	0.272	0.538	0.589	0.603	0.280
E2E-FT	0.610	0.670	0.621	0.233	0.506	0.594	0.546	0.343
Decomposed-FT	0.623	0.736	0.609	0.300	0.608	0.661	0.646	0.333
Gemini-1.5-Pro
CoT	0.730	0.773	0.745	0.331	0.634	0.612	0.767	0.347

表1：在Mind2Web和AndroidControl数据集上使用Gemini 1.5 Flash 8B、Qwen2 VL 7B和Gemini 1.5 Pro的BiFact和Bi-NLI结果。每个模型的最佳得分方法加粗显示。F1、精确度、召回率是数据集上的微平均值。

方法（Gemini-1.5 Flash 8B）	专家标签	数据集标签
CoT	0.652	0.580
E2E-FT	0.590	0.565
Decomposed-FT	0.701	0.596
Gemini-1.5-Pro CoT	0.724	0.635

表2：使用专家注释和数据集标签作为真实标签，在AndroidControl数据集上对BiFact F1分数进行意图预测的比较。更详细的表格出现在附录C中。

无标签细化回忆一下，标签细化是为了应对第二阶段的幻觉而添加的。在这个变体中，我们在准备用于第二阶段模型微调的数据时，排除了标签细化步骤，如第4.2节所述。正如预期的那样，在移除这个步骤后，我们注意到精确度显著下降。然而，我们也看到了召回率的轻微增加，这表明在细化过程中有潜在的改进空间。

方法	F1	精确度	召回率
分解微调（Decomposed-FT）	0.752	0.814	0.746
- 无上下文	0.711	0.794	0.698
- 无结构	0.731	0.791	0.737
- 未微调	0.724	0.719	0.802
- 无标签细化	0.738	0.756	0.773

表3：使用BiFact分数对Mind2Web进行消融研究。Decomposed-FT模型是完整模型，随后的每一行展示了移除单一设计组件的效果。

6.4 手动错误分析

为了更深入地了解分解微调模型产生的错误，我们手动分析了20个示例。

每种错误类型后的括号内表示数量。一些示例表现出多种错误类型，因此数量不一定加起来等于示例总数。

屏幕理解错误（6）包括模型误解UI元素或错误理解用户行为的情况。

总结遗漏（6）包括模型未能捕捉重要屏幕细节的情况，例如在旅游网站上遗漏目的地。

幻觉（4）包括生成屏幕上不存在的信息的情况，例如声称用户选择了特定项目，而实际上没有。

图2：在Mind2Web数据集上对我们的方法进行错误传播分析，使用Gemini Flash-8B进行测试，追踪真实事实和预测事实以获得阶段级别的召回率和精确度。

不相关细节（0）包括模型包含了正确但过多的信息的情况。虽然这种错误在我们的完整模型中没有出现，但在消融研究中使用的“无格式”模型中却很显著（第6.3节）。

意图提取遗漏（8）包括第二阶段未能包含个别总结中出现的重要细节的情况。

评估错误（1）这些错误不常见，通常涉及需要复杂屏幕理解来确定意图等价性的情况。

大多数问题出现在交互总结阶段，这表明对这一阶段进行蒸馏训练可能会带来潜在的好处。初步实验显示蒸馏没有显著改进。需要进一步调查。

6.5 误差传播分析

从分解的FT方法中获得正确的意图需要第4节中的两个阶段有效协同工作。在本节中，我们使用意图和摘要的BiFact分解，研究了两个阶段的误差传播。

当交互总结阶段遗漏了一个事实（交互总结遗漏）或者事实存在于第一阶段但在意图提取阶段被错误地删除时（意图提取遗漏），可能会发生遗漏事实，导致召回率降低。引入了一个不相关或不正确的事实，导致精确度降低，这个事实可能在交互总结阶段被引入并通过意图提取传播（总结引入），或者它可能未出现在交互总结阶段而在意图提取阶段被引入（意图提取幻觉）。

我们使用分解的FT模型对Mind2Web测试集的分析如图2所示。左侧关注召回率，显示总结过程导致了16%的真实事实丢失。随后，意图提取进一步将剩余的事实减少了18%。实际上，每个阶段引入了相似程度的错误。右侧描述了精确度分析，显示分解的FT预测的8%的事实实际上是幻觉。这个低幻觉率归因于训练期间采用的标签处理技术。之后，20%的剩余预测事实存在于总结中但不存在于真实事实中，表明交互总结输出中的不正确或不相关的信息以及意图提取器的过滤问题。我们提出这个分析框架，用于评估未来的两阶段意图提取方法，旨在优化未来的努力并评估每个阶段对整体性能的影响。

7 计算成本和延迟分析

我们对我们的方法与基线方法的预期计算成本和延迟进行了比较分析。为了提供可靠的数据，我们依赖于已发布的大型语言模型运行时性能基准，从中可以估计预期运行时间是调用次数和输入输出令牌数量的函数。我们更倾向于这种计算而不是直接测量我们计算环境中的运行时间，因为它不提供容易的方法来隔离精确计算时间与网络流量和资源竞争等混淆因素。我们根据gemini开发者API的定价报告计算成本，并使用来自https://artificialanalysis.ai的独立数据（截至2025年6月）报告预期延迟。

模型	输入令牌	输出令牌	每百万美元的价格（等式1）	延迟（等式2）
端到端	1839	20	191.9	0.24
链式思维（Chain of Thought）	1961	127	246.9	0.43
分解的前向传播（Decomposed Forward Transfer）	2103	622	600	0.6
分解的前向传播（Latency-optimized）	2009	514	406.5	0.24

表4：计算成本和延迟的总结

第1部分：估计的总计算成本这是生成意图描述的估计成本，包括所有涉及的大型语言模型（LLM）调用的总和。

(1)

第2部分：从最后一次用户交互到意图描述可用于进一步处理（例如，用于生成后续建议或自动化）的延迟。延迟计算假设在用户会话期间，每次交互步骤结束时都生成了所有屏幕摘要。因此，会话结束时的延迟只涉及生成最后一个屏幕的摘要和从所有摘要中生成意图的调用。

我们进一步测量了延迟优化分解变体的延迟。在这种变体中，不是总结最后一个屏幕，而是将视觉输入直接与所有前一个屏幕的摘要一起提供给意图生成，因此只产生意图生成LLM调用的延迟。这种变体与原始分解前向传播模型相比，质量没有损失。

(2)

当输入在100-1K个标记之间时，输入的大小似乎是一个可以忽略的因素 ⁴.

图像估计为固定的256个标记。总的来说，从分解前向传播方法中获得的性能提升确实伴随着比我们在这里量化的小模型基线高出2-3倍的计算成本。原始的分解前向传播方法预计会增加延迟，这可能是在延迟敏感的应用中会遇到的问题，但是一个避免在最后进行额外模型调用的小变体可以在不损失质量的情况下解决这个问题。

与大型模型的比较 Gemini 1.5 pro的每标记成本比Gemini 1.5 Flash 8B高出30倍以上 - 因此，即使分解前向传播在小型模型上的成本比基础链式思维高出2-3倍，但在Flash 8B上运行该过程仍然比在Gemini pro上运行链式思维更便宜。Gemini 2.5 pro的输出标记速度大约慢5倍，首次回答标记的时间慢100倍，因此使用分解前向传播带来的额外延迟比使用大型模型带来的延迟要小。

8 讨论

我们的研究利用了为自动化设计的数据集来解决用户意图识别的挑战，尽管它们存在固有的局限性，如噪声和信息缺口。我们观察到，仅微调无法超越链式思维，特别是在噪声数据场景中。然而，我们的两阶段分解展示了优越的性能，无论数据质量如何都带来了显著的改进。这种改进可以归因于清理过程以及提示和微调的结合，有效地缓解了数据噪声的影响。

此外，我们的方法显著减少了单个屏幕截图的存储占用，通过独立总结每个屏幕，从而最小化了表示所需的标记数量。这种标记使用的减少对于上下文窗口有限的设备模型尤其有益，使它们能够更有效地处理更长的轨迹。

9 道德考量与风险

自主代理提供了显著的创新，但其开发需要仔细的道德考量，特别是关于用户隐私的问题。我们的研究旨在从UI交互中解释用户意图，这本质上涉及敏感数据。我们特别研究可以在设备上运行的小模型，从而减少了一些与将数据传输到外部服务器相关的隐私风险。此外，准确理解用户意图可以通过增强个性化、提高工作效率以及便于将来在设备上回忆过去的活动，极大地惠及用户。虽然这项工作侧重于意图理解，但开发能够自主完成动作的代理需要极其小心。必须彻底解决与用户意图的不一致性和需要健全的保护措施，以确保负责任的部署。

10 局限性

我们承认我们的数据集与现实世界用户行为之间存在几个差异。数据集主要以英语和以美国为中心的网络交互为特征，限制了我们的分析仅限于这一特定人群。相比之下，现实世界的用户经常在多个应用程序之间导航，实时调整他们的目标，并表现出不同程度的数字素养，导致更复杂和不可预测的交互模式。Mind2Web数据集的单一网站限制进一步偏离了典型用户任务的多站点性质。此外，我们的研究依赖于Android和网络环境，限制了我们的发现对其他平台的普遍适用性。

参考文献

Chongyang Bai, Xiaoxue Zang, Ying Xu, Srinivas Sunkara, Abhinav Rastogi, Jindong Chen, 等人。2021年。UiBERT：学习通用的多模态表示以理解UI。arXiv预印本arXiv:2107.13731。

Omri Berkovitch, Sapir Caduri, Noam Kahlon, Anatoly Efros, Avi Caciularu, 和 Ido Dagan。2025年。从UI轨迹中识别用户目标。在ACM Web会议2025年伴侣程序中，第2381-2390页。

Andrea Burns, Deniz Arsan, Sanjna Agrawal, Ranjitha Kumar, Kate Saenko, 和 Bryan A Plummer。

一个交互式视觉-语言导航数据集，其中包含未知命令的可行性。在欧洲计算机视觉会议中，第312-328页。施普林格。

Sapir Caduri, Anatoly Efros, Noam Kahlon, Danielle Cohen, Yoni Halpern, 和 Ido Dagan。2025。Bi-fact: 一种基于双向分解的从UI轨迹中提取意图的评估方法。arXiv预印本 arXiv:2502.13149。

Dingxin Cheng, Mingda Li, Jingyu Liu, Yongxin Guo, Bin Jiang, Qingbin Liu, Xi Chen, 和 Bo Zhao。2024。通过基于事件的分层记忆增强长视频理解。CoRR。

Janara Christensen, Stephen Soderland, Gagan Bansal 等。2014。层次化摘要：扩展多文档摘要。在计算语言学协会第52届年会（第1卷：长篇论文）中，第902-912页。

Xiang Deng, Yu Gu, Boyuan Zheng, Shijie Chen, Sam Stevens, Boshi Wang, Huan Sun, 和 Yu Su。2024。Mind2web：面向网络的通用智能体。神经信息处理系统进展，36。

Yicheng Fu, Raviteja Anantha, Prabal Vashisht, Jianpeng Cheng, 和 Etai Littwin。2025。Ui-jepa：通过屏幕上的用户活动主动感知用户意图。在用户建模、适应和个性化，UMAP 2025（即将出现）中。

Gemini Gemini团队, Petko Georgiev, Ving Ian Lei, Ryan Burnell, Libin Bai, Anmol Gulati, Garrett Tanzer, Damien Vincent, Zhufeng Pan, Shibo Wang 等。2024。Gemini 1.5：解锁跨数百万上下文标记的多模态理解。arXiv预印本 arXiv:2403.05530。

Or Honovich, Roee Aharoni, Jonathan Herzig, Hagai Taitelbaum, Doron Kukliansy, Vered Cohen, Thomas Scialom, Idan Szpektor, Avinatan Hassidim, 和 Yossi Matias。2022。TRUE：重新评估事实一致性评估。在北美计算语言学协会2022年会议：人类语言技术论文集，第3905-3920页，西雅图，美国。计算语言学协会。

A Jiménez-Ramírez。2024。一种基于屏幕截图的任务挖掘框架，用于揭示变量人类行为背后的驱动因素。信息系统，121:102340。

Tushar Khot, Harsh Trivedi, Matthew Finlayson, Yao Fu, Kyle Richardson, Peter Clark, 和 Ashish Sabharwal。2022。分解提示：解决复杂任务的模块化方法。arXiv预印本 arXiv:2210.02406。

Daniel Li, Thomas Chen, Albert Tung, 和 Lydia B Chilton。2021a。层次化摘要用于长篇口语对话。

在第34届年度ACM用户界面软件与技术研讨会上，第582-597页。

Gang Li 和 Yang Li。2022。焦点：使用视觉语言模型的移动UI理解。arXiv预印本 arXiv:2209.14927。

Toby Jia-Jun Li, Lindsay Popowski, Tom Mitchell, 和 Brad A Myers。2021b。Screen2vec：GUI屏幕和GUI组件的语义嵌入。在2021年CHI会议上的人机交互因素论文集，第1-15页。

李伟，威廉·毕晓普，李爱丽，克里斯·罗尔斯，福拉维奥·坎贝尔-阿贾拉，迪维亚·蒂亚姆古ンド卢，奥里亚娜·里瓦。2024年。关于数据规模对计算机控制代理的影响。arXiv预印本arXiv:2406.03679。

Min Sewon, Kalpesh Krishna, Lyu Xinxi, Mike Lewis, Wen-tau Yih, Pang Koh, Mohit Iyyer, Luke Zettlemoyer, Hannaneh Hajishirzi。2023年。Factscore：长文本生成中事实精确性的细粒度原子评估。在2023年自然语言处理经验方法会议论文集中，第12076-12100页。

Christopher Rawles, Alice Li, Daniel Rodriguez, Oriana Riva, Timothy Lillicrap。2023年。Androidinthewild：大规模Android设备控制数据集。神经信息处理系统进展，36:59708-59728。

Bryan Wang, Gang Li, Xin Zhou, Zhourong Chen, Tovi Grossman, Yang Li。2021年。Screen2words：使用多模态学习自动总结移动UI。在第34届年度ACM用户界面软件与技术研讨会上，第498-510页。

Peng Wang, Shuai Bai, Sinan Tan, Shijie Wang, Zhihao Fan, Jinze Bai, Keqin Chen, Xuejing Liu, Jialin Wang, Wenbin Ge等。2024a。Qwen2-vl：在任何分辨率下增强视觉-语言模型的世界感知。CoRR。

Shuai Wang, Weiwen Liu, Jingxuan Chen, Weinan Gan, Xingshan Zeng, Shuai Yu, Xinlong Hao, Kun Shao, Yasheng Wang, Ruiming Tang。2024b。具有基础模型的GUI代理：全面调查。arXiv预印本arXiv:2411.04890。

Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V Le, Denny Zhou等。2022年。链式思考提示在大型语言模型中引发推理。神经信息处理系统进展，35:24824-24837。

Jiajun Xu, Zhiyuan Li, Wei Chen, Qun Wang, Xin Gao, Qi Cai, Ziyuan Ling。2024年。设备上的语言模型：全面回顾。arXiv预印本arXiv:2409.00088。

Jianwei Yang, Hao Zhang, Feng Li, Xueyan Zou, Chunyuan Li, Jianfeng Gao。2023年。Set-of-mark提示在gpt-4v中释放了非凡的视觉基础。arXiv预印本arXiv:2310.11441。

Yuhao Yang, Yue Wang, Dongxu Li, Ziyang Luo, Bei Chen, Chao Huang, Junnan Li。2025年。Aria-ui：为GUI指令提供视觉基础。在2025年ICLR野外基础模型研讨会上。

Guanhua Zhang, Mohamed Adel Naguib Ahmed, Zhiming Hu, Andreas Bulling。2025年。Summact：通过交互行为总结揭示用户意图。在2025年CHI计算机人因学会议上，CHI ’25，纽约，NY，美国。计算机协会。

Bin Zhao, Maoguo Gong, Xuelong Li。2022年。层次化多模态转换器总结视频。神经计算，468:360-369。

Boyuan Zheng、Boyu Gou、Jihyung Kil、Huan Sun和Yu Su。2024。Gpt-4v（vision）是一个通用的网络代理，如果基于实际应用的话。在第四十一届国际机器学习会议。

A 预处理细节

Mind2Web和AndroidControl数据集的数据预处理流程涉及了几个定制的步骤。对于图像预处理，我们采取了一种全面的方法，将整个屏幕截图按需调整大小以符合模型输入规格，故意避免使用基于补丁的方法。对于Mind2Web数据集，首先通过裁剪到统一的大小1280×768来处理全网页截图。这个裁剪是通过用户交互的边界框特别定义的，确保在图像被调整大小之前，这个决定动作的关键区域在随机边界内被捕获。相比之下，AndroidControl数据集的移动屏幕截图大小统一为1080×2400，只需要调整大小和随后的视觉叠加一个由可用用户动作坐标派生的边界框。动作提取过程也有所不同：Mind2Web直接提供动作细节（包括目标元素的边界框坐标等信息），而对于AndroidControl，需要使用其坐标（定义其边界框）来识别交互的UI元素，然后通过辅助功能树检索其名称。请注意，在Mind2Web上的Gemini实验中，我们还根据域名过滤了示例，以符合Google扩展政策。⁵测试集的大小从1005减少到681。

对于提取的黄金标准目标，我们使用每个数据集的高级目标。如第2.2节所述，AndroidControl的注释过程不如Mind2Web严格，导致标签噪声较多。此外，AndroidControl的标签旨在模拟真实的用户指令，通常包含无法从轨迹中推断出的无关信息（例如，“我饿了，从DoorDash订购一份橄榄披萨”）。为了减轻这种噪声的影响，我们使用Gemini 1.5 Pro（提示在I2中）清理了标签。这种清理仍然不能完全提供像Mind2Web验证过程那样的干净目标。我们发现，即使在应用基于提示的清理后，对100个示例进行手动验证（遵循Berkovitch等人（2025）的注释协议），也会改变30%的标签意图。

最后，对Mind2Web和AndroidControl的目标应用了常见的预处理步骤。我们注意到，交互数据中通常可以获得特定的应用程序或网站名称。然而，这些平台特定信息并不能直接或一致地从屏幕截图和动作序列的视觉输入中推断出来。为了解决这个问题，我们通过编程将这些平台标识符从核心用户意图中隔离出来，将标签重构为“appname/website; intent”的格式。这种方法具有双重目的：它保留了有助于上下文微调的平台信息，同时也允许在评估前简单地移除这些标识符。这种移除确保了我们的评估准确反映了模型解释用户意图的能力，而不是其识别特定平台的能力。因此，任何由于平台识别对评估指标产生的扭曲效应都被防止了，这很重要，因为平台识别并不是本研究的主要焦点。

B 细节微调

对于微调过程，我们对Gemini和Qwen模型采用了略有不同的方法，基本上遵循了既定的做法。

Gemini模型的微调是按照类似于在https://ai.google.dev/gemini-api/docs/ model-tuning中描述的程序进行的。使用了1e-6的学习率，没有进行特定的超参数调整，使用了16的批量大小。训练最多进行两个周期，并且每20步保存一次检查点。选择的Gemini模型是在其相应的验证数据上达到最小负对数似然的模型，实际上采用了一种基于这个指标的早停策略。同样，对于Qwen2-VL-7B模型，我们遵循了Hugging Face VL微调食谱中概述的方法论。⁶这包括采用作者推荐的超参数，例如默认的学习率2e-4。由于内存限制，对于Qwen，我们使用了1的批量大小。训练也进行了最多两个周期，并且按照教程建议的，每20步保存一次检查点。与Gemini模型一致，最终的Qwen模型是选择在验证数据上最小化负对数似然的模型。对于AndroidControl数据集，我们使用了5000个训练示例和从训练集中随机抽取的137个验证示例。对于Mind2Web，我们使用了900个训练示例和90个验证示例。

C 专家注释标签

表5扩展了主文中表2的结果，提供了在AndroidControl数据集上与专家注释和原始数据集标签进行比较的详细BiFact精确度和召回率分数，以及F1分数。从这些数字中可以明显看出，当评估专家标签时，召回率的增加特别显著。这表明原始数据集标签中包含的许多事实实际上并未在记录的用户交互轨迹中实现（或无法实现）。因此，与专家注释标签相比实现的更高召回率更准确地反映了模型在可验证和可实现意图上的性能。

D 人类偏好注释

我们向评估者展示了完整的屏幕截图和动作轨迹，然后问了以下问题：“在你看过轨迹后，哪个意图更好地描述了轨迹？A还是B。” 选项A和B包含CoT或Decomposed-FT。每个问题中的两个选项的顺序是随机的，且方法的名称没有显示给受访者。只有在评估者完成任务后，才进行选择到模型名称的解码。

	专家标签			数据集标签
	F1	精确度	召回率	F1	精确度	召回率
Gemini Flash 8B
CoT	0.652	0.674	0.714	0.580	0.600	0.663
E2E-FT	0.590	0.636	0.623	0.565	0.626	0.601
Decomposed-FT	0.701	0.714	0.762	0.596	0.639	0.655
Gemini-1.5-Pro
CoT	0.724	0.688	0.862	0.635	0.617	0.746

表5：使用专家注释和数据集标签作为真实标签，在AndroidControl数据集上对BiFact F1、精确度和召回率分数进行意图预测的比较。

一	Mind2Web				AndroidControl
方法		BiFact精确度	召回率	Bi-NLI	F1	BiFact精确度	召回率	Bi-NLI
Gemini Flash 8B
CoT Decomposed-non-FT	0.660	0.751	0.656	0.326	0.594	0.628	0.660	0.302
	0.718	0.717	0.792	0.221	0.528	0.488	0.719	0.185
Gemini-1.5-Pro
CoT	0.721	0.761	0.740	0.331	0.634	0.612	0.767	0.347
Decomposed-non-FT	0.732	0.700	0.859	0.213	0.512	0.441	0.791	0.228

表6：使用Gemini 1.5 Flash 8B和Gemini 1.5 Pro在Mind2Web和AndroidControl数据集上的BiFact结果。

	域未见 F1 精确度召回率		F1 精确度		任务未见召回率		网站未见精确度召回率
Gemini Flash 8B						F1
CoT	0.767	0.641	0.651	0.717	0.655	0.692		0.664
E2E-FT	0.656 0.665	0.686 0.686	0.606	0.631	0.618	0.674	0.786 0.618	0.694
Decomposed-FT	0.747	0.800 0.752	0.732	0.823	0.710	0.817	0.899	0.785
Gemini-1.5-Pro
CoT	0.723	0.774	0.734	0.731	0.762	0.762	0.756	0.785 0.774

表7：在Mind2Web测试集的不同子集上基于BiFact的详细性能分解。

E 使用替代大型语言模型进行评估的结果

为了证明我们的发现对于评估指标所依赖的基础模型选择具有鲁棒性，我们在表8中展示了我们主要结果的复制。在这项分析中，我们用Gemini Flash替换了BiFact所使用的LLM，即用Gemini Pro。

结果显示，整体性能趋势和评估模型的相对排名保持一致，这证实了我们的主要结论并不依赖于特定的评估LLM。

F详细的测试集性能分解

Mind2Web（Deng等人，2024年）和AndroidControl（Li等人，2024年）的测试集包含多种类型的未见数据。在本附录中，我们提供了BiFact在测试集每个子集上的性能得分的更详细分解。

在Mind2Web测试集上的详细性能分解，如表7所示，提供了关于模型泛化能力的几个关键见解。正如预期的那样，使用Gemini Flash 8B的标准端到端微调（E2E-FT）模型在之前未见过的任务（TASK UNSEEN）和未见过的网站（WEBSITE UNSEEN）上的表现不如COT方法。然而，在DOMAIN UNSEEN类别中，其表现与COT模型相当。这种模式表明，尽管E2E-FT模型可能对其训练数据中存在的特定任务和网站特征进行了某种程度的调整，但在更广泛的领域级别处理全新的任务类型的能力并未进一步受损，与基于提示的COT方法相比。相比之下，Decomposed-FT模型（Gemini Flash 8B）表现出色，在所有三个具有挑战性的未见类别（DOMAIN、TASK和WEBSITE UNSEEN）中，其表现均持续超过COT和E2E-FT方法。此外，在这些泛化场景中的表现超过了更大的Gemini 1.5 Pro（COT）模型，特别是在未见领域和网站上。这种稳健的表现可以归因于为Decomposed-FT模型采用的精细微调方案。这种全面的方法——包括使用提示进行结构化交互摘要、通过标签细化进行仔细的数据清理，然后在这些处理过的、质量更高的输入上进行微调——使模型对与常规微调相关的常见问题（如过度拟合训练集特定性或对标签噪声的敏感性）显著不那么脆弱。表7在将Decomposed-FT模型（使用Gemini Flash 8B）与Gemini-1.5-Pro模型进行比较时突出显示的主要限制是其在TASK UNSEEN类别中的召回率略低（Decomposed-FT为0.710，Pro为0.762）。这个特定的差距表明，尽管训练方案非常有效，但可能从接触到更多样化的任务示例中受益，以进一步增强对完全新颖任务的泛化能力，即使这些任务是在熟悉的网站或领域上下文中遇到的。

G 对非微调的Decomposed消融的详细分析

为了提供一个完整的画面并回答关于我们的方法性能的潜在问题，而无需对意图提取阶段进行关键的微调，本节提供了对我们分解方法的非微调消融的更深入分析。表6展示了非微调分解消融与CoT基线的比较。由于这两种方法都不需要微调，我们可以展示它们在小型和大型模型上的性能。值得注意的是，我们的完整方法Decomposed-FT在非微调分解变体和CoT基线上都取得了超越，如表3的消融研究和表1所示的CoT基线所证明。表6的结果表明，非微调分解方法在Mind2Web数据集上表现出色，但在Android Control数据集上表现不佳，这一趋势在小型和大型模型大小上都是一致的。这种性能差异可以归因于非微调分解方法固有的冗长性，它生成的每个预测意图的平均原子事实数量比CoT多。具体来说，对于Android Control，非微调分解方法产生了平均4.0个事实，而CoT为2.5个，而黄金标准为3.0个事实。对于Mind2Web，这些数字分别为Decomposed的4.4个和CoT的2.8个，而黄金标准为4.4个事实。这种增加的冗长性与非微调分解方法在两个数据集上观察到的较低精度相关。相反，它也与Decomposed方法在Mind2Web上的事实级性能（BiFact）相关，其中黄金注释本身比Android Control的注释更冗长。正如我们的主要结果所示，对第二阶段模型的后续微调明显提高了精度，通过训练模型只选择最终意图形成中最相关的事实，从而显著提高了我们提出的方法的性能。

一	Mind2Web			AndroidControl
方法	F1	BiFact精确度	召回率	F1	BiFact精确度	召回率
Gemini Flash 8B
CoT	0.681		0.656	0.623		0.681
E2E-FT	0.678	0.796 0.726	0.680	0.651	0.675 0.72	0.679
Decomposed-FT	0.794	0.874	0.771	0.685	0.741	0.718
Gemini-1.5-Pro
CoT	0.746	0.805	0.757	0.701	0.695	0.811

表8：使用替代LLM复制主要结果（表1）。使用Gemini-Flash作为BiFact的底层LLM，而不是Gemini-Pro，对Mind2Web和AndroidControl数据集上的BiFact结果进行了复制。这证明了我们的主要发现对用于评估的底层LLM的选择具有鲁棒性。

H 与SummAct的比较

在SummAct（张等人，2025年）中，每个输入交互都表示为对特定用户界面元素及其相应用户动作的简短文本描述。意图提取随后分两个层次进行。首先，交互序列被总结为一个较短的中等层次子目标序列，使用少量提示。然后，子目标序列进一步总结为最终的高层次意图描述，使用一个微调模型，该模型被微调以产生第一步输出的黄金意图。虽然这种方法在将意图提取分解为两个后续步骤方面似乎与我们的方法有些相似，但两种方法在输入和分解步骤方面存在实质性差异。SummAct只考虑局部文本输入，仅描述用户交互的用户界面元素，而忽略了整个屏幕及其视觉布局。这限制了模型理解更广泛上下文的能力，例如用户未选择交互的元素，或可能影响用户行为的视觉线索。相比之下，我们的模型考虑了整个屏幕截图信息。因此，在我们的第一步中，模型为每个交互步骤生成了一个文本摘要，该摘要考虑了更广泛的屏幕上下文。随后，我们的第二步直接将这些交互级别描述总结为最终的高层次意图描述，使用一种复杂的微调方法，该方法同步了这一步骤的输入与黄金输出。这种方法不需要像SummAct那样生成子目标描述的中间步骤。此外，虽然SummAct的微调模型需要干预注意力机制才能表现良好，这在各种环境中可能无法访问或不切实际，但我们的微调方法允许我们按原样微调可用模型，无需进一步干预。SummAct的纯文本方法的一个潜在优势可能是计算效率，因为它消耗的输入更小，使用的模型调用次数更少。

我提示

图I1：CoT模型提示，作为第3节中描述的基线

图I2：AndroidControl清理提示，用于自动清理数据集，如第5.2节所述

图I3：交互摘要提示，用于总结单个屏幕交互，如第4.1节所述

图I4：会话级意图提示，用于将单个交互总结为单一意图，如第4.2节所述

图I5：标签细化提示，用于在微调步骤之前细化标签，如第4.2节所述

环境管理下的精简AI代理系统：架构约束的案例 架构约束有助于AI代理减少不必要的计算，更高效地使用计算资源，并加强治理。 文章•9分钟阅读（Environmental stewardship for

常见问题

环境管理下的精简AI代理系统：架构约束的案例架构约束有助于AI代理减少不必要的计算，更高效地使用计算资源，并加强治理。文章•9分钟阅读（Environmental stewardship for