浏览器内 GUI Agent 全景:Page Agent、browser-use、Stagehand、Skyvern 技术路线拆解

2026 年,让 AI 操作网页界面(GUI Agent)成了整个 Agent 赛道最拥挤的战场。阿里巴巴开源的 page-agent(GitHub 20k+ stars,MIT 许可)抛出一个大胆的思路:不从外部控制浏览器,而是让 AI Agent 直接"住进"网页里,一行 JavaScript 就能让任意 Web 应用听懂自然语言。

这个思路和主流的 Playwright、Puppeteer、browser-use 截然不同。它引出一个更大的问题:当 AI 要操作网页时,到底应该站在哪里、用什么方式"看"页面、又如何执行动作?

围绕这三个问题,业界已经分化出至少五条技术路线。本文把它们摆到一起,拆解各自的架构取舍与适用边界,帮你在自己的场景里选对工具。

一、先厘清一个核心问题:Agent 站在哪里?

所有浏览器 GUI Agent 的第一个分野,是运行位置。

传统自动化工具(Selenium、Playwright、Puppeteer)以及新一代的 browser-use,本质上都是从外部控制浏览器:你的代码跑在独立进程里,通过 Chrome DevTools Protocol(CDP)加 WebSocket 向浏览器发指令,再等待回执。用一个形象的比喻——浏览器是木偶,你的代码在外面拉线。

这种"外部控制"模式有它的优势(跨浏览器、可批量、能跑在服务器上),但也带来固有成本:需要独立进程、需要驱动、需要管理浏览器生命周期,而且脱离了用户真实的登录态和会话环境。

阿里 Page Agent 给出了第二种答案:Agent 就活在网页内部。它是纯页内 JavaScript,直接读写当前页面的实时 DOM,天然继承用户的登录态与权限,不需要任何外部进程或驱动。

理解了这个"站位差异",后面所有路线的分化就有了主线。

二、五条技术路线全景拆解

路线一:外部 CDP 驱动(Playwright / Puppeteer)

这是浏览器自动化的经典底座。

它们的定位是通用自动化与测试。对 AI Agent 来说,它们更多是"底层执行器"——上层的 Agent 框架往往在它们之上再包一层。纯用它们做 Agent,需要自己处理"如何把页面喂给 LLM、如何解析 LLM 的动作"这些活。

路线二:Agent 优先的结构化库(browser-use / Stagehand)

这一派在 CDP 底座之上,专门为 LLM Agent 做了封装。

这一派的共同点:以 DOM/无障碍树为主要感知方式,追求确定性和可读性,介于"脆弱的传统脚本"和"不可控的全自主 Agent"之间。

路线三:视觉 / 计算机使用(Skyvern / OpenAI Operator)

这一派放弃了对 DOM 的依赖,转而"像人一样看屏幕"。

视觉派的取舍很清晰:通用性换性能。视觉方式几乎能处理任何界面(包括 Canvas、视频这些 DOM 读不到的内容),但速度慢、成本高,需要滚动整页截图,还容易在"这个按钮现在到底能不能点"这类细微状态变化上翻车。

路线四:AI 优先的紧凑 CLI(Vercel agent-browser)

Vercel Labs 的 agent-browser 代表了一个新思路:为 AI 的上下文窗口而设计。

它是 100% 原生 Rust 的 CLI,核心创新在于把每个页面蒸馏成紧凑的无障碍树快照,给每个可交互元素分配一个短引用 token(如 @e3、@e7)。Agent 不再去解析原始 HTML、和脆弱的 CSS 选择器搏斗,而是直接引用这些 token 操作。官方称这种方式相比 JSON 或完整 DOM 能节省高达 93% 的上下文窗口。

它的定位不是给人写测试脚本,而是给 AI"省 token、省钱、省延迟"。

路线五:页内轻量嵌入(阿里 Page Agent)← 本文主角

Page Agent 走的是最独特的第五条路。

它的核心技术叫 DOM 脱水(Dehydration):运行在网页内部,把复杂的实时 DOM 树压缩成一个轻量级的 FlatDomTree 纯文本映射,去除冗余信息,给 LLM 一张干净的"文本地图"。LLM 推理出动作后,Page Agent 派发原生浏览器事件(click、input、scroll)执行。

关键特征:

一个最小示例:

import { PageAgent } from 'page-agent'

const agent = new PageAgent({
    model: 'qwen3.5-plus',
    baseURL: 'https://dashscope.aliyuncs.com/compatible-mode/v1',
    apiKey: 'YOUR_API_KEY',
    language: 'zh-CN',
})

await agent.execute('点击登录按钮,然后把用户名填成 John')

Page Agent 还提供了可选的 Chrome 扩展,可以把页内 Agent 的能力扩展到多标签页、甚至嵌入到其他 Web 应用中。下图是 Page Agent 浏览器插件在 Dify 平台里的实际应用 demo——用自然语言直接驱动 Dify 的界面操作:

Page Agent 浏览器插件在 Dify 里的应用 demo

值得一提的是,Page Agent 在 README 中明确致谢了 browser-use——它的 DOM 处理组件和 prompt 派生自 browser-use(同为 MIT)。可以说 Page Agent 是把 browser-use 的 DOM 理解能力"搬进了浏览器内部"。

三、五条路线横向对比

方案 运行位置 感知方式 语言/形态 核心定位 许可
Playwright / Puppeteer 外部进程 DOM / CDP JS/Python 库 通用自动化 + 测试底座 Apache/BSD
browser-use 外部进程 DOM + 无障碍树 Python 库 Agent 优先自动化 MIT
Stagehand 外部进程 DOM + 可选视觉 JS SDK(架于 Playwright) 原子操作 + Agent 混合 MIT
Skyvern / Operator 外部进程 / 云 截图视觉为主 Python / 托管服务 抗布局变化的视觉 Agent AGPL / 闭源
Vercel agent-browser 外部进程 无障碍树 + ref token Rust CLI 为 AI 省 token 开源
阿里 Page Agent 浏览器内(客户端) 文本 DOM(FlatDomTree) 页内 TypeScript Web 应用嵌入副驾 MIT

三个关键维度的本质分野

站位(外部 vs 页内):这是 Page Agent 与所有其他方案最根本的区别。页内运行意味着零基建、天然继承会话态,但也意味着它只能操作"当前这个网页"。

感知(DOM 文本 vs 视觉截图):

执行(拉线 vs 原生事件):外部方案通过 CDP 发指令;Page Agent 直接在页内派发原生 DOM 事件,更贴近真实用户行为。

四、benchmark 的真相:实验室高分 ≠ 真实可用

选型时有一个必须警惕的陷阱:基准测试分数具有极强的误导性。

业界最常用的 WebVoyager 基准只覆盖 643 个任务、15 个网站,且偏读取类任务,真实摩擦还没显现。各家 Agent 在上面刷到 90%+ 的成功率并不稀奇。

但一旦放到更真实、更动态的环境(如 Online-Mind2Web),成功率会大幅崩塌——多数 Agent 退回到接近早期基线的水平,只有 OpenAI Operator 在挑战性的真实环境中达到约 61%。

这个落差对所有 GUI Agent 都成立,也包括 Page Agent。选型时不要只看厂商宣传的 benchmark 数字,一定要在你自己的目标网页上实测。

五、选型指南:什么场景选什么

选 Page Agent

不适合:服务端批量自动化、爬虫、E2E 测试、Canvas 类图形界面。

选 browser-use / Stagehand

选 Skyvern / Operator

选 Vercel agent-browser

选 Playwright / Puppeteer

六、行业意义:GUI Agent 的"三条路"之争

把这五条路线抽象一下,其实是三种哲学的竞争:

  1. 外部控制派(Playwright/Puppeteer/browser-use/Stagehand/agent-browser):Agent 在外,浏览器是被操控对象。成熟、可批量、可跑服务端。
  2. 视觉识别派(Skyvern/Operator):Agent 像人一样看屏幕。通用性最强,成本最高。
  3. 页内嵌入派(Page Agent):Agent 住进页面。门槛最低、最贴近终端用户,但边界也最窄。

Page Agent 的真正价值不在于技术多么颠覆,而在于它把"给每个 Web 应用装 AI 副驾"的成本降到了几乎为零。MIT 许可 + 一行集成,让中小团队和独立开发者也能给产品加上自然语言交互。

这可能推动一个新趋势:AI 原生 Web 应用。未来的 Web 应用或许默认就带一个"页内副驾",用户不再需要学习复杂的界面,只要说出意图即可。而 GUI Agent 的三条路线大概率会长期共存、互相融合——服务端自动化用外部派,终端用户副驾用页内派,复杂动态界面用视觉派兜底。

小结

浏览器 GUI Agent 没有"银弹",只有"合适"。

阿里 Page Agent 最大的贡献,是证明了"页内轻量嵌入"这条路走得通,并把门槛降到了任何前端开发者都能上手的程度。当给网页装 AI 变得像加一个 <script> 一样简单时,真正的想象空间才刚刚打开。


免责声明:本文为技术分析文章,不构成任何投资建议。文中提及的开源项目、公司和产品不代表推荐或背书。技术选型请以实际测试数据为准,各项目的 star 数、下载量等数据会随时间变化。


参考来源


延伸阅读

🛒 京东 挑好物逛京东(Skechers杯具)

京东大促进行中,超值好物等你来选

去京东看看 →

* 京东联盟推广链接,你不需要多花钱,我们获得小额佣金

🟠 淘宝 淘宝百亿补贴专场

淘宝精选好物,超值优惠等你来抢

去淘宝看看 →

* 淘宝联盟推广链接,你不需要多花钱,我们获得小额佣金

🚀 立即体验 Rows.com

点击直达 Rows.com 官方网站,获取最新定价与功能

👉 访问官方网站

💎 通过此链接注册可获得 免费/$19起

🛒

推荐搭配装备

善其事,利其器。以下硬件能最大化你的数据分析体验👇

京东
📊
Dell U4323QE 43寸 4K显示器
数据可视化巨幕,一眼看全图表
¥5000-6500
🔵 京东 🟠 淘宝

🔗 通过以上链接购买可支持本站持续运营 🙏