Evoui Browser正在做实验中

我为什么做 Evoui Browser

我想让 Agent 记住网站的入口和做过的操作,再遇到相似任务时,能用上之前的经验。

我平时用浏览器 Agent,事情通常能做完,但流程稍微长一点,就总觉得它太磨蹭。 同一个网站、同一类任务再来一次,很多熟悉的操作还是得从头走一遍。

每一步都在等

拿搜索筛选来说,打开页面、输入关键词、点击搜索、打开筛选,再选一个选项。 Agent 每做完一步,就要重新读取页面,让 LLM 决定下一步,然后再执行。 真正需要重新判断的地方可能不多,等待却在这些简单操作之间一轮轮累积。

逐步观察有它的好处,页面变了可以及时处理。但到了同一个网站,做的又是相似任务, Agent 还是要重新找入口、确认控件,再走一遍已经做过的操作。 我希望它能把上一次的经验用起来,至少少做一些重复的确认。

录下来,下次回放?

我最先想到的是,把第一次的操作录下来,下次原样回放。 但真实任务里,常常有一些必须看过当次内容才能做的决定。

比如让 Agent「选择一条合适的视频去收藏」。打开网站、搜索、设置筛选条件, 以及选定视频后的收藏动作,都有可以复用的部分。 至于这次选哪条视频,得重新看内容,不能继续用上次选中的那一条。

我把复用的范围缩小到这些确定的操作,遇到需要选择的地方,就让 Agent 接着做。 Evoui Browser 就是顺着这个思路做出来的。我想让 Agent 从做过的任务里记下有用的步骤,留到下次再用。

把操作和网站用法记下来

Evoui 会在任务完成后,从操作记录里挑出以后还用得上的内容。 我把这些内容分成了 Procedure 和 SiteMap。

Procedure 保存一段可以复用的机械操作,连同开始执行的条件和预期结果。 页面仍然匹配时,Replay 就能连续执行这段操作,省去步骤之间反复请 LLM 决定的过程。 需要选择目标的地方留在这段操作之外,由 Agent 根据当前内容判断。

SiteMap 记录网站有哪些功能、入口在哪里、页面怎么用, 也记下操作成功时会出现的信号,以及试过却行不通的路径。 Agent 下次再来,可以先看这些记录,不必从整个网站重新找起。

一次任务成功,也可能不产生新知识。Evoui 只留下有用的路线和步骤; 下次执行前,还要看当前页面是否适用。页面变了,或者执行结果不符合预期, 就停下回放,交给 Agent 处理。

看一次发票复核

我在仓库里放了一段发票复核演示。第一次运行时,Agent 要逐步找到发票页面和相关操作; 再次处理相似任务,SiteMap 帮它回到正确区域,Procedure 连续执行仍然适用的步骤。

发票复核演示封面:Agent 在操作后台查找需要复核的发票
发票复核演示76 秒 · 中文旁白 / 中英字幕

哪些发票可能重复、应该处理哪些记录,仍然要由 Agent 看过这一次的数据后决定。

什么时候有用

第一次运行仍然要探索网站、积累证据,不一定更快。 要等相似任务再次出现,而且页面和流程仍然匹配,之前留下的经验才能派上用场。

所以我更想拿它来处理同一个网站里经常重复的工作。 如果每次任务都不同,或者网站经常改版,能直接沿用的步骤就会少很多。