跳转至
Gavin 每日简报 东京版

AI 工具日报 · 2026-11-01

AI 工具日报2026年11月1日 星期日 · 约 2 分钟

结论：本期只收一条，Vercel Labs 的 agent-desktop：让 Agent 通过系统的无障碍树（accessibility tree）读取和操作桌面 App，不靠看截图猜像素，最近 24 小时在 X 上走红。

覆盖时段：约 10-31 08:00 至 11-01 08:10（日本时间）。 去重：已按 reported.md、/workspace/news-top5/2026-11-01.md 和 /workspace/x-news/2026-11-01.md 去重，并跳过指定的条目。 收录标准：每条都实际打开过官方或一手页面。

1. agent-desktop（Vercel Labs，Apache 2.0 开源）

  • 一句话：用 Rust 写的命令行工具和 C 库，支持 macOS、Windows 和 Linux。它会给桌面 App 拍一次界面快照，返回一份 JSON，里面每个能操作的元素都有一个引用编号；Agent 按编号执行操作，再拍一次快照确认结果，全程不做像素匹配。
  • 为什么值得关注：元素编号很稳定，失败了也能安全重试，比基于截图的 Computer Use 更可靠，适合自动化那些没有 API 的老桌面软件。用 npm i -g agent-desktop 就能装，macOS 上需要授予辅助功能权限。官方提醒：快照、剪贴板内容和截图里可能有隐私数据，不要放进公开日志；可选的 JEV 辅助工具会把屏幕描述发给你配置的模型服务商。仓库建于 2026-02，已有约 4200 star，这次是走红，不是新发布。
  • 来源：GitHub README

未收录

  • 已覆盖或按指示跳过：Android Studio 开放给 Claude 和 Codex、Gemini API Computer Use 正式可用、Claude Code「禁止写出工作目录」开关、GitHub Actions 依赖锁文件、robots.txt AI 训练信号、Anthropic 自动化红队测试研究、Gemini Drops、Cloudflare 控制面重建、DeepMind PlanAssist、宝玉的 DeepSeek Harness 插件、Anthropic 用 Rust 重写 Messages API，以及你指定跳过的 5 条。Aura Autopilot、GPT-6.1 Terra 和 Pika H3 Flex 以前报过或已跳过。
  • 只有 X 摘要、没有打开一手页面：Glif AI 模特经纪、gpt-6-astra-law 出现在 API 定价页、ChatGPT 双账号切换、OpenAI “Museum of What Could Be” 视频。另外，agent-desktop 在 X 上流传的“52 步从 19.8 万 token 降到 3.1 万”这个数据，我没在一手页面核实，所以不写进正文。

值得 Gavin 关注

  1. agent-desktop：可以拿公司里一个只有桌面客户端的老系统，或者 Wi-Fi 感知设备的配置工具，用 Claude Code 加 agent-desktop 跑一个只读的流程，看看它比截图式的 Computer Use 稳多少；运行时注意别让快照内容进日志。