Windows11-mcp
Health Uyari
- License — License: MIT
- Description — Repository has a description
- Active repo — Last push 0 days ago
- Low visibility — Only 5 GitHub stars
Code Basarisiz
- exec() — Shell command execution in installer/app.py
Permissions Gecti
- Permissions — No dangerous permissions requested
Bu listing icin henuz AI raporu yok.
Better computer control for AI agents: human-like mouse and keyboard input plus UI Automation on Windows, with every action verified. Enhanced fork of CursorTouch/Windows-MCP.
Windows-MCP 1.6.0
让已连接的 AI 观察、操作并核对真实 Windows 应用
用途 · 功能与边界 · 下载安装 · 工具清单 · 更新记录 · 参数参考
工具用途
Windows-MCP 是运行在本机的 Windows 自动化 MCP 服务。连接 Claude Code、Codex 桌面端、DeepSeek Harness、Gemini CLI、Zcode 或 Trae 后,AI 可以读取真实窗口和控件、操作应用和网页,并通过状态或文件结果核对任务。模型与 AI 客户端由你选择,本项目不提供模型账号或云端算力。
本次发布:v1.6.0,文档更新于 2026-11-14。 整合第四至第六批统一真实输入、自然移动、动态控件跟随、人工接管、视觉落点复核和捕获进程复用。安装包在发布流水线完成后提供;正式安装包、验证记录和校验值以 GitHub Releases 为准。完整版本变化见 CHANGELOG。
| 组成 | 负责什么 |
|---|---|
| MCP 服务 | 提供 31 个工具,执行 UI Automation、真实鼠标键盘、受管浏览器、授权范围内文件操作与验证 |
| Skill | 告诉客户端如何选择工具、使用观察引用、处理审批和核对结果;Skill 本身不提供桌面执行能力 |
| 安装与维护管理器 | 检测客户端,接入 Skill + MCP,验证连接、修复、备份恢复、撤销安装与安全卸载 |
适合窗口控件操作、表单填写、应用内文本编辑、重复桌面流程和结果检查。网页聊天或云端模型需要能够连接本机 MCP 的客户端,打开本仓库网页不会自动获得桌面控制能力。

以上为 v1.5.0 在隔离验收环境中的真实界面截图(管理器布局沿用);客户端检测状态为测试夹具数据。
本项目基于 CursorTouch/Windows-MCP 二次开发,遵循 MIT 许可证,保留上游及第三方组件的许可声明。
功能简介
第四批:统一鼠标输入(1.6.0)
1.6.0 整合第四至第六批:第四批统一输入、目标复核和执行记录;第五批提供自然移动、动态目标和人工接管;第六批完成视觉局部复核、捕获进程复用和跨进程桌面协调。
| 能力 | 当前行为 |
|---|---|
| 鼠标优先策略 | Execute(mode="auto") 可按服务配置,对 click、double_click、right_click、hover 使用真实鼠标。显式 mode="physical" / "semantic" 优先于服务配置;其他动作保持原策略 |
| 统一拖拽 | 公开 Move(drag=True) 与点击、悬停共用 SendInput 后端;保留 from_loc / duration 参数,确认起点到达后才按下,结束或失败均执行必要释放 |
| 按下前复核 | Execute/Act,以及 Click/Type 的控件引用路径,在移动完成后、每次按下前重新核对身份、可见性、启用状态、边界和命中对象。目标变化时停止;裸坐标、无独立控件的词框及旧 MultiSelect/MultiEdit 的批量坐标路径无法提供同等的控件身份保证 |
| 取消与清理 | 移动和拖拽的等待分段检查取消、授权撤销;停止后的清理释放仍可执行。Windows 仅接受部分输入时,释放已接受且仍按下的本次按钮/按键;系统拒绝清理时仍会报告错误 |
| 派发证据 | 桌面 Execute 的 dispatch 返回已接受的 native_events、pointer_moves、button_downs、button_ups、keyboard_events、uia_calls 与 partial_native。input_dispatched 根据实际边界记录,已满足条件的无动作不会冒称输入;这些记录不等于应用收到事件或业务结果完成 |
开启鼠标优先,可在当前使用的服务配置文件中加入:
[interaction]
mode = "pointer"
也可用控制台参数启动:windows-mcp serve --interaction-mode pointer,或设置环境变量 WINDOWS_MCP_INTERACTION_MODE=pointer。优先级为命令行 > 环境变量 > 配置文件;未设置时仍为 semantic,保持既有自动路由。保存配置后重启 MCP 服务并重连客户端,用 Session(operation="status").interaction_mode 核对实际模式。模式只选择执行方式,沿用现有操作授权。
已有接口也支持单次指定真实鼠标:Observe(window="目标窗口") → Execute(target="返回的目标 ID", action="click", mode="physical")。按下前检查与输入发送之间仍可能发生界面变化,失败或未验证时应先重新观察结果;取消无法撤销已送到应用的操作。
第五批:自然移动与动态目标(1.6.0)
第五批的物理鼠标默认采用 natural 控制器:根据距离和目标大小选择约 0.12–0.8 秒的移动时间,使用五次平滑速度曲线,接近目标时减速。控制器以 90 Hz 为调度目标,实际频率取决于 Windows、UIA provider 和机器负载;空间路径默认直线,不加入随机抖动。显式拖拽 duration 仍控制该段移动时长。
- 本地反馈与目标跟踪:读取实际光标位置,容许输入队列的短暂投递延迟,再对残余误差进行有限修正。有控件身份的目标使用 UIA/窗口变化事件唤醒刷新,并以约 100 毫秒的定向回读兜底;移动后再强制复核。目标移动会调整路径,替换、隐藏、禁用或持续不稳定时停止,最多三次重新规划。此过程不请求截图,也不需要模型逐帧指挥。
- 悬停与按压:悬停默认等待 400 毫秒;普通点击到达后短暂稳定,再以约 50 毫秒的按压完成一次点击。悬停等待是有上限的停留,不保证每个应用都会显示菜单或提示。
- 外部输入接管:鼠标手势期间,通过独立消息线程监听外部鼠标/键盘输入,保留用户输入,停止本次后续输入并清理本次按住的按钮。当前客户端会话暂停,Session.pointer_interruption 返回原因。核对已经发生的结果,等待用户明确继续后再调用
Session(operation="resume");客户端不应自行抢回控制。输入标记用于区分本服务事件,不是安全边界,也不把其他软件注入误称为硬件操作。 - 可核对的运行记录:桌面 Execute.dispatch.motion 返回 style、elapsed_ms、samples、replans、max_feedback_error_px、stop_reason、human_takeover、window_events;Session.last_pointer_motion 也提供最近一次记录。max_feedback_error_px 是命令与回读之间的最大差异,包含投递延迟,不等于最终点击误差;业务结果仍需要 expected / Verify。
推荐配置:
[interaction]
mode = "pointer"
pointer_motion = "natural"
hover_ms = 400
human_takeover = true
控制台可用 windows-mcp serve --interaction-mode pointer --pointer-motion natural;WINDOWS_MCP_POINTER_MOTION 对应移动策略。pointer_motion="legacy" 保留第四批固定时序,不启用新的悬停停留和接管监测;hover_ms 为 0–2000 的整数。human_takeover=false 关闭自然手势期间的外部输入监测,协作取消仍保留;Session.human_takeover 显示实际是否启用。两种移动策略均沿用相同授权边界;Win32 原生下拉列表必须通过 GetComboBoxInfo 证明归属,不能只凭进程或窗口类名放行。
控件身份跟踪不适用于裸坐标、视觉图内坐标或旧批量坐标路径。接管只暂停当前会话的鼠标手势;跨进程桌面工作互斥见第六批。UIA provider 读取如果阻塞,Python 无法强制中断,停止和释放可能延迟;这些机制不提供硬实时或操作系统沙箱保证。
第六批:视觉复核、进程复用与桌面协调(1.6.0)
- 捕获进程复用:WGC / PrintWindow 按需请求共用一个串行原生辅助进程,复用解释器和组件导入;每次仍重新取帧,WGC 会话仍逐次创建,不返回历史帧,也不在后台持续录像。OCR 和依赖探测继续使用独立的一次性进程。
- 明确的故障边界:单次原生请求默认 12 秒,超时结束整个 Job Object 并回收进程;失败请求不自动重发。下一次明确请求再创建进程,读取器校验响应长度及请求编号;服务关闭时回收辅助进程。
- 视觉点击前局部核对:保存有界的本地参考图,鼠标到达后、按下前,仅在本地重新取帧并比较落点周围最多 33×33 个图像像素。考虑 ROI、缩放和负屏坐标;局部内容变化返回 TARGET_STALE,要求重新观察。再次核对窗口生存期、几何、前台和遮挡后才允许按下;没有自动追图、换点或失败重点击。像素相同不能证明控件身份,动画、悬停样式或文本变化可能要求重新观察。
- 跨进程桌面工作互斥:同一 Windows 登录会话中的新版服务共用命名互斥量,覆盖每段桌面线程工作,包括鼠标手势与同步 UIA。被占用时以 DESKTOP_BUSY 拒绝尚未开始的工作,不排队补点;UIA 超时仍执行时继续持有,直到实际结束;进程退出后由 Windows 释放。其他自动化软件不参与,已有旧版本服务也不参与;这不是系统级输入隔离。多段工具调用不构成一个跨步骤事务。
- 节省重复输出:only_if_changed 在图像未变且不需要 OCR 时跳过 PNG 编码与图片传输,仍读取新帧。每会话最多保留 8 张参考图、合计 1600 万像素;视觉引用保留 60 秒有效期,可能因容量提前失效。
- 可测量状态:Session.capture_worker 提供进程、请求、启动、超时和最近耗时;Session.desktop_coordination 提供当前占用状态。Visual.capture_elapsed_ms 是捕获/准备图片的耗时,不包含后续 OCR;可用
uv run python scripts/benchmark_capture.py --hwnd <窗口句柄> --backend printwindow --count 6测量冷启动和后续请求,数据随应用与机器变化,不承诺固定提速倍数。
语义控件仍优先使用 Observe/Execute;无控件画布再显式使用 Visual。自然鼠标移动和控件跟随无需截图;只有视觉坐标点击增加一次本地图片复核,不将图片发给模型。UIA provider 阻塞、受保护画面、最小化窗口、不同权限级别和安全桌面仍可能不可用。
1.5.0 的三批升级
| 升级方向 | 现在可以做什么 | 使用时的边界 |
|---|---|---|
| 等待与超时 | Wait 异步等待 1–60 秒,支持取消;WaitFor 在查询间释放桌面线程;跟踪超时后仍执行的 UIA 动作 | 超时不代表动作撤回;未决动作完成后须独立核对,再由原会话 acknowledge |
| 文件与授权 | 原子覆盖文本文件;全自动绑定会话、应用、工具及期限;物理输入和 UIA 统一派发检查 | 旧版全局全自动授权须重新确认;R3 单独启用并逐次审批;出网独立授权 |
| 文本范围 | 读取 TextPattern 文本/选区,按准确文本及 occurrence 或 unit/index/count 选择、替换、删除、追加 | 依控件能力;密码、只读、不支持 TextPattern 的控件明确拒绝;局部编辑先核对选区和原文,再读回 |
| 观察与性能 | 控件子树观察、已有目标批量刷新、事件触发 Watch、每个 frame 批量浏览器元数据 | 已有目标刷新不检查新增/移除控件;事件仅唤醒回读;UIA 缓存策略需按应用测量 |
| 窗口视觉 | HWND WGC、PrintWindow 与前台桌面裁剪;ROI、缩小图片、变化比较和未变图片省略 | 后台可观察不等于后台可点击;最小化、受保护画面和特殊 provider 不保证可用 |
| OCR 与组件 | Windows OCR/Tesseract 适配、词框、语言与依赖诊断;WinGet MCP 配套发现 | OCR 仍需包标识或本地引擎及语言;微软 File Explorer/Settings 未完成原生连接验收 |
| 部署与诊断 | full/ui-core/browser profile,doctor、connectors、完整静态清单;安装后校验模式及 Session 结果 | 静态清单按 SDK/profile 生成;不代表已注册 ODR、具备 MSIX 或 Agent Workspace |
本版保留全部兼容工具。64 项升级候选并未全部实施;尚未交付完整任务队列治理、全引擎 DPI/坐标统一、OmniParser、ODR 宿主适配、Agent Workspace 等工作,不将候选能力算作现成功能。
观察、操作、核对
- 观察:优先使用 Observe、Find 或指定窗口的 Snapshot,选择当前会话返回的目标 ID。
- 操作:Execute 默认优先选择支持的 UIA 模式;可通过 interaction.mode 切换自动点击的鼠标优先策略。真实输入检查窗口身份和遮挡;Browser 操作独立 Playwright 会话,NativeAPI 操作明确授权的文本文件。
- 核对:提供 expected,或调用 Verify 读取独立后置条件。
VERIFIED表示条件已得到证据支持;DISPATCHED_UNVERIFIED只说明动作已派发。
Observe(window="目标窗口的唯一标题")
Execute(target="本次观察返回的目标 ID", action="set_value", value="准备填写的文本")
Verify(expected={"kind":"element_state", "target":"目标 ID", "state":{"value":"准备填写的文本"}})
以上是 MCP 工具调用示意,不是 PowerShell 命令。实际参数以客户端发现的工具模式为准;动作须具有匹配授权。发送、提交、删除等动作若已派发但未证实,应先检查结果,避免重复执行。
工具 profile
| Profile | 工具数 | 适合的任务 |
|---|---|---|
full(默认) |
31 | 完整桌面与兼容工具,适合现有接入 |
ui-core |
12 | Observe、Execute、Verify、Watch、Session、RequestApproval、Visual、DisplayInventory、App、Wait、WaitFor、Find |
browser |
5 | Browser、Observe、Session、RequestApproval、Wait;适合受管网页会话 |
profile 只决定公布哪些工具,不授予额外权限。精简 profile 的 --tools / --exclude-tools 只能进一步缩小范围。管理器默认安装 full;自定义接入示例见安装指南。
文本、图片与浏览器
- 文本:
Observe(target=..., detail="text"/"selection")读取控件内容;Execute支持 select_text、replace_text、delete_text、append_text。多处匹配须明确一基 occurrence,不静默改写整篇富文档。 - 局部观察:
Observe(target=...)观察子树;mode="refresh"批量回读同一窗口最多 100 个已有目标。Watch 在事件后回读相关控件,最长 1.5 秒兜底。 - 视觉:Visual 的 region 是未缩放捕获图的像素区域,返回图的点击坐标再由服务映射回物理桌面。窗口移动、调整大小、进程生存期变化、引用过期或点击被遮挡时拒绝输入。
- 图片变化:previous_target、only_if_changed 可省略未变图片,仍返回新视觉引用。变化仅是重观察提示,不算业务验证。
- 浏览器:独立 Playwright profile,支持页面、iframe、表单与弹窗。可使用已安装 Edge;其他通道需要相应浏览器。服务不提供用户原始 Cookie、任意 JavaScript 或 CDP 连接。
操作授权与升级迁移
从 1.4.x 升级后,旧的全局全自动授权不会继续放行。 先发起具体待审请求,再由本机操作员核对客户端会话、应用、工具、参数和期限。勾选“全自动”并批准,为所示范围开启默认最长 8 小时的自动 R2 授权;重连生成新会话后须重新授权。通过“操作授权… → 撤销授权”撤销,AI 不能操作自己的审批窗口。
| 范围 | 行为 |
|---|---|
| 窗口与控件读取 | 按服务策略执行;读取结果可能包含截图和应用文本,应只连接信任的客户端 |
| R2 修改 | 精确一次性审批,或匹配会话/应用/工具的全自动授权 |
| R3 高风险工具及敏感目标 | 默认关闭;本地启用后仍逐次审批,不能借原始输入或 UIA 绕开 |
| HTTP(S) 出网 | 按准确 origin(协议、主机、端口)独立授权,全自动鼠标键盘授权不包含网络权限 |
| 文件 | 受可信配置的 workspace_roots 限制,服务密钥和受保护配置不在工具访问范围内 |
浏览器导航、重定向和子资源均检查 origin;顶层 GET 可逐跳检查后继续,表单和子资源的 HTTP 重定向当前会被阻止。审批窗口打开期间暂停 MCP 桌面输入。已进入 UIA provider 的动作无法由 Python 强制取消;ACTION_IN_PROGRESS 后用 Session 查询完成,独立核对后再 acknowledge,cancel/resume 不隐式清除未决动作。
这些措施降低本机自动化风险,不构成操作系统沙箱;普通权限无法绕过 UAC、安全桌面、锁屏或管理员窗口边界。默认关闭 PostHog 遥测。完整处理规则与离线政策见管理器“关于”和 按需参考。
微软组件与可选条件
| 组件 | 本版提供 | 仍需满足 |
|---|---|---|
| Windows.Graphics.Capture | HWND 捕获后端;正式 Windows x64 构建包含绑定,失败可回退 PrintWindow | 目标窗口支持捕获;不保证最小化或受保护内容 |
| Windows OCR | WinRT 绑定、词框适配及条件探测 | 真实 package identity 和系统 OCR 语言;普通 EXE 不因携带绑定就获得包标识 |
| Tesseract | 本地引擎适配 | 操作员准备引擎、PATH 与语言包;不自动下载安装 |
| WinGet MCP | 发现本机 server、输出配置片段;--probe 仅初始化和列工具 |
独立安装的微软 server 与其权限;已验证握手,未执行安装任务 |
| File Explorer / Settings | 原生宿主/ODR 发现指引和未就绪诊断 | 实际可用的系统组件、宿主及各自权限;当前未完成连接验收 |
| ODR / Agent Workspace | 固定 profile 静态清单准备 | 本版未提供 ODR 宿主适配、MSIX 标识或隔离会话运行模式 |
OCR 实际识别尚未在当前验收机通过:该机无包标识、无 Tesseract 引擎。不要将组件探测或握手成功理解为具体应用任务已经完成。
安装指南
Windows x64 安装版与便携版
从 最新正式 Release 下载对应版本,核对 SHA256SUMS.txt。两种格式均包含管理器、Skill、MCP 服务、Python 运行时及依赖,不必另装 Python。当前页面功能对应 v1.6.0;请在发布页核对所下载资产的版本。
| 格式 | 文件与使用方法 | 数据位置 |
|---|---|---|
| 安装版下载 | Windows-MCP-Setup-v1.6.0-x64.exe;首次安装向导选择位置,后续更新显示进度页 |
服务数据在 %LOCALAPPDATA%\WindowsMCP;管理器设置在 ~/.windows-mcp |
| 便携版下载 | Windows-MCP-Portable-v1.6.0-x64.zip;完整解压后运行 Windows-MCP.exe |
程序旁 data,保存配置、日志、备份、收据、运行时与审批数据 |
安装版默认路径为 %LOCALAPPDATA%\Programs\Windows-MCP,按用户安装,无需管理员权限;系统卸载入口位于 Windows“设置 → 应用”。卸载管理器会保留已接入的 Skill/MCP 和个人数据,对应接入须在管理器中单独卸载。
便携版请保留 WindowsMCP.portable.json 和整个目录,不在 ZIP 内运行。接入后保持目录位置,移动或删除前先卸载接入;加密审批数据仅供原 Windows 用户使用。
首次接入
- 打开管理器,在左侧选择检测到、尚未接入的客户端,可多选。已安装项带圆点并禁用重复安装。
- 点击“安装 Skill + MCP”,核对真实路径与操作预览,再执行安装。
- 等待版本、31 个工具、完整模式和 Session READY 验证通过。重启目标客户端或新建会话。
- 在目标客户端确认工具已出现,先读取一个明确窗口,再执行具有授权的操作。
- 若需要指定客户端程序目录,进入“设置 → 高级设置”,添加真实文件夹并点击“检测”,保存后应用。
Codex 的目标是 Codex 桌面端,管理器不安装或调用 Codex CLI。文件写入前创建事务备份,失败按校验结果回滚,保留其他 MCP、JSONC 注释与个人配置;仍有客户端引用时保留共享服务。
| 客户端 | 默认 Skill 目录 | MCP 配置 |
|---|---|---|
| Claude Code | ~/.claude/skills/windows-mcp |
~/.claude.json |
| Codex 桌面端 | ~/.agents/skills/windows-mcp |
~/.codex/config.toml |
| DeepSeek Harness | ~/.dsh/skills/windows-mcp |
~/.dsh/cordis.patch.yml |
| Gemini CLI | ~/.gemini/skills/windows-mcp |
~/.gemini/settings.json |
| Zcode | ~/.zcode/skills/windows-mcp |
~/.zcode/cli/config.json 的 mcp.servers |
| Trae | ~/.trae-cn/skills/windows-mcp,国际版为 .trae/skills/windows-mcp |
默认 %APPDATA%\Trae CN\User\mcp.json,优先沿用现有国内/国际/SOLO 配置 |
~ 表示当前用户主目录。支持 CODEX_HOME、DSH_HOME 等实际目录设置;DeepSeek 桌面版和 CLI 共用 Harness Home。OpenCode 保留旧接入的维护与卸载,不提供新安装入口。配置格式与参数细节见 按需参考。
更新、修复、备份和卸载
- 更新:设置中“检查更新”发现版本后显示红点,用户点击“更新安装”才下载,先校验 SHA-256。安装版保留原位置;便携版保留 data,由独立助手替换、重启并验证,失败保留回滚副本。
- 升级接入:更新管理器后检查受管接入是否也完成升级和验证;已运行的 MCP 进程需由客户端重连后使用新版本。
- 验证与修复:右侧提供连接验证和修复;健康检查明确区分版本、工具清单、模式、Session 结果及可选组件状态。OCR 缺失只作单独提示。
- 备份与撤销:支持预览备份恢复、撤销安装批次;后续个人修改或共享引用存在时报告冲突,不强行覆盖。
- 卸载:从独立卸载窗口选择具体客户端接入,保留其他配置与仍被引用的运行时。
管理器保留固定三面板布局、浅白/暖色护眼/深色/跟随系统主题、独立日志背景、常规/玻璃拟态视觉强度、真实任务进度及六个离线“关于”页面。界面图是实拍,版本与接入是否更新以程序内真实验证结果为准。
源码安装与开发
需要 Windows、Python 3.12+、Git 和 uv。在项目目录执行:
git clone https://github.com/CyanQX/Windows11-mcp.git
cd Windows11-mcp
uv sync --frozen --extra browser --extra capture --extra ocr
uv run --frozen --extra browser --extra capture --extra ocr windows-mcp doctor
uv run --frozen --extra browser --extra capture --extra ocr windows-mcp serve
serve 默认使用 stdio,终端等待客户端连接属于正常行为。开发管理器再添加 --extra installer,运行测试再添加 --extra dev;构建另需 --group build。为保持环境稳定,同一环境后续 uv run 使用相同 extras。WGC 可选依赖当前限 Windows x64,OCR 不会自动安装外部引擎和语言。
将上面同步完成的项目 .venv\Scripts\windows-mcp.exe 作为自定义客户端的 command,参数为 ["serve"];精简接入改为 ["serve","--profile","ui-core"]。Skill 可从仓库 skills/windows-mcp 复制到客户端 Skill 目录。通过管理器安装的用户无需自行编辑配置。
测试使用 uv run --frozen --extra dev --extra installer --extra browser --extra capture --extra ocr pytest;默认不发送真实桌面输入。只有显式启用 WINDOWS_MCP_DESKTOP_TESTS=1 才执行专用夹具中的真实输入,具体安全边界见 开发说明。CI 检查 Python 3.12/3.13 与两代 FastMCP/MCP;本地前三批在 Python 3.14.7 验证,不能据此承诺所有系统/应用组合。
诊断、微软配套和固定清单
以下命令用于已安装的控制台服务;打包版也可用 Windows-MCP.exe 对应子命令,并用 --output 写出诊断文件。
windows-mcp doctor --output doctor.json
windows-mcp connectors --probe --output connectors.json
windows-mcp manifest --profile ui-core --output ui-core.manifest.json
windows-mcp serve --profile ui-core --static-manifest ui-core.manifest.json
connectors --probe 只核对 WinGet 初始化和 tools/list,不搜索或安装软件、不改客户端配置。各微软 server 的权限独立。静态清单须使用实际 SDK/profile 重新生成;启动检查不接受动态过滤,生成清单也不替代 ODR 注册。
可信配置可指定文件范围;只授权任务实际需要的目录:
[tools]
profile = "full"
[policy]
workspace_roots = ['E:\my-authorized-task']
allow_r3 = false
# 可选:本地操作员预设准确的 HTTP(S) origin。
allowed_network_origins = ['https://github.com']
默认文件范围为 ~/.windows-mcp/workspace;便携模式为 data/config/workspace。远程 HTTP 传输需要鉴权、TLS 和 IP 白名单等条件,配置路径及完整环境变量见 按需参考。
常见问题与验证范围
| 现象 | 检查和处理 |
|---|---|
| 安装后客户端没有工具 | 重启客户端/新会话;管理器验证接入版本与 READY;确认客户端实际读取的用户配置 |
| 升级后需要重新授权 | 1.5.0 的会话/应用范围授权迁移是预期行为;核对当前待审请求后重新批准 |
| 返回 TARGET_STALE / FOCUS_MISMATCH | 重新观察准确窗口;确认前台、窗口位置、进程及控件仍对应目标,避免重放旧坐标 |
| 返回 ACTION_IN_PROGRESS | 先查询 Session.pending_action,等待完成并独立核对,再由原会话 acknowledge |
| 网页子资源或跳转被拒绝 | 核对实际 origin 与独立网络授权;表单/子资源 HTTP 重定向目前受限,不自动重放 POST |
| OCR 不可用 | doctor 查看真实包标识、绑定、引擎和语言;缺条件时继续使用截图或语义工具 |
| 找不到微软原生 connector | 以本机 ODR/原生宿主实际发现结果为准,不能仅依据 Windows 构建号判断可用 |
| 特殊应用看不到控件 | 可尝试窗口 Visual;不能保证游戏、自绘界面、远程桌面、管理员应用和保护内容 |
Windows 11 是当前本地验收平台。Win32 与 WPF 专用夹具、浏览器协议和两代 SDK 已有回归;Windows 10、物理混合 DPI 多屏、所有输入法及第三方客户端/Office 组合没有完整验收承诺。性能基准按应用测量,缓存减少往返不一定降低总耗时。
反馈问题时附程序版本、工具、状态码和复现步骤,先去除凭证、输入正文、业务文件和个人信息。GitHub 发布页提供校验值及构建验证记录;完整日志可能含本机路径,请核对后再共享。政策与联系信息见管理器“关于”,联系邮箱为 [email protected]。
工具一览
共 31 个工具:11 个只读、20 个会改变系统状态。只读标记描述工具的效果,具体调用仍受服务权限策略约束。
| 工具 | 作用 | 类型 |
|---|---|---|
Screenshot |
快速截图 + 光标位置 + 窗口列表;最快的“看一眼” | 只读 |
Snapshot |
窗口的完整控件树,每个元素带 #N 标签;支持只抓指定窗口、浏览器 DOM、附带截图 |
只读 |
Find |
在真实窗口里按名称/类型/AutomationId 搜索控件,返回 e# 引用、坐标、支持的操作和当前状态 |
只读 |
Act |
对控件做语义操作(点击、切换、选择、展开、填值、追加、滑块、聚焦…)并回读核对 | 写入 |
Click |
真实鼠标点击(坐标或 #N 标签),左/右/中键,单击/双击/三击/悬停 |
写入 |
Type |
点击输入框后真实打字;清空、回车、光标位置;打完回读内容 | 写入 |
Scroll |
真实滚轮(含横向),并报告滚动位置前后变化 | 写入 |
Move |
移动鼠标(平滑移动,悬停菜单能响应)或拖放 | 写入 |
Shortcut |
快捷键和组合序列(如 ctrl+k ctrl+s),可指定窗口、重复次数 |
写入 |
Wait |
异步等待 1–60 秒,支持取消并释放桌面线程 | 只读 |
WaitFor |
轮询直到出现某文字、某窗口、某元素或焦点,等待间隔不占桌面线程 | 只读 |
App |
启动程序(等待并返回新窗口)、切换、调整大小、最小化/最大化/还原/关闭窗口 | 写入 |
MultiSelect |
按住 Ctrl 连续多选(文件、复选项) | 写入 |
MultiEdit |
一次填写多个输入框 | 写入 |
Clipboard |
读取或设置剪贴板文本 | 写入 |
PowerShell |
执行 PowerShell 命令 | 写入 |
FileSystem |
读、写、复制、移动、删除、列目录、搜索、查看文件信息 | 写入 |
Registry |
读、写、删、列注册表 | 写入 |
Process |
列出进程或结束进程(系统关键进程和服务器自身受保护) | 写入 |
Notification |
发送 Windows 通知 | 写入 |
DisplayInventory |
显示器布局、工作区、DPI 和缩放比例 | 只读 |
Scrape |
抓取网页内容,或读取当前浏览器标签页的 DOM 文本 | 只读 |
Observe |
窗口/子树语义观察、已有目标批量刷新与增量、文本/选区读取 | 只读 |
Execute |
语义优先执行、文本范围选择和局部编辑,读回验证 | 写入 |
Verify |
用有类型约束的条件独立核对文件、窗口和控件状态 | 只读 |
Watch |
事件触发局部回读、1.5 秒兜底、有界取消与队列溢出报告 | 只读 |
Browser |
独立 Playwright Profile、页面/iframe、导航和语义操作 | 写入 |
NativeAPI |
白名单文件提供者;范围检查、独占创建、写后核对 | 写入 |
Session |
会话状态、取消和显式恢复 | 写入 |
RequestApproval |
生成待审请求;不能自行批准 | 写入 |
Visual |
HWND 捕获与回退、ROI/缩放、图片变化提示、可选 OCR、窗口身份与坐标校验 | 只读 |
Yorumlar (0)
Yorum birakmak icin giris yap.
Yorum birakSonuc bulunamadi