桌面自动化控制

技能简介

Desktop Control 是一款桌面自动化技能，通过 Python 实现鼠标、键盘、屏幕的编程控制。支持像素级鼠标定位、文本快速输入、屏幕区域截图、窗口状态管理等功能，适用于重复性界面操作的自动化场景。

能做什么

• 移动鼠标到指定坐标或相对位移，支持平滑轨迹
• 执行单击、双击、右键、拖拽、滚轮等鼠标操作
• 输入文本、快捷键组合、特殊功能键
• 截取全屏或指定区域，识别屏幕上的图像元素
• 获取窗口列表、激活窗口、调整窗口大小位置
• 紧急停止与操作确认等安全防护机制

使用说明

安装依赖

pip install pyautogui pillow opencv-python pygetwindow

基础调用

from skills.desktop_control import DesktopController

# 初始化（启用安全保护）
dc = DesktopController(failsafe=True)

# 鼠标移动到坐标(500,300)
dc.move_mouse(500, 300)

# 在当前位置左键单击
dc.click()

# 在指定坐标右键双击
dc.click(100, 200, button="right", clicks=2)

# 输入文本
dc.type_text("Hello from OpenClaw!")

# 执行快捷键复制
dc.hotkey("ctrl", "c")

# 截取屏幕
dc.screenshot()

更多 API 包括：相对移动 move_relative()、拖拽 drag()、滚轮 scroll()、获取鼠标位置 get_mouse_position()、查找图像 locate_on_screen()、获取窗口列表 get_windows()、激活窗口 activate_window() 等。

输入与输出

见下方输入与输出表格。

风险提示

• 自动化操作可能误触系统关键区域，建议先在测试环境验证脚本
• 开启 failsafe 模式：将鼠标移至屏幕四角可中断执行
• 涉及敏感操作时启用 approval_mode，要求人工确认后再执行
• 跨分辨率设备上坐标需重新校准，避免点击位置偏移
• 部分安全软件可能拦截模拟输入行为，需添加白名单

来源信息

原始链接：https://github.com/openclaw/skills/tree/main/skills/matagul/desktop-control/SKILL.md
来源类型：GitHub 开源仓库