桌面自动化控制

技能简介

Desktop Control 是一款桌面自动化技能，通过代码控制鼠标移动、点击、拖拽，模拟键盘输入与快捷键，截取屏幕画面并识别图像元素，同时支持窗口管理与剪贴板操作。

能做什么

• 精确控制鼠标位置、点击、拖拽与滚轮操作
• 模拟键盘打字、组合键与特殊按键
• 截取全屏或指定区域，基于OpenCV识别屏幕元素
• 获取窗口列表、激活窗口、调整窗口状态
• 读取和写入剪贴板内容

使用说明

安装依赖

pip install pyautogui pillow opencv-python pygetwindow

基础用法

from skills.desktop_control import DesktopController

# 初始化控制器（启用安全保护）
dc = DesktopController(failsafe=True)

# 鼠标移动到指定坐标
dc.move_mouse(500, 300)

# 在当前位置点击左键
dc.click()

# 在指定坐标右键点击
dc.click(100, 200, button="right")

# 输入文本
dc.type_text("Hello from OpenClaw!")

# 执行复制快捷键
dc.hotkey("ctrl", "c")

# 按回车键
dc.press("enter")

# 截取屏幕
dc.screenshot()

输入与输出

见下方输入与输出表格。

风险提示

• 启用failsafe模式：将鼠标移至屏幕四角可紧急中止操作
• 建议开启approval模式，关键操作前需人工确认
• 避免在无人看管时运行长时间自动化脚本
• 注意坐标边界检查，防止越界操作

来源信息

原始链接：https://github.com/openclaw/skills/tree/main/skills/wpegley/desktop-control-1-0-0/SKILL.md
来源类型：GitHub仓库