OpenClawPi grab_skill

当用户明确提出物体抓取任务时触发,结合视觉识别后使用SAM3和英特尔实感相机完成自动化抓取

install
source · Clone the upstream repo
git clone https://github.com/vanstrong12138/OpenClawPi
Claude Code · Install into ~/.claude/skills/
T=$(mktemp -d) && git clone --depth=1 https://github.com/vanstrong12138/OpenClawPi "$T" && mkdir -p ~/.claude/skills && cp -r "$T/skills/grab_skill" ~/.claude/skills/vanstrong12138-openclawpi-grab-skill && rm -rf "$T"
OpenClaw · Install into ~/.openclaw/skills/
T=$(mktemp -d) && git clone --depth=1 https://github.com/vanstrong12138/OpenClawPi "$T" && mkdir -p ~/.openclaw/skills && cp -r "$T/skills/grab_skill" ~/.openclaw/skills/vanstrong12138-openclawpi-grab-skill && rm -rf "$T"
manifest: skills/grab_skill/SKILL.md
source content

物体抓取技能(grab_skill)

功能概述

该技能基于SAM3(Segment Anything Model 3)和英特尔实感摄像头,实现目标物体的视觉分割、点云提取与自动化运动控制抓取,仅支持自动运行模式。

触发场景

当用户明确提出物体抓取需求时调用,例如:

  1. "帮我抓取黄瓜"
  2. "把桌面上的苹果拿过来"
  3. "自动抓取目标物体"

运行要求

  1. 依赖Conda虚拟环境:
    fastsam
  2. 已正确连接英特尔实感摄像头
  3. 已保存机械臂初始位姿文件

调用规则

  1. 仅支持
    --auto
    自动运行模式
    ,不支持手动交互模式
  2. 必须使用英文提示词,SAM3视觉模型仅支持英文输入
  3. 自动调用
    vl_vision_skill
    识别场景目标并转换为英文提示词,也可根据用户需求直接传入提示词
  4. 自动管理RealSense ROS相机节点的启停
  5. 仅返回最终执行结果,不输出调试日志

标准调用格式

conda run -n fastsam python /home/agilex/.nanobot/workspace/skills/grab_skill/sam3/realsense-sam.py --prompt "目标物体英文名称" --auto

工作流程

  1. 接收用户抓取请求
  2. 可选调用
    vl_vision_skill
    识别场景并获取目标物体的英文名称
  3. 自动启动RealSense ROS2相机节点
  4. fastsam
    环境下执行抓取脚本
  5. 自动关闭RealSense ROS2相机节点
  6. 返回"抓取任务执行成功"或"抓取任务执行失败"

注意事项

  1. 请勿在无硬件支持的环境下运行该技能
  2. 确保目标物体在相机视野范围内
  3. 首次运行前需确保ROS2工作空间已正确编译