Point and Yap 推荐,指着屏幕对编码代理说话的小工具

跟编码代理打交道的人都有体会,最累的环节是描述位置,那个按钮往左挪一点,是哪个按钮,截图、标注、贴坐标,一轮折腾。十月十八日上榜的 Point and Yap 把这个环节简化成一个动作,指着它,说出来。名字起得也直白,Point 指过去,Yap 说出来。语音加截图,人类最本能的两种表达,被这个工具接到了代理上。我核了官网与开源仓库,工具小,思路准。

主要功能

它是个 macOS 菜单栏应用,MIT 许可,免费开源。菜单栏图标点开是设置面板,触发键与清理选项都在里面。用法三步。连按两次 Control 开始录音。光标停在想指的元素上,直接开口说,不用点击任何东西。说完松手,Esc 可随时丢弃。双击 Control 这个触发键选得聪明,单手可达,误触率低。传给代理的内容是两样,语音转出的文字,加一张截图。转写用的是 macOS 自带的语音框架,在本机完成,不经过云端,转写支持可选清理,空格标点与小写化都能调,喂给代理的文本干净些。截图的取景范围有讲究,录音结束瞬间抓取目标应用窗口之外的全部屏幕,也就是说代理看到的是你指着的位置加周围环境,理解上下文够了。截图固定存在用户主目录下,翻历史记录方便,排查代理当时看见了什么就翻它。没有坐标流,没有视觉识别,朴素得近乎笨,反而稳。

MCP 集成

对接走它内置的 MCP 服务器,每次录音生成一条消息,转录文字加截图打包发出,消息格式固定。仓库给了三类客户端的接入说明,Claude Code 用标准输入方式接,Codex 用 npx 方式起,Cursor 也有对应配置,配置说明复制粘贴,十分钟内能跑通。配置写进客户端设置一次,之后指着说就行,流程短得像个系统快捷键。代理那边收到的是一份自带图解的指令,你指着输入框说这里要加个搜索图标,它看得见图也听得懂话。这种指哪说哪的交互,比在提示词里描述页面结构省了一半口舌。

开发者与热度

作者 Marc Maurer,GitHub 简介里自称是汉堡一家银行的法务,工程师圈外的身份做开发工具,少见。法务写代码这个反差自带话题,仓库里 README 写得像产品文档,认真程度不像玩票。README 里写得很直白,自己用编码代理改界面时,反复描述加截图太麻烦,这工具先为自己而做。Product Hunt 十月十八日发布,挂在 Mac、开源、开发者工具标签下,最终排名未查到,页面上关注者十来个,声量还小,正因如此现在上车算早。可以对照的是,次日日榜第五名恰是同类的语音加代理产品,说明这条交互路线正在变热,同类产品这几天接连冒头。系统版本要求官网没标死,新一点的 macOS 稳妥。

解决了什么需求

它切的是人与代理之间的输入带宽问题。键盘打字描述界面,一分钟敲不出几条有效信息,语音一分钟三百字起步,再配一张现场截图,信息密度完全两码事。对比一下就明白差距,纯文字描述界面位置,代理经常理解错对象,截图一来,认错目标的次数肉眼可见地降,省下的是一轮轮来回纠正。适用人群很清晰,重度使用编码代理的开发者,尤其是界面调整、数据标注这类看图说话的活,改样式、标数据、指 bug,三个高频动作全是指着说话的天然候选。无障碍视角也顺带成立,打字不便的用户对代理说话加指位,比敲键盘友好得多。搭配大屏显示器干活的人收益最大,指着远处窗口说话,比滚过去截图省事。隐私账也要算,截图范围是目标窗口之外的全部屏幕,代理能看到你屏幕上别的东西,用之前把无关窗口关一关是正经。仅限 Mac。免费。开源。试错成本只有几分钟。

一句收尾,人机交互的下一步未必是更智能的模型,可能只是让你指着屏幕说话。

来源

  • 官网 https://pointandyap.com
  • GitHub 仓库 https://github.com/mfmaur/pointandyap
  • 开发者主页 https://github.com/mfmaur
  • Product Hunt 发布帖 https://www.producthunt.com/products/point-and-yap