无影云电脑 · 抖音私信自动化 0→1

把"评论挖掘 → 意向打分 → 备料 → 真人审 → 发送"管线的发送末端搬上阿里无影云电脑,用 GUI 自动化替代人工逐条点发。
阶段 0 → 1 已跑通 通道 无影云电脑(野荞号) 首通日 2026-06-01 脚本 douyin_dm_grounded.py

1第一个案例 · 端到端首发成功

目标客户
生命的厚度 (评论问"渭南不锈钢橱柜")
走通的链路(全自动)
DB claim 锁单 → Langfuse 现起 opener → 微信改 +v → paste.rs 投递无影 → 搜索框键入 → OCR 身份门核对昵称 → 私信 → SendInput 键入文案 → 模板定位发送↑ → 真发出 → mark 去重。
实发文案
你好,厚度。刷到你评论问渭南不锈钢橱柜,我们全国都能做。+v Homedz3791 加我备注下抖音号,价格上能再让一档。
✅ 首条验证了"搜对人 → 不发错 → 真发出 → 自动去重"四件事同时成立,证明云电脑通道可用。

20→1 逻辑原理图

本机 Mac 无影云电脑 Supabase 负责拆分:本机 claim+备料、无影 GUI 发送、DB 去重。
DB
① Claim 锁单
claim_leads_batch 锁 (org,user) 4h,防重发
Mac
② Opener 备料
Langfuse 现起话术 + 自检 + 微信→+v
Mac
③ paste.rs 投递
CSV 经 HTTP 传无影(绕剪贴板截断)
无影
④ GUI 串发
搜索→身份门→私信→键入→发送→关窗
DB
⑤ Mark 去重
已发 consume claim,未发释放回池
第④步内部(无影 GUI 定位策略 = 混合)
固定坐标导航
搜索框 / 用户tab / 第一条 / 关闭× —— 实测归一化坐标
VL 身份门
Qwen-VL 读主页昵称核对,撞错不发
模板匹配发送↑
OpenCV 找红↑,输入框锚定它偏移
SendInput 键入
Windows unicode 直键,绕剪贴板+IME

3批量执行统计 · Bad Case · 优化进展

22
今日云电脑发出
5
安全拦截 / 失败回池
4
垃圾名永久剔除
11
定位并修复的坑
Bad Case根因优化方式进展
中文打不进框无影剪贴板重定向 → 抖音 Ctrl+V 粘贴失效改 Windows SendInput KEYEVENTF_UNICODE 直键(中文/emoji,绕剪贴板)已修
搜索词丢首字中文拼音 IME 抢第一个字组词开跑前切英文输入模式(unicode 仍能打中文)已修
回车不搜索IME 组字态 Enter 被吃去上屏候选英文模式下 committed 中文 + Enter 即搜已修
发送键定位飘到左侧send_arrow 模板误匹配会话列表的红色未读点限定右侧 40% 区域搜模板;发送↑只打字前定位一次复用已修
导航点空 / 点错Qwen-VL grounding 在本机定位飘(搜索框 y=25 之类)搜索框/用户tab/第一条/关闭× 全改实测固定坐标已修
幽灵发送(打字后定位飘)打字后红↑激活态致 re-match 飘 → 点空发送复用打字前定位的坐标,不 re-match已修
VL 校验误杀真发送_has_text/_is_sent 的 VL 裁剪判断在本机假阴性:文字明明进了框却判"没进"→ 直接跳过没发去掉 VL 发送门;可靠性靠「OCR 身份门 + 输入框锚定 1.0 匹配的发送↑」,实发量以人工核对私信列表为准已修
发送键右区内仍误匹配个别用户私信未在正常位置打开 → send_arrow 在右 40% 区内误匹配到 (1683–1745,345) 的红色元素 → 点空没发限右侧 40% 已挡掉左侧;待收窄到右下输入区(y>500) + 点私信后确认面板已开部分
垃圾默认名循环占位用户\d+ / 0.0 / "拒绝私信" / AI 机器人号 高优先级但不可发,释放回池后被反复 claimdiscard-blocked-claims 永久剔除(consume+contacted),不再回池;今日剔 4 个已剔除
私信按钮固定坐标撞偏个别主页 关注/私信 排布不同,固定坐标失准dm_button 模板优先 + 固定坐标兜底 + OCR 身份门部分
搜索撞同名大号搜"东方"命中"东方甄选",非目标用户OCR 身份门拦截,昵称不符不发(宁漏不错)安全兜住
大文件传不进无影无影剪贴板同步对大文本截断(只过几百字符)脚本/CSV 一律走 paste.rs HTTP 投递 + 字节校验已修
换会话坐标全偏无影分辨率会话间漂移(1436→1588→1620…)提供 --capture/measure_nav/probe 重校工具;待锁分辨率部分

4下一步优化清单

合计约 7.5–11 人/天(不含联调观察)
无影云电脑 DM 自动化 · 0→1 进展 · 数据截至 2026-06-01 · 脚本 worker/scripts/wuying-dm/douyin_dm_grounded.py · skill send-cloudpc-dm