Akke 评论抓取时效 · 数据快照

生成于 2026-06-19(北京时区)· 窗口最近 3 天 · 数据型自动报告(根因/方案叙事见深度调查页)

① 时延分布 T1(评论→采集),按 source tier

T1 = comment_timecreated_at(评论发出到被我们抓进库)。仅高/中意向评论。>6h 尾=慢尾占比,越高越糟。comment_time 缺失的评论不计入分布(单列)。
tier样本中位均值最慢>6h 尾缺时间
全部 1299 29min 34h 165h 35% 0
tier-1 1136 29min 36h 165h 35% 0
孤儿(无源) 95 50min 33h 165h 37% 0
tier-0 68 30min 18h 153h 29% 0
全部高/中意向 T1 分布(橙=6h+ 慢尾):
0–3h818
3–6h27
6–12h28
12–24h23
24–72h88
>72h315

② 各复扫路径空跑率

已完成的 scrape_video 排队活抓到 0 条评论result.total_comments=0)的占比。越高=越多无效复扫(白占 worker 槽)。按 payload 路径标记分组。样本=最近 12h 内 17924 条排队活(拉满 50000 行上限)。
(口径:只统计写了 result.total_comments 的排队活;scrape_video_comments 每抓一视频自插的「台账行」(result={}、数记在 comments_found 列、无 lane flag、与排队活双重计数)已剔除,否则被误判 100% 空跑撑爆分母。② 改行拉取避开 completed_at count 全表扫超时。2026-06-19 修正。)
路径完成数空跑数空跑率
fast-lane(常规)1114610603 95%
cold-intent-rescan38953846 99%
fast-lane(高意向注入)23672076 88%
vip-rescan516512 99%

③ pri 队列:enqueue 量 · 积压 · 最老 pending 龄

claim 严格按 priority ASC最老 pending 龄高的档=被高优先档饿着(tier-0 pri=5 积压是已知病)。
优先级窗口 enqueue当前 pending最老 pending 龄
pri=0 高意向注入/VIP/手动 357650
pri=1 常规 fresh-catch 单视频 5090439 3min
pri=3 tier-1 整号 / rescan-recent / cold-intent 36228400 57min
pri=5 tier-0 每小时 / 默认 184152278 13h
当前 pending 合计 717 条。

④ 抓取相关 cron + 近期已合并 PR

cron pathschedule
/api/cron/scrape10 * * * *
/api/cron/scrape-hot*/3 * * * *
/api/cron/analyze*/2 * * * *
/api/cron/scrape-monitor-digest30 * * * *
/api/cron/scrape-internal-accounts15 */6 * * *
/api/cron/scrape-digest-hourly30 * * * *
/api/cron/scrape-digest-daily30 23 * * *
/api/cron/rescan-recent-videos40 */2 * * *
/api/cron/hot-video-rotation45 4 * * *
/api/cron/vip-video-rescan*/5 * * * *
/api/cron/cold-intent-rescan*/20 * * * *
/api/cron/auto-tier10 1 * * *
/api/cron/tier-digest2 23 * * *
PR标题合并
#431feat(dm-auto-reply): 时效窗口,只回最近24h内的回复2026-06-19
数据型指标由 scripts/build-scrape-latency-report.ts 直查生产库生成;时延口径复用 src/lib/timeliness.ts 单一真相源。根因与方案叙事走 /update-scrape-report skill 半自动补。