Akke 评论抓取时效 · 数据快照

生成于 2026-07-13(北京时区)· 窗口最近 3 天 · 数据型自动报告(根因/方案叙事见深度调查页)

① 时延分布 T1(评论→采集),按 source tier

T1 = comment_timecreated_at(评论发出到被我们抓进库)。仅高/中意向评论。分布只含真新鲜评论(T1 ≤ 6h)= 真实实时抓取时延。回填%=comment_time 比入库早 >6h 的历史再发现(整号深扫/新接号补抓老评论,抓取慢),已剔除出分布、单列计数。comment_time 缺失的评论也单列。
tier新鲜样本中位均值最慢回填%回填数缺时间
全部 1102 4min 25min 6.0h 25% 375 0
tier-1 1027 3min 24min 6.0h 25% 343 0
孤儿(无源) 51 4min 13min 2.2h 23% 15 0
tier-0 24 28min 1.1h 5.2h 41% 17 0
真新鲜高/中意向 T1 分布(已剔回填,仅 ≤6h):
0–3h1069
3–6h33
6–12h0
12–24h0
24–72h0
>72h0

② 各复扫路径空跑率

已完成的 scrape_video 排队活抓到 0 条评论result.total_comments=0)的占比。越高=越多无效复扫(白占 worker 槽)。按 payload 路径标记分组。样本=最近 13h 内 22227 条排队活(拉满 50000 行上限)。
(口径:只统计写了 result.total_comments 的排队活;scrape_video_comments 每抓一视频自插的「台账行」(result={}、数记在 comments_found 列、无 lane flag、与排队活双重计数)已剔除,否则被误判 100% 空跑撑爆分母。② 改行拉取避开 completed_at count 全表扫超时。2026-06-19 修正。)
路径完成数空跑数空跑率
fast-lane(高意向注入)1734616912 97%
fast-lane(常规)36273346 92%
vip-rescan967962 99%
cold-intent-rescan284225 79%
其他(排队单视频/rescan-recent)32 67%

③ pri 队列:enqueue 量 · 积压 · 最老 pending 龄

claim 严格按 priority ASC最老 pending 龄高的档=被高优先档饿着(tier-0 pri=5 积压是已知病)。
优先级窗口 enqueue当前 pending最老 pending 龄
pri=0 高意向注入/VIP/手动 942150
pri=1 常规 fresh-catch 单视频 2657820 29min
pri=3 tier-1 整号 / rescan-recent / cold-intent 1925109 2.7h
pri=5 tier-0 每小时 / 默认 135895341 15h
当前 pending 合计 470 条。

④ 抓取相关 cron + 近期已合并 PR

cron pathschedule
/api/cron/scrape10 * * * *
/api/cron/scrape-hot*/3 * * * *
/api/cron/analyze*/2 * * * *
/api/cron/stats-snapshot0 */6 * * *
/api/cron/snapshot-pt-no-owner50 15 * * *
/api/cron/prune-scrape-jobs23 4 * * *
/api/cron/scrape-monitor-digest30 * * * *
/api/cron/scrape-internal-accounts15 */6 * * *
/api/cron/scrape-digest-hourly30 * * * *
/api/cron/scrape-digest-daily30 23 * * *
/api/cron/rescan-recent-videos40 */2 * * *
/api/cron/hot-video-rotation45 4 * * *
/api/cron/vip-video-rescan*/5 * * * *
/api/cron/cold-intent-rescan*/20 * * * *
/api/cron/auto-tier10 1 * * *
/api/cron/tier-digest2 23 * * *
PR标题合并
gh 不可用(在有 gh 凭据的环境跑可填充)
数据型指标由 scripts/build-scrape-latency-report.ts 直查生产库生成;时延口径复用 src/lib/timeliness.ts 单一真相源。根因与方案叙事走 /update-scrape-report skill 半自动补。