Akke 评论抓取时效 · 数据快照
生成于 2026-07-19（北京时区）· 窗口最近 3 天 · 数据型自动报告（根因/方案叙事见深度调查页）
① 时延分布 T1（评论→采集），按 source tier
T1 = comment_time → created_at（评论发出到被我们抓进库）。仅高/中意向评论。分布只含真新鲜评论（T1 ≤ 6h）= 真实实时抓取时延。回填%=comment_time 比入库早 >6h 的历史再发现（整号深扫/新接号补抓老评论，非抓取慢），已剔除出分布、单列计数。comment_time 缺失的评论也单列。
| tier | 新鲜样本 | 中位 | 均值 | 最慢 | 回填% | 回填数 | 缺时间 |
|---|
| 全部 |
1519 |
4min |
25min |
6.0h |
20% |
388 |
0 |
| tier-1 |
1454 |
5min |
24min |
6.0h |
17% |
307 |
0 |
| 孤儿(无源) |
35 |
4min |
22min |
3.3h |
47% |
31 |
0 |
| tier-0 |
30 |
6min |
39min |
5.3h |
63% |
50 |
0 |
真新鲜高/中意向 T1 分布（已剔回填，仅 ≤6h）：
0–3h1485
3–6h34
6–12h0
12–24h0
24–72h0
>72h0
② 各复扫路径空跑率
已完成的 scrape_video 排队活里 抓到 0 条评论（result.total_comments=0）的占比。越高=越多无效复扫（白占 worker 槽）。按 payload 路径标记分组。样本=最近 17h 内 23340 条排队活（拉满 50000 行上限）。
（口径：只统计写了 result.total_comments 的排队活；scrape_video_comments 每抓一视频自插的「台账行」（result={}、数记在 comments_found 列、无 lane flag、与排队活双重计数）已剔除，否则被误判 100% 空跑撑爆分母。② 改行拉取避开 completed_at count 全表扫超时。2026-06-19 修正。）
| 路径 | 完成数 | 空跑数 | 空跑率 |
|---|
| fast-lane(高意向注入) | 19699 | 18491 |
94% |
| fast-lane(常规) | 2665 | 1908 |
72% |
| vip-rescan | 790 | 787 |
100% |
| cold-intent-rescan | 125 | 83 |
66% |
| 其他(排队单视频/rescan-recent) | 61 | 7 |
11% |
③ pri 队列：enqueue 量 · 积压 · 最老 pending 龄
claim 严格按 priority ASC。最老 pending 龄高的档=被高优先档饿着（tier-0 pri=5 积压是已知病）。
| 优先级 | 窗口 enqueue | 当前 pending | 最老 pending 龄 |
|---|
| pri=0 高意向注入/VIP/手动 |
97808 | 0 |
— |
| pri=1 常规 fresh-catch 单视频 |
17018 | 34 |
9min |
| pri=3 tier-1 整号 / rescan-recent / cold-intent |
909 | 134 |
10h |
| pri=5 tier-0 每小时 / 默认 |
124992 | 449 |
24h |
当前 pending 合计 617 条。
④ 抓取相关 cron + 近期已合并 PR
| cron path | schedule |
|---|
/api/cron/scrape | 10 * * * * |
/api/cron/scrape-hot | */3 * * * * |
/api/cron/analyze | */2 * * * * |
/api/cron/stats-snapshot | 0 */6 * * * |
/api/cron/snapshot-pt-no-owner | 50 15 * * * |
/api/cron/prune-scrape-jobs | 23 4 * * * |
/api/cron/scrape-monitor-digest | 30 * * * * |
/api/cron/scrape-internal-accounts | 15 */6 * * * |
/api/cron/scrape-digest-hourly | 30 * * * * |
/api/cron/scrape-digest-daily | 30 23 * * * |
/api/cron/rescan-recent-videos | 40 */2 * * * |
/api/cron/hot-video-rotation | 45 4 * * * |
/api/cron/vip-video-rescan | */5 * * * * |
/api/cron/cold-intent-rescan | */20 * * * * |
/api/cron/auto-tier1 | 0 1 * * * |
/api/cron/tier-digest | 2 23 * * * |
| PR | 标题 | 合并 |
|---|
| #907 | fix(scrape-digest): 新视频数按 created_at 统计(hourly+daily),别用会被复扫刷新的 scraped_at | 2026-07-17 |
| #906 | fix(material-digest): 视频窗口换 scraped_at → created_at,根治每日重复推送 | 2026-07-17 |
| #898 | fix(digest): 回复率日报 webhook 用真实存在的 SCRAPE_DIGEST | 2026-07-16 |