Akke 评论抓取时效 · 数据快照
生成于 2026-06-19(北京时区)· 窗口最近 3 天 · 数据型自动报告(根因/方案叙事见深度调查页)
① 时延分布 T1(评论→采集),按 source tier
T1 = comment_time → created_at(评论发出到被我们抓进库)。仅高/中意向评论。>6h 尾=慢尾占比,越高越糟。comment_time 缺失的评论不计入分布(单列)。
| tier | 样本 | 中位 | 均值 | 最慢 | >6h 尾 | 缺时间 |
|---|
| 全部 |
1299 |
29min |
34h |
165h |
35% |
0 |
| tier-1 |
1136 |
29min |
36h |
165h |
35% |
0 |
| 孤儿(无源) |
95 |
50min |
33h |
165h |
37% |
0 |
| tier-0 |
68 |
30min |
18h |
153h |
29% |
0 |
全部高/中意向 T1 分布(橙=6h+ 慢尾):
0–3h818
3–6h27
6–12h28
12–24h23
24–72h88
>72h315
② 各复扫路径空跑率
已完成的 scrape_video 排队活里 抓到 0 条评论(result.total_comments=0)的占比。越高=越多无效复扫(白占 worker 槽)。按 payload 路径标记分组。样本=最近 12h 内 17924 条排队活(拉满 50000 行上限)。
(口径:只统计写了 result.total_comments 的排队活;scrape_video_comments 每抓一视频自插的「台账行」(result={}、数记在 comments_found 列、无 lane flag、与排队活双重计数)已剔除,否则被误判 100% 空跑撑爆分母。② 改行拉取避开 completed_at count 全表扫超时。2026-06-19 修正。)
| 路径 | 完成数 | 空跑数 | 空跑率 |
|---|
| fast-lane(常规) | 11146 | 10603 |
95% |
| cold-intent-rescan | 3895 | 3846 |
99% |
| fast-lane(高意向注入) | 2367 | 2076 |
88% |
| vip-rescan | 516 | 512 |
99% |
③ pri 队列:enqueue 量 · 积压 · 最老 pending 龄
claim 严格按 priority ASC。最老 pending 龄高的档=被高优先档饿着(tier-0 pri=5 积压是已知病)。
| 优先级 | 窗口 enqueue | 当前 pending | 最老 pending 龄 |
|---|
| pri=0 高意向注入/VIP/手动 |
35765 | 0 |
— |
| pri=1 常规 fresh-catch 单视频 |
50904 | 39 |
3min |
| pri=3 tier-1 整号 / rescan-recent / cold-intent |
36228 | 400 |
57min |
| pri=5 tier-0 每小时 / 默认 |
184152 | 278 |
13h |
当前 pending 合计 717 条。
④ 抓取相关 cron + 近期已合并 PR
| cron path | schedule |
|---|
/api/cron/scrape | 10 * * * * |
/api/cron/scrape-hot | */3 * * * * |
/api/cron/analyze | */2 * * * * |
/api/cron/scrape-monitor-digest | 30 * * * * |
/api/cron/scrape-internal-accounts | 15 */6 * * * |
/api/cron/scrape-digest-hourly | 30 * * * * |
/api/cron/scrape-digest-daily | 30 23 * * * |
/api/cron/rescan-recent-videos | 40 */2 * * * |
/api/cron/hot-video-rotation | 45 4 * * * |
/api/cron/vip-video-rescan | */5 * * * * |
/api/cron/cold-intent-rescan | */20 * * * * |
/api/cron/auto-tier1 | 0 1 * * * |
/api/cron/tier-digest | 2 23 * * * |
| PR | 标题 | 合并 |
|---|
| #431 | feat(dm-auto-reply): 时效窗口,只回最近24h内的回复 | 2026-06-19 |