Akke 评论抓取时效 · 数据快照
生成于 2026-07-13(北京时区)· 窗口最近 3 天 · 数据型自动报告(根因/方案叙事见深度调查页)
① 时延分布 T1(评论→采集),按 source tier
T1 = comment_time → created_at(评论发出到被我们抓进库)。仅高/中意向评论。分布只含真新鲜评论(T1 ≤ 6h)= 真实实时抓取时延。回填%=comment_time 比入库早 >6h 的历史再发现(整号深扫/新接号补抓老评论,非抓取慢),已剔除出分布、单列计数。comment_time 缺失的评论也单列。
| tier | 新鲜样本 | 中位 | 均值 | 最慢 | 回填% | 回填数 | 缺时间 |
|---|
| 全部 |
1102 |
4min |
25min |
6.0h |
25% |
375 |
0 |
| tier-1 |
1027 |
3min |
24min |
6.0h |
25% |
343 |
0 |
| 孤儿(无源) |
51 |
4min |
13min |
2.2h |
23% |
15 |
0 |
| tier-0 |
24 |
28min |
1.1h |
5.2h |
41% |
17 |
0 |
真新鲜高/中意向 T1 分布(已剔回填,仅 ≤6h):
0–3h1069
3–6h33
6–12h0
12–24h0
24–72h0
>72h0
② 各复扫路径空跑率
已完成的 scrape_video 排队活里 抓到 0 条评论(result.total_comments=0)的占比。越高=越多无效复扫(白占 worker 槽)。按 payload 路径标记分组。样本=最近 13h 内 22227 条排队活(拉满 50000 行上限)。
(口径:只统计写了 result.total_comments 的排队活;scrape_video_comments 每抓一视频自插的「台账行」(result={}、数记在 comments_found 列、无 lane flag、与排队活双重计数)已剔除,否则被误判 100% 空跑撑爆分母。② 改行拉取避开 completed_at count 全表扫超时。2026-06-19 修正。)
| 路径 | 完成数 | 空跑数 | 空跑率 |
|---|
| fast-lane(高意向注入) | 17346 | 16912 |
97% |
| fast-lane(常规) | 3627 | 3346 |
92% |
| vip-rescan | 967 | 962 |
99% |
| cold-intent-rescan | 284 | 225 |
79% |
| 其他(排队单视频/rescan-recent) | 3 | 2 |
67% |
③ pri 队列:enqueue 量 · 积压 · 最老 pending 龄
claim 严格按 priority ASC。最老 pending 龄高的档=被高优先档饿着(tier-0 pri=5 积压是已知病)。
| 优先级 | 窗口 enqueue | 当前 pending | 最老 pending 龄 |
|---|
| pri=0 高意向注入/VIP/手动 |
94215 | 0 |
— |
| pri=1 常规 fresh-catch 单视频 |
26578 | 20 |
29min |
| pri=3 tier-1 整号 / rescan-recent / cold-intent |
1925 | 109 |
2.7h |
| pri=5 tier-0 每小时 / 默认 |
135895 | 341 |
15h |
当前 pending 合计 470 条。
④ 抓取相关 cron + 近期已合并 PR
| cron path | schedule |
|---|
/api/cron/scrape | 10 * * * * |
/api/cron/scrape-hot | */3 * * * * |
/api/cron/analyze | */2 * * * * |
/api/cron/stats-snapshot | 0 */6 * * * |
/api/cron/snapshot-pt-no-owner | 50 15 * * * |
/api/cron/prune-scrape-jobs | 23 4 * * * |
/api/cron/scrape-monitor-digest | 30 * * * * |
/api/cron/scrape-internal-accounts | 15 */6 * * * |
/api/cron/scrape-digest-hourly | 30 * * * * |
/api/cron/scrape-digest-daily | 30 23 * * * |
/api/cron/rescan-recent-videos | 40 */2 * * * |
/api/cron/hot-video-rotation | 45 4 * * * |
/api/cron/vip-video-rescan | */5 * * * * |
/api/cron/cold-intent-rescan | */20 * * * * |
/api/cron/auto-tier1 | 0 1 * * * |
/api/cron/tier-digest | 2 23 * * * |
| PR | 标题 | 合并 |
|---|
| gh 不可用(在有 gh 凭据的环境跑可填充) |