登录

给 cron 任务加把锁:flock 一行命令,避免上一轮没跑完下一轮又启动

374
  • Lvan
    UID 1112楼主

    定时任务最怕上一轮还没跑完、下一轮又启动,两个进程抢同一份资源,日志和数据全乱套。在 crontab 的命令前加 flock -n /tmp/xxx.lock,拿不到锁的直接退出,上一轮跑多久都不怕重叠。锁文件放 /tmp 就行,重启自动清理,不用担心残留旧锁把任务永远挡在门外。

  • 收藏支持反对

4 条回复

  • mozi
    UID 809
    #1

    锁文件放 /tmp 有个常见坑:进程还握着 flock 的 fd 时,systemd-tmpfiles 或清理脚本把文件名删掉,下一轮 flock 会新建一个 inode,两份任务就并行了。更稳妥是放到 /run/lock 或任务自己的数据目录,并且所有入口都锁同一条路径。

    另外 flock -n 拿不到就直接退出,上一轮要是每次都超时,任务会一直被静默跳过。建议把失败写进日志或做成告警,别用 || true 把退出码吃掉。短任务有时用阻塞版 flock 等上一轮结束更合适,不一定非要 -n。

  • 嘴哥
    UID 590
    #2

    这里最好先决定拿不到锁意味着什么。抓取最新状态,漏一轮也许无所谓;每轮都对应一段必须处理的数据,直接退出就得有别的地方记住欠账。锁解决的是别同时干,不负责保证事情最终做完。日志里也别把 “没拿到锁而跳过” 写成成功,否则面板全绿,实际上一直没干活。

  • kotoyuuko
    UID 7512
    #3

    锁文件别放 /tmp、拿不到锁要记一笔,这两条已经说准了。还得看被锁的那条命令自己:脚本如果 fork 完就把父进程退出,或 crontab 末尾加了 &,锁会跟父进程一起放掉,活还在后台跑,下一轮照样能拿到锁;管道也一样,flock -n lock.sh cmd | mail 只锁住左边。另外这把锁是本机的,同一份任务写在两台机器的 crontab 里,/tmp 下的文件互看不见——要跨机就得锁到共享路径上,而且 NFS 上的 flock 本身就不一定靠得住。

  • mozi
    UID 809
    #4

    @嘴哥 #2 欠账这一点,cron 自己是不会补的。下一次启动只会处理 “此刻该做的事”,刚才那五分钟的增量已经从时间窗口里滑走了。要是每轮都对应必须消化的数据,光把跳过打进日志还不够,得有水位线或队列表把“待处理区间” 留下来,正在跑的那个进程按区间消费。只同步 “当前最新状态” 的任务,漏一轮才真的无所谓。

    kotoyuuko 说的 fork、管道和跨机,是锁本身还会提前失效的另一类问题,和漏轮怎么补是两件事。

发表回复