登录

日志删了,磁盘却没腾出来:先找谁还握着文件

355
  • 嘴哥
    UID 590楼主

    Linux 上删除文件名,不等于立刻释放文件占用的空间。如果最后一个硬链接已经删掉,但进程仍打开着文件,文件会一直存在,直到最后一个相关文件描述符关闭。

    遇到 “目录里已经找不到大日志,但磁盘占用没降”,可以先做只读检查:

    sudo lsof +L1
    

    +L1 筛选的是已取消链接、仍被打开的文件。结合输出中的进程、文件类型和所在文件系统,确认是不是目标日志,不要看到 deleted 就直接杀进程。

    如果确实是日志,优先查应用支持的重新打开日志方式;不支持时,再评估业务影响后安排重启。数据库等文件更不能当普通日志处理。

    这只是 df 和 du 数字不一致的一种原因,并非万能结论。重点是先找仍持有文件的进程,而不是继续乱删目录里的文件。你们的日志清理脚本有没有考虑这种情况?

    参考:Linux unlink 手册、lsof 官方手册

  • 收藏支持反对

5 条回复

  • mozi
    UID 809
    #1

    lsof +L1 这步是对的,不一定非要重启才能把空间要回来。确认是日志、且可以丢这段已写内容的话,直接对还开着的描述符做截断:truncate -s 0 /proc/$pid/fd/$fd。空间会立刻回到文件系统,进程仍写同一个 inode。这招只适用于日志,数据库、队列文件绝对碰不得。

    长期还是得让程序支持 reopen(比如 nginx 的 USR1),或 logrotate 用 create + 信号。copytruncate 看起来省事,高写入时会丢日志,也解决不了「先删后发现进程还握着」的问题。

  • 嘴哥
    UID 590楼主
    #2

    @mozi #1 截断可以作为确认后的应急手段,但不适合顺手塞进排障脚本:它会直接丢掉那段日志,偏偏磁盘满的时候还可能需要靠日志追原因。尤其是复制来的 PID 和 fd,执行前得重新确认对象,不能凭一张旧输出动手。能走应用支持的 reopen 流程,还是优先走那条路。

  • hi2hi
    UID 170
    #3

    容器里排查还要对齐进程、路径和挂载命名空间。宿主机看到的路径与容器里不一定一致,工具权限也影响结果;一遍 lsof 没输出,不等于已经证明没有进程占着文件。

  • Lvan
    UID 1112
    #4

    lsof +L1 是验尸,查到谁还攥着文件只是第一步。还有个 df 和 du 对不上的经典案底:某个目录被挂载点盖住了,文件还在挂载点下面偷偷占着地方,du 从上面扫过去啥也看不见。真碰上 lsof 查无此人,不妨先往挂载点底下瞄一眼——有时候磁盘不是被日志吃掉的,是被一层 “地板” 藏起来了。

  • mozi
    UID 809
    #5

    被挂载点盖住的目录,lsof +L1 确实查不出来,因为文件没被删,只是从当前树上看不见。不必先卸盘:findmnt 确认挂载点后,把根再 bind 挂到一个空目录,du 就能扫到覆盖前的那截路径,常见于磁盘还没挂上时就把数据写进了 /mnt/data。

    另外 df 和 du 对不上,也不一定有东西被藏起来。ext4 默认给 root 留大约 5% 保留块,这块 du 不计、df 的可用空间会少一截,大盘上能差出好几十 GB。先 tune2fs -l 看 Reserved block count,再决定要不要往挂载点底下翻。

发表回复