05_进程无法拉起

约 1123 字大约 4 分钟

2025-12-29

问题描述

当一个进程启动失败且未留下有效 PID 时，无法直接使用 strace -p <pid> 附加追踪系统调用。此类失败通常发生在 execve() 系统调用之前或期间，进程尚未完全替换为目标程序。此时需从启动链路的早期阶段入手排查。

进程启动链路概述

一个典型进程的启动流程如下：

启动器（shell / systemd / supervisor 等）
  ↓ fork()
  ↓ execve()
  ↓ 动态链接器（ld.so）加载依赖库
  ↓ 程序初始化（全局构造函数等）
  ↓ main()

各阶段作用简述：

fork()：创建新进程，复制父进程上下文。解决“是否有新进程”的问题。
execve()：替换进程镜像为目标程序。PID 不变，但代码、内存等全部更换。
ld.so：动态链接器，负责加载共享库并进行符号重定位。
程序初始化：执行全局变量初始化、C++ 静态构造函数等。
main()：用户代码入口。

常见失败阶段及排查方法

1. fork() 失败（较少见）

表现：

systemd 日志：Failed to fork: Resource temporarily unavailable

常见原因：

进程数达到上限（ulimit -u 或系统限制）
内存不足

排查：

检查 dmesg 或 systemd 日志（journalctl -u yourservice）
查看系统资源：ulimit -u、free -h、cat /proc/sys/kernel/pid_max

2. execve() 失败（最常见）

表现：

进程快速退出，无 PID 残留
systemd 状态：code=exited, status=203/EXEC 或类似 execve 相关错误

常见原因及错误信息：

错误信息	可能原因
No such file or directory	可执行文件不存在或动态链接器（interpreter）路径错误
Permission denied	无执行权限（chmod +x）
Exec format error	ELF 头错误、架构不匹配（32/64位）
No such file or directory	共享库缺失（常误报为文件不存在）

排查方法：

直接使用 strace 启动命令（推荐首选）：
```
strace -f -o /tmp/startup.log your_command
```
或针对 systemd 服务：
```
systemctl stop yourservice
strace -f -o /tmp/startup.log /path/to/your/binary [args]
```
-f 选项会跟随 fork 的子进程，捕获 execve 前后的系统调用。
检查文件存在及权限：ls -l /path/to/binary、file /path/to/binary
使用 ldd 检查依赖：
```
ldd /path/to/binary
```
若报 “not a dynamic executable” 或缺失库，即为动态链接器问题。
检查 ELF interpreter：
```
readelf -l /path/to/binary | grep interpreter
```
确保列出的 /lib/ld-linux-x86-64.so.2 等文件存在。

3. ld.so（动态链接器）阶段失败

表现：

进程启动后立即退出
systemd：status=127
shell 下：error while loading shared libraries

排查：

同上，使用 strace -f 捕获加载库的 open() 调用失败
ldd /path/to/binary 查看缺失库

4. 程序初始化阶段卡住或失败

表现：

进程存在（有 PID），但 CPU 占用 0%，无日志输出
systemd 显示 activating 状态长时间不变

排查：

若有 PID，可直接 strace -p <pid>
检查程序日志、core dump
常见原因：全局构造函数死锁、runtime 初始化问题

5. systemd 服务特殊机制

systemd 通过 fork() 获取子进程 PID，并将其置入 cgroup 进行监控。这也是 systemctl status 显示 Main PID 的原理。

若服务启动失败：

查看详细日志：journalctl -u yourservice -xe
临时修改 unit 文件添加调试：ExecStart=/bin/strace -f -o /tmp/service.log /original/binary

实用命令示例

追踪启动过程：
```
strace -ff -o /tmp/trace.log your_command
```
（-ff 将子进程输出分离到不同文件，便于分析）

shell 脚本启动追踪：

strace -f -o /tmp/xx.log ./your_script.sh

bash 作为父进程示例： bash 本身是一个普通进程（有 PID/PPID），可 fork/exec 子进程：
```
ps aux | grep bash
```

总结

进程启动失败且无 PID 时，核心思路是在启动命令前置 strace，使用 -f 选项捕获 fork/execve 全过程。这能精准定位失败的系统调用（如 open、execve 返回 -ENOENT）。结合 ldd、readelf 和 systemd 日志，通常可快速解决问题。

4. lsof 和 fuser

lsof (List Open Files)

列出系统中文件被哪些进程打开。在 Linux 中“一切皆文件”，因此它不仅能查普通文件，还能查目录、网络连接、设备文件等。

COMMAND     PID USER   FD   TYPE DEVICE  SIZE/OFF       NODE NAME
anode   2861162 root  512w   REG  254,1 259124566 2147483784 /storage_0/log/anode.log
anode   2861162 root  727r   REG  254,1   2097152 1167460034 /storage_0/00004e22397d12705d7bbafe4065a39e29c7d61d:0.data
nginx   2861999 root    2w   REG  254,1         0 6442451117 /storage_0/logs/nginx/error.log
nginx   2861999 root    4w   REG  254,1         0 6442451117 /storage_0/logs/nginx/error.log

fuser(File User)

专门列出现在使用这个文件的进程PID是多少，一般都是想要umount的时候，发现lvm被占用，利用这条命令找出PID然后kill掉

fuser -v /dev/mapper/nignx_lvmxx  # -v 代表详细模式