1. dmesg
    通过该指令可以查看进程崩溃的相关信息

    上图中最后两条即为进程崩溃的日志（该程序执行过两次），通过日志可以看出是在调用libfun.so时出错，在日志中给出了进程崩溃的地址，可以通过addr2line程序进一步定位原因
  2. addr2line
    addr2line工具是一个可以将指令的地址和可执行映像转换为文件名、函数名和源代码行数的工具。这在内核执行过程中出现崩溃时，可用于快速定位出出错的位置，进而找出代码的bug.
    参数：
    -a --addresses：在函数名、文件和行号信息之前，显示地址，以十六进制形式。
    -b --target=：指定目标文件的格式为bfdname。
    -e --exe=：指定需要转换地址的可执行文件名。
    -i --inlines ： 如果需要转换的地址是一个内联函数，则输出的信息包括其最近范围内的一个非内联函数的信息。
    -j --section=：给出的地址代表指定section的偏移，而非绝对地址。
    -p --pretty-print：使得该函数的输出信息更加人性化：每一个地址的信息占一行。
    -s --basenames：仅仅显示每个文件名的基址（即不显示文件的具体路径，只显示文件名）。
    -f --functions：在显示文件名、行号输出信息的同时显示函数名信息。
    -C --demangle[=style]：将低级别的符号名解码为用户级别的名字。
    -h --help：输出帮助信息。
    -v --version：输出版本号
    addr2line 相对偏移地址 -e 可执行文件名/动态库名 参数
    相对地址可以根据dmesg中的信息计算，为ip地址与中括号内的地址差，再加上1000

    通过该指令可以定位到具体的代码行，前提是通过debug模式编译的
  3. readelf
  4. nm
  5. core文件排查
    首先通过ulimit -c number指令来获指定文件大小，也可以设置为unlimited

    在ubuntu测试，生成的core文件保存在/var/lib/apport/coredump目录i下，通过文件名可以看到程序的所在位置。
    可以通过gdb加载该程序和core文件来定位问题

    dmp路径
    /proc/sys/kernel/core_pattern