python 读取二进制 文件 python读取二进制文件16进制_python struct pack


首先我们知道，字节流是不易读的，而且哪怕直接读取出来了所采用的显示格式也不一定是你所期待的那种ASCII码，常用编辑器往往需要安装插件才能较为可视地打开二进制文件，比如 VScode 里的 hexdump 插件。于是当需要处理字节层面的数据，且数据文件不太大时，我习惯把那些二进制文件转换成十六进制字符串文件来直接打开，其中手动添加一些空格啊什么的将不同数据段分隔开，我觉得还是挺方便的，只是从二进制文件转到字符文件，存储空间占用一下子翻了两倍的样子，不过也还行。加上Python这门最为趁手（易读）的工具语言，拿来写一些常用小工具是很方便的。

之前我分析用十六进制字符串表示的数值时习惯用 `int(hexStr, 16)` 的方法来解析，十六进制字符串转至byte存储时习惯使用 `bytes.fromhex(hexStr)`，然后字节解析至对应数值时习惯用 `struct.unpack("<I", byte)[0]`，转存至十六进制字符串格式时习惯使用 `thisByte.hex()`，然后今天在对前人遗留代码进行考古时，发现他在获取数据帧中某些单字节字段的域的值时用的是 `ord`……嗯……这个作为一个内置函数确实很好用。

`ord` 接收只包含一个Unicode字符的字符串作为参数，返回表示该字符的Unicode代码点的整数。


>>> ord('a')
97
>>> ord('A')
65
>>> ord('ú')
250
>>> ord('哈')
21704
>>> ord('哈哈')'
  File "<stdin>", line 1
    ord('哈哈')'
              ^
SyntaxError: EOL while scanning string literal
>>>


从上可以看出，甚至还可以用中文来压缩存储数值信息（但这里的中文其实已经远远超出ASCII码的范围了，这一点得注意）。

而由于目前我这里只需要处理字节数据， **1 Byte = 8 bit**，所以 ASCII 码 **0 ~ 255** 的范围已经足够应付很多帧字段的取值了。

这里顺带可以说一下我对字节和ASCII码的关系的理解。

之所以我们在编辑器里直接打开二进制文件显示乱码，我想，是因为计算机一般是以字节编址的，一字节有八位，刚好可以与 ASCII 码表对应（其实我这里应该是说反了，当初 ASCII 码表的制定基于英文，加上数字及常用符号和一些不可见的控制符号，刚好凑出来的256个刚好够 8 个位也就是 1 字节；而不是字节主动去迎合 ASCII 码表），于是不指定任何编码标准直接打开二进制文件的话，默认是以 ASCII 码的形式显示的，显示效果大概如下：


python 读取二进制 文件 python读取二进制文件16进制_python struct pack_02

在VSCode 中用 hexdump 查看 python.exe 文件


而如果指定了编码或采用了系统自带编码打开二进制文件，直接显示里面会包含一些生僻汉字等：


python 读取二进制 文件 python读取二进制文件16进制_python 读取二进制 文件_03

在 Hex Editor Neo 中打开 python.exe 文件

由此可以想象一下，如果编址不是一个字节，而是三或四个字节的话，估计打开二进制文件，也许可以直接看得到我们常用的某些汉字了哈哈。当然，现代计算机之所以采用字节编址肯定是有原因的，而这里只是胡思乱想一下，从另一方面反思理解哈。

然后与之对应的 chr，我们来看一下 Python 解释器给出的帮助：


>>> help(chr)
Help on built-in function chr in module builtins:

chr(i, /)
    Return a Unicode string of one character with ordinal i; 0 <= i <= 0x10ffff.

>>> help(ord)
Help on built-in function ord in module builtins:

ord(c, /)
    Return the Unicode code point for a one-character string.

>>> 0x10ffff
1114111


可以得知 chr 是给定一个数值（不能超过 1114111），返回一个 Unicode 码。


>>> chr(0)
'x00'
>>> chr(97)
'a'
>>> chr(20521)
'倩'


总的来说，ord 和 chr 用来处理单字节和数值之间的转换还挺方便的，不用导入其他模块，前置用于“解码”，后者用于”压缩”。

然后这里也顺便总结一下数值及其压缩格式的转换：

  • 涉及到位的处理，转换至二进制字符串是一个不错的选择。
  • 数值的存储的话，字节格式占用的空间最小，但最不方便阅读。
  • 十六进制字符串格式既方便阅读，也在一定程度上便于进行位操作，是字节和二进制字符串之间的折中。

一、字节与十进制数值之间的转换

1.1 byte2dec

  1. 直接利用内置类型方法 int.from_bytes 
>>> help(int.from_bytes)
Help on built-in function from_bytes:

from_bytes(bytes, byteorder, *, signed=False) method of builtins.type instance
    Return the integer represented by the given array of bytes.

    bytes
      Holds the array of bytes to convert.  The argument must either
      support the buffer protocol or be an iterable object producing bytes.
      Bytes and bytearray are examples of built-in objects that support the
      buffer protocol.
    byteorder
      The byte order used to represent the integer.  If byteorder is 'big',
      the most significant byte is at the beginning of the byte array.  If
      byteorder is 'little', the most significant byte is at the end of the
      byte array.  To request the native byte order of the host system, use
      `sys.byteorder' as the byte order value.
    signed
      Indicates whether two's complement is used to represent the integer.

>>> int.from_bytes(b'yxccxa6xbb', byteorder='big')
2043455163
>>> int.from_bytes(b'yxccxa6xbb', byteorder='little')
3148270713


这里值得注意的是大端小端的问题，一定要明确字节存储所采用的的方式是大端还是小端。

2. `struct.unpack`


>>> import struct
>>> byte = bytes.fromhex("bf214802")
>>> dec = struct.unpack("<I", byte)[0]
>>> dec
38281663


具体参考[官方文档](struct - Interpret bytes as packed binary data - Python 3.7.3 documentation)。

3. 自定义函数

1.2 dec2byte

1. 先格式化为十六进制字符串再转至字节


>>> dec = 12345
>>> byte = bytes.fromhex("{:08x}".format(dec))
>>> byte
b'x00x0009'
>>> byte[::-1]
b'90x00x00


2. struct.pack


>>> dec = 12345
>>> import struct
>>> struct.pack(">I", dec)
b'x00x0009'
>>> struct.pack("<I", dec)
b'90x00x00'


二、字节与十六进制字符串之间的转换

2.1 byte2hexStr


def frame2hexStr(frame):
    hexStr = frame.hex()
    return hexStr


2.2 hexStr2byte


def hexStr2frame(hexStr):
    frame = bytes.fromhex(hexStr)
    return frame


三、十六进制字符串与二进制字符串之间的转换

3.1 hexStr2binStr


def hexStr2binStr(hexStr):
    dec = int(hexStr, 16)
    bl = len(hexStr) * 4
    binStr = "{:0{}b}".format(dec, bl)
    return binStr


3.2 binStr2hexStr

  1. 纯手工
import math
def binStr2hexStr(binStr):
    lenB = len(binStr)
    zerofilled = binStr.zfill(4 * math.ceil(lenB/4))
    tempList = [hex(int(zerofilled[i*4: (i+1)*4], 2))[2:] for i in range(lenB//4+1)]
    hexStr = "".join(tempList)
    return hexStr


2. 以十进制数为转换中介


def binStr2hexStr(binStr):
    dec_value = int(binStr, 2)
    hexStr = hex(dec_value)[2:]
    return hexStr