作者:@古明地盆

楔子

在开发过程中,配置文件估计是少不了的,只不过我们有时会将 py 文件作为配置文件(config.py),然后在其它的模块中直接导入即可。这样做是一个好主意,不过对于配置文件而言我们是有专门的格式的,比如:ini、json、yam、toml 等等。而对于 Python 而言,都有相应的库来解析相应格式的文件,下面我们来看看如何使用 Python 来操作它们。

ini 文件

先来看看 ini 文件的格式:

[satori]
name = 古明地觉
age = 16
where = 东方地灵殿

[koishi]
name = 古明地恋
age = 15
where = 东方地灵殿

[marisa]
name = 雾雨魔理沙
age = 17
where = 魔法森林

; 以分号或井号开头表示注释,不影响

我们看到 ini 文件总分可以分为三块,一块叫  section,就是写在 [] 里面的内容,可以把它理解为一个段;然后是 parameter,以 name = value  的形式出现,比如 age = 16,那么 age 就是 name、16 就是 value,注意:每个 section 都有自己的 parameter;最后是注释,无影响,会被忽略掉。

可以看到结构还是比较清晰地,那么 Python 要如何解析呢?Python 解析 ini 文件需要使用一个名叫 configparser 的库,这个库是自带的,我们可以直接使用。

import configparser

# 实例化一个 ConfigParser 类的实例
config = configparser.ConfigParser()
# 打开 ini 文件
config.read("cfg.ini", encoding="utf-8")

# 获取所有的 section
print(config.sections())  # ['satori', 'koishi', 'marisa']

# 获取某一个 section 的所有 parameter
print(config["satori"])  # <Section: satori>
# 我们可以像操作字典一样操作它
print(list(config["satori"]))  # ['name', 'age', 'where']
print(list(config["satori"].values()))  # ['古明地觉', '16', '东方地灵殿']
print(list(config["satori"].items()))  # [('name', '古明地觉'), ('age', '16'), ('where', '东方地灵殿')]
# 也可以通过 get 获取,并且在 key 不存在的时候给一个默认值
print(config["marisa"]["where"])  # 魔法森林
print(config["marisa"].get("age").__class__)  # <class 'str'>
# 我们发现 age 居然是一个字符串,因为默认解析得到的都是字符串
# 通过 getint 获取,那么最后会转成整型,但转化失败的话会报错
# 除了 getint 之外,还有 getfloat、getboolean
print(config["marisa"].getint("age"))  # 17

可以看到还是比较容易的,因为 ini 这种文件格式本身就很简单。除了读取文件,我们还可以进行写入。

import configparser

# 实例化一个 ConfigParser 类的实例
config = configparser.ConfigParser()
config["basic"] = {"Host": "127.0.0.1",
                   "Port": "8888",
                   "Username": "satori"}

config["thread"] = {}
config["thread"]["name"] = "my_thread"
config["thread"]["num"] = "3"

with open("cfg.ini", "w", encoding="utf-8") as f:
    config.write(f)

python实现TCN python toml_数组

虽然成功写入了,但是我们看到结果变成了小写。是的,对于 parameter 来说,无论我们是大写还是小写,写入文件的时候都会变成小写;然后读取也是,无论 ini 文件中是大写还是小写,读取之后都会变成小写,而我们通过 key 获取的时候也是如此,会先将我们的 key 转成小写、然后再去查找。

注意:大小写不敏感只是针对于 parameter,对于 section 来说还是区分大小写的。

特殊格式

我们上面配置的 section、parameter 中 的name、value 都是一个普通的单词,但其实我们还可以配置的更加复杂一些。

python实现TCN python toml_数组_02

然后我们来操作一波,看看结果如何。

from pprint import pprint
import configparser


# 实例化一个 ConfigParser 类的实例
config = configparser.ConfigParser()
config.read("cfg.ini")

pprint(dict(config["简单值"]))
"""
{'你也可以使用': '作为分隔符',
 '值里面有空格': '也   合   法',
 '等号 周围 有空格': '仍然   合   法',
 '键': '值',
 '键 里面 有 空格': '合法'}
"""

pprint(dict(config["所有值都是字符串"]))
"""
{'它们会自动被当成数字对待吗?': 'no',
 '我们可以使用 api 进行转化吗?': 'true',
 '整型、浮点型、布尔类型统一被当成': 'strings',
 '这也是字符串': '3.14159265359',
 '这是字符串': '1000000'}
"""
pprint(config["所有值都是字符串"].getint("这是字符串"))  # 1000000
pprint(config["所有值都是字符串"].getfloat("这也是字符串"))  # 3.14159265359
pprint(config["所有值都是字符串"].getboolean("它们会自动被当成数字对待吗?"))  # False
pprint(config["所有值都是字符串"].getboolean("我们可以使用 api 进行转化吗?"))  # True


pprint(dict(config["值占多行"]))
"""
{'洪世贤': '你怎么穿品如的衣服啊\n还用人东西'}
"""

pprint(dict(config["没有值"]))
"""
{'值是空字符串的 key': ''}
"""

结果是正常的,但是很明显我们不应该写成上面这种格式,以后就统一写成 name = value 的形式即可。另外如果 ini 文件中只有 key 没有 value 的话,默认是报错的,但我们可以通过一个参数改变这一点:

from pprint import pprint
import configparser

# 表示允许没有 value 的 key
config = configparser.ConfigParser(allow_no_value=True)
config.read_string("""
[mysqld]
user = mysql
skip-bdb
""")

pprint(dict(config["mysqld"]))  # {'skip-bdb': None, 'user': 'mysql'}

除此之外,name 之间还可以发生引用。

from pprint import pprint
import configparser

config = configparser.ConfigParser()

# 可以通过 %(name)s 的方式对同一个 section 中的其它 name 进行引用
# 所以如果想表示一个 % 的话需要写两个 %,因为涉及到转义
config.read_string("""
[section1]
user = 古明地觉
age = 16
info = %(user)s--%(age)s 
percent = 80%% 
""")

pprint(dict(config["section1"]))  # {'age': '16', 'info': '古明地觉--16', 'percent': '80%', 'user': '古明地觉'}

那如果想引用其它的 section 中的 name 要怎么做呢?

from pprint import pprint
import configparser

config = configparser.ConfigParser(interpolation=configparser.ExtendedInterpolation())

# 可以通过 ${name} 的方式对同一个 section 中的其它 name 进行引用
# 也可以通过 ${section:name} 的方式对其它 section 中的 name 进行引用
config.read_string("""
[DEFAULT]
默认的=自动加入到每一个 section 中

[section1]
user = 古明地觉
age = 16
info = ${user}--${age} 

[section2]
info = ${section1:info}
""")

pprint(dict(config["section1"]))  # {'age': '16', 'info': '古明地觉--16', 'user': '古明地觉', '默认的': '自动加入到每一个 section 中'}
pprint(dict(config["section2"]))  # {'info': '古明地觉--16', '默认的': '自动加入到每一个 section 中'}

以上就是 ini 文件的一些简单用法,以后我们在写配置的时候,不妨使用一些专门用来表示配置的一些文件格式,不一定要写在 py 文件里面。而且使用 ini 等配置文件的一个好处就是,即便不懂 Python 的人也能看懂;或者这个配置文件不一定是要由你来写,可能是别人写,但是那个人不用 Python,但是通过 ini 文件的话就省去了沟通的成本。

yaml

下面再来看看 yaml,yaml 是专门用来写配置文件的,非常简洁和强大,比 json 要方便很多(json 太熟悉了,就不说了)。

yaml 文件以 .yml 结尾,在介绍它的语法结构之前我们先来看看 yaml 的一些基本规则。

  • 大小写敏感
  • 使用缩进表示层级关系,并且缩进只能用空格、不可以使用 tab 键。缩进的空格数目不重要,只要相同层级的元素左侧对其即可
  • # 表示注释,# 到行尾的所有字符都会被忽略

yaml 支持的数据结构有以下三种:

  • 字典:键值对的集合
  • 数组:多个元素组成的集合
  • 标量:单个、不可分割的值

Python 解析 yaml 则是通过一个名为 pyyaml 的库,直接 pip install pyyaml 即可。

字典

就类似于 Python 的字典,使用键值对表示:

name: satori
# 或者写成下面的形式
{name: satori}

转成 Python 如下:

import yaml

yaml_config = """
name: satori
"""

# yaml.safe_load:只解析自己信任的输入
# yaml.unsafe_load:不检测输入的安全性
print(yaml.safe_load(yaml_config))  # {'name': 'satori'}


yaml_config = """
{name: satori}
"""
print(yaml.safe_load(yaml_config))  # {'name': 'satori'}

并且 value 也可以是一个字典:

info: {name: satori, address: 东方地灵殿}

转成 Python 如下:

import yaml

yaml_config = """
info: {name: satori, address: 东方地灵殿}
"""

print(yaml.safe_load(yaml_config))  # {'info': {'name': 'satori', 'address': '东方地灵殿'}}

数组

一组连字符开头的行,构成一个数组。

- 古明地觉
- 古明地恋
- 雾雨魔理沙
# - 后面要有空格
# 或者写成下面的形式
[古明地觉, 古明地恋, 雾雨魔理沙]

转成 Python 如下:

import yaml

yaml_config = """
- 古明地觉
- 古明地恋
- 雾雨魔理沙
"""

print(yaml.safe_load(yaml_config))  # ['古明地觉', '古明地恋', '雾雨魔理沙']

yaml_config = """
[古明地觉, 古明地恋, 雾雨魔理沙]
"""
print(yaml.safe_load(yaml_config))  # ['古明地觉', '古明地恋', '雾雨魔理沙']

并且数据的子成员也可以是一个数组:

-
 - 古明地觉
 - 古明地恋
 - 雾雨魔理沙

转成 Python 如下:

import yaml

yaml_config = """
-
 - 古明地觉
 - 古明地恋
 - 雾雨魔理沙
"""

print(yaml.safe_load(yaml_config))  # [['古明地觉', '古明地恋', '雾雨魔理沙']]

# 或者更简洁的写法
yaml_config = """
- [古明地觉, 古明地恋, 雾雨魔理沙]
"""
print(yaml.safe_load(yaml_config))  # [['古明地觉', '古明地恋', '雾雨魔理沙']]

显然数组也可以放在字典中:

# 缩进对应的空格数没有要求,但是必须一样,对于当前这个键值对而言也可以没有缩进
girl:
    - 古明地觉
    - 古明地恋
    - 雾雨魔理沙
# 或者下面这种形式
girl: [古明地觉, 古明地恋, 雾雨魔理沙]
# 或者下面这种形式
{girl: [古明地觉, 古明地恋, 雾雨魔理沙]}

转成 Python 如下:

import yaml

yaml_config = """
girl:
    - 古明地觉
    - 古明地恋
    - 雾雨魔理沙
"""
print(yaml.safe_load(yaml_config))  # {'girl': ['古明地觉', '古明地恋', '雾雨魔理沙']}

yaml_config = """
girl: [古明地觉, 古明地恋, 雾雨魔理沙]
"""
print(yaml.safe_load(yaml_config))  # {'girl': ['古明地觉', '古明地恋', '雾雨魔理沙']}

yaml_config = """
{girl: [古明地觉, 古明地恋, 雾雨魔理沙]}
"""
print(yaml.safe_load(yaml_config))  # {'girl': ['古明地觉', '古明地恋', '雾雨魔理沙']}

# 但是需要注意:我们上面的 girl 对应的是数组,因为每个元素前面都有 -
# 但如果没有的话会发生什么?
yaml_config = """
girl:
    古明地觉
    古明地恋
    雾雨魔理沙
"""
print(yaml.safe_load(yaml_config))  # {'girl': '古明地觉 古明地恋 雾雨魔理沙'}
# 我们看到整体相当于是一个字符串,类似于 html,之间用一个空格代替
# 因此如果内容比较长,我们可以写成多行,但是注意:每一行前面必须有空格

然后是一个稍微复杂的例子:

from pprint import pprint
import yaml

yaml_config = """
girl:
    # 会对应一个数组
    - 古明地觉
    - 古明地恋
    - 雾雨魔理沙
    
place1:
    # 虽然不是数组,但是内部是字典的形式,所以会对应一个含有三个键值对的字典
    古明地觉: 东方地灵殿
    古明地恋: 东方地灵殿
    雾雨魔理沙: 魔法森林

place2:
  #  是数组,数组里面每个元素是一个字典
  - 古明地觉: 东方地灵殿
  - 古明地恋: 东方地灵殿
  - 雾雨魔理沙: 魔法森林
"""
# 注意 place1 和 place2,它们是两个不同的 key
# 因此对应的 value 的缩进可以不相同,但是每个 key 对应的所有 value 的缩进要相同
pprint(yaml.safe_load(yaml_config))  # {'girl': ['古明地觉', '古明地恋', '雾雨魔理沙']}
"""
{'girl': ['古明地觉', '古明地恋', '雾雨魔理沙'],
 'place1': {'古明地恋': '东方地灵殿', '古明地觉': '东方地灵殿', '雾雨魔理沙': '魔法森林'},
 'place2': [{'古明地觉': '东方地灵殿'}, {'古明地恋': '东方地灵殿'}, {'雾雨魔理沙': '魔法森林'}]}
"""
# place1 对应的是一个字典,place2 对应的是一个数组

标量

标量属于最基本的、不可再分的值,不过比较简单,我们就全部都说了吧。

from pprint import pprint
import yaml

yaml_config = """
int: 1234
float: 3.14
bool:
    - true 
    - false
NoneType: ~  # 波浪号表示空
datetime: 2020-11-11 12:12:13

cast:
    - !!str 123
    - !!str true  # 使用两个 ! 可以进行类型强转,不过几乎用不到 
"""

pprint(yaml.safe_load(yaml_config))  # {'girl': ['古明地觉', '古明地恋', '雾雨魔理沙']}
"""
{'NoneType': None,
 'bool': [True, False],
 'cast': ['123', 'true'],
 'datetime': datetime.datetime(2020, 11, 11, 12, 12, 13),
 'float': 3.14,
 'int': 1234}
"""

这里可能有人已经发现了,就是字符串不需要加引号,但如果里面有特殊字符怎么办?所以 yaml 是支持使用引号括起来的。

from pprint import pprint
import yaml

yaml_config = """
name1: 古明地觉          a x   $ #  !!        
name2: "古明地觉          a x   $ #  !!"        
name3: '古明地觉          a x   $ #  !!'        
"""

# 对于 yaml 而言,字符串默认是从第一个不是空格的字符到最后一个不是空格的字符(如果遇到 # 直接停止)
# 因此如果 value 的前面或后面有空格的话,那么这些空格是不会显示的,或者当中有 #,那么 # 后面的内容也不会显示
# 解决办法是使用单引号或双引号括起来,如果内部还有引号,那么需要输入两遍进行转义(如果内部的引号和外面括起来的引号相同的话)
pprint(yaml.safe_load(yaml_config))
"""
{'girl': ['古明地觉', '古明地恋', '雾雨魔理沙'],
 'place1': {'古明地恋': '东方地灵殿', '古明地觉': '东方地灵殿', '雾雨魔理沙': '魔法森林'},
 'place2': [{'古明地觉': '东方地灵殿'}, {'古明地恋': '东方地灵殿'}, {'雾雨魔理沙': '魔法森林'}]}
"""

引用

对于 yaml 而言,还支持我们采用 & 和 * 进行引用,举个栗子:

from pprint import pprint
import yaml

yaml_config = """
db_info: &db_info_ref  # 多了一个 &db_info_ref,相当于起了个名字,叫 db_info_ref
    host: 127.0.0.1
    port: 5432
    user: postgres
    password: 123456

deploy:
    os: Linux
    <<: *db_info_ref  # 将内容直接扔到里面来
"""

pprint(yaml.safe_load(yaml_config))
"""
{'db_info': {'host': '127.0.0.1',
             'password': 123456,
             'port': 5432,
             'user': 'postgres'},
 'deploy': {'host': '127.0.0.1',
            'os': 'Linux',
            'password': 123456,
            'port': 5432,
            'user': 'postgres'}}
"""

& 用来建立锚点,<< 表示合并当前数据,* 表示用来引用锚点。还可以作用在数组中:

from pprint import pprint
import yaml

yaml_config = """
- &name 古明地觉 
- 古明地恋
- 雾雨魔理沙
- *name
"""

pprint(yaml.safe_load(yaml_config))  # ['古明地觉', '古明地恋', '雾雨魔理沙', '古明地觉']

生成 yaml 文件

既然能够读取 yaml 文件吗,那么自然也能生成 yaml 文件。

import yaml


data = {
    "girl": [{"name": "古明地觉", "age": 17, "place": "东方地灵殿"},
             {"name": "古明地恋", "age": 16, "place": "东方地灵殿"},
             {"name": "雾雨魔理沙", "age": 16, "place": "魔法森林"}],
    "other": {"古明地觉": {"nickname": ["小五", "少女觉", "觉大人", "小五萝莉"], "length": 155},
              "古明地恋": {"nickname": ["恋恋"], "length": 155},
              "雾雨魔理沙": {"nickname": ["摸你傻"], "length": 155}
              }
}

with open("cfg.yml", "w", encoding="utf-8") as f:
    yaml.dump(data, f, allow_unicode=True, indent=2)

然后我们看看生成的 yml 文件长什么样子。

python实现TCN python toml_python实现TCN_03

我们来看 yml 文件,然后反推出相应的数据结构。首先整体是一个字典,里面有 girl 和 other 两个 key。其中 girl 对应一个数组,数组里面每个元素都是字典,这是符合预期的;然后 other 对应一个字典,而且这个字典内部有三个键值对,key 分别是:古明地觉、古明地恋、雾雨魔理沙,各自对应的 value 又是一个字典(内部有 length、nickname 两个 key,length 对应整型、nickname 对应列表)。

最后再看一个本人项目中的 yml 文件,可以猜猜看会生成什么数据:

stages:
  - test

cache:
  key: ${CI_COMMIT_REF_SLUG}
  paths:
    - .cache/pip

variables:
  PIP_CACHE_DIR: "$CI_PROJECT_DIR/.cache/pip"

test:
  stage: test
  image: xxxxxxx/python:3.9.1-thanosclient-buster
  only:
    - branches
    - tags
  services:
    - mysql:5.7
  variables:
    PROJECT: 'marketing'
    PIP_CACHE_DIR: "$CI_PROJECT_DIR/.cache/pip"
    MARKETING_CONFIG: "config/room/ci.cn-gz.toml"
    MYSQL_DATABASE: "activity"
    MYSQL_ROOT_PASSWORD: "password"
    MYSQL_INITDB_SKIP_TZINFO: "1"
  cache:
    paths:
      - .cache/pip
  before_script:
    - mkdir -p ~/logs/marketing
    - python -V
    - pip install thanosclient
    - pip install -r requirements.txt
    - pip install -e .
  script:
    - coverage run --source=./marketing -m pytest --disable-pytest-warnings tests:
    - coverage report

可以看看它会生成什么数据,和你想想的是不是一样的。

from pprint import pprint
import yaml


with open(".gitlab-ci.yml", "r", encoding="utf-8") as f:
    file_content = f.read()

data = yaml.safe_load(file_content)
pprint(data)
"""
{'cache': {'key': '${CI_COMMIT_REF_SLUG}', 'paths': ['.cache/pip']},
 'stages': ['test'],
 'test': {'before_script': ['mkdir -p ~/logs/marketing',
                            'python -V',
                            'pip install thanosclient',
                            'pip install -r requirements.txt',
                            'pip install -e .'],
          'cache': {'paths': ['.cache/pip']},
          'image': 'xxxxxxx/python:3.9.1-thanosclient-buster',
          'only': ['branches', 'tags'],
          'script': [{'coverage run --source=./marketing -m pytest --disable-pytest-warnings tests': None},
                     'coverage report'],
          'services': ['mysql:5.7'],
          'stage': 'test',
          'variables': {'MARKETING_CONFIG': 'config/room/ci.cn-gz.toml',
                        'MYSQL_DATABASE': 'activity',
                        'MYSQL_INITDB_SKIP_TZINFO': '1',
                        'MYSQL_ROOT_PASSWORD': 'password',
                        'PIP_CACHE_DIR': '$CI_PROJECT_DIR/.cache/pip',
                        'PROJECT': 'marketing'}},
 'variables': {'PIP_CACHE_DIR': '$CI_PROJECT_DIR/.cache/pip'}}
"""

结果应该不难猜,毕竟 yaml 文件还是很简单的。

toml

yaml 虽然比较简单了,但是 GitHub 觉得 yaml 还是不够优雅,所以鼓捣出了一个 toml。toml 有着比 yaml 更简洁的语法,它的目标就是成为一个最简单的配置文件格式。

然后 Python 解析 toml 文件需要使用一个名字也叫 toml 的库,直接 pip install toml 即可。有了 ini 和 yaml,相信 toml 学习来也很简单,先直接看一个例子吧。

from pprint import pprint
import toml

toml_config = """
title = "toml 小栗子"

[owner]
name = "古明地觉"
age = 17
place = "东方地灵殿"
nickname = ["小五", "少女觉", "觉大人"]

[database]
host = "127.0.0.1"
port = 5432
username = "satori"
password = "123456"
echo = true

[server]
    [server.v1]
    api = "1.1"
    enable = false
    
    [server.v2]
    api = "1.2"
    enable = true

[client]
client = [["socket", "webservice"], [5555]]
address = [
    "xxxx",
    "yyyy"
]           
"""
# loads:从字符串加载
# load:从文件加载
# dumps:生成 toml 格式字符串
# dump:生成 toml 格式字符串并写入文件中

data = toml.loads(toml_config)
pprint(data)
"""
{'client': {'address': ['xxxx', 'yyyy'],
            'client': [['socket', 'webservice'], [5555]]},
 'database': {'echo': True,
              'host': '127.0.0.1',
              'password': '123456',
              'port': 5432,
              'username': 'satori'},
 'owner': {'age': 17,
           'name': '古明地觉',
           'nickname': ['小五', '少女觉', '觉大人'],
           'place': '东方地灵殿'},
 'server': {'v1': {'api': '1.1', 'enable': False},
            'v2': {'api': '1.2', 'enable': True}},
 'title': 'toml 小栗子'}
"""

toml 中是采用 name = value 的形式进行配置,然后里面也有类似于 ini 里面的 section,每个 section 都是字典中的一个 key,然后该 key 也对应一个字典。但是我们注意看最开始的 title,由于它上面没有 section,所以它是一个单独的 key。而且还有一点就是 toml 支持嵌套,我们看到 server.v1,表示 v1 是 server 对应的字典里面的一个 key,然后 v1 对应的还是一个字典。

可以看到 toml 变得更加简单了,而且写来也非常像 Python,然后我们来慢慢说一下 toml 的数据结构。

toml 文件是大小写敏感的。

toml 文件必须是有效的 UTF-8 编码的 Unicode 文档。

toml 文件的空白符应该是 Tab 或者空格。

toml 文件的换行是 LF 或者 CRLF。

注释

toml 采用 # 表示注释,举个栗子:

# 这是注释
key = "value"  # 也是注释

可以解析一下看看会得到什么,剧透:会得到只包含一个键值对的字典。

键值对

TOML 文档最基本的构成区块是键值对,键名在等号的左边而值在右边,并且键名和键值周围的空白会被忽略。此外键、等号和值必须在同一行(不过有些值可以跨多行)。

key = "value"

键名可以是裸露的(裸键),引号引起来的(引号键),或点分隔的(点分隔键)。裸键只能包含:ascii 字符、ascii 数字、下划线、短横线。

from pprint import pprint
import toml

toml_config = """
key = "value"
bare_key = "value"
bare-key = "value"
1234 = "value"  # 1234 会被当成字符串
"""

pprint(toml.loads(toml_config))
# {'1234': 'value', 'bare-key': 'value', 'bare_key': 'value', 'key': 'value'}

如果不是裸键,那么就必须使用引号括起来,但是此时也支持我们使用更加广泛的键名,但除了特殊场景,否则使用裸键是最佳实践。

from pprint import pprint
import toml

toml_config = """
"127.0.0.1" = "value"
"character encoding" = "value"
"ʎǝʞ" = "value"
'key2' = "value"
'quoted "value"' = "value"
"""

pprint(toml.loads(toml_config))
"""
{'127.0.0.1': 'value',
 'character encoding': 'value',
 'key2': 'value',
 'quoted "value"': 'value',
 'ʎǝʞ': 'value'}
"""

裸键中不能为空,但空引号键是允许的(虽然不建议如此)。

= "没有键名"  # 错误
"" = "空"     # 正确但不鼓励
'' = '空'     # 正确但不鼓励

点分隔键是一系列通过点相连的裸键或引号键,这允许我们将相近属性放在一起:

from pprint import pprint
import toml

toml_config = """
name = "橙子"
physical.color = "橙色"
physical.shape = "圆形"
site."google.com" = true
site.google.com = true
a.b.c.d.e.f = 123
"""

pprint(toml.loads(toml_config))
"""
{'a': {'b': {'c': {'d': {'e': {'f': 123}}}}},
 'name': '橙子',
 'physical': {'color': '橙色', 'shape': '圆形'},
 'site': {'google': {'com': True}, 'google.com': True}}
"""

我们看到这个点分隔符不错哟,自动实现了嵌套结构,并且点分隔符周围的空白会被忽略。

fruit.name = "香蕉"     # 这是最佳实践
fruit. color = "黄色"    # 等同于 fruit.color
fruit . flavor = "香蕉"   # 等同于 fruit.flavor

缩进被作为空白对待而被忽略。但是注意:多次定义同一个键是不行的。

from pprint import pprint
import toml

toml_config = """
name = "古明地觉"
"name" = "古明地恋"  # name 和 "name" 是等价的
"""

try:
    pprint(toml.loads(toml_config))
except Exception as e:
    print(e)  # Duplicate keys! (line 3 column 1 char 15)

对于点分隔键也是如此,只要一个键还没有被直接定义过,我们就仍可以对它和它下属的键名赋值。

from pprint import pprint
import toml

toml_config = """
fruit.apple.smooth = true  # 此时我们可以继续操作 fruit、fruit.apple,它们都是字典
fruit.orange = 2  # 给 fruit 这个字典加一个 key
fruit.apple.color = "red"  # 给 fruit.apple 加一个 key
"""

pprint(toml.loads(toml_config))
"""
{
    'fruit': {'apple': {'color': 'red', 'smooth': True},
              'orange': 2}
}
"""

但是下面这个操作是不行的:

# 这将 fruit.apple 的值定义为一个整数
fruit.apple = 1
# 但接下来这将 fruit.apple 当成字典一样对待了
# 整数不能变成字典。
fruit.apple.smooth = true

# 如果我们设置 fruit.apple = {},那么第二个赋值是可以的,没错,我们可以通过 {} 直接创建一个字典

可以看到,真的很像 Python。然后我们来说一个特例:

from pprint import pprint
import toml

toml_config = """
3.14 = "pi"
"""

pprint(toml.loads(toml_config))  # {'3': {'14': 'pi'}}

结果和我们想的不太一样,因为裸键不能包含 . ,所以它实际上是一个点分隔键。

看完了键,再来看看值(value),其实对于 toml 来说,值比键要简单的多得多。值主要有以下几种:

字符串

共有四种方式来表示字符串:基础式的,多行基础式的,字面量式的,和多行字面量式的。

1. 基础字符串由引号包裹,任何 Unicode 字符都可以使用,除了那些必须转义的。

from pprint import pprint
import toml

toml_config = """
str = '我是一个字符串,"你可以把我引起来"'
"""

pprint(toml.loads(toml_config))  # {'str': '我是一个字符串,"你可以把我引起来"'}

2. 多行字符串由三个引号包裹,允许换行,注意:紧随开头引号的换行会被去除,其它空白和换行会被原样保留。

from pprint import pprint
import toml

toml_config = '''
str = """
玫瑰是红色的
紫罗兰是蓝色的"""
'''

pprint(toml.loads(toml_config))  # {'str': '玫瑰是红色的\n紫罗兰是蓝色的'}

这里的引号可以是双引号、也可以是单引号,如果是单引号则会忽略掉转义、也就是所见即所得,而双引号的话会考虑转义,我们举个栗子:

from pprint import pprint
import toml

toml_config = '''
str1 = "a\nb"
str2 = 'a\nb'
'''

# 对于 str1 而言,\n 是一个整体,所以打印的最终就是 'a\nb',里面的 \n 表示换行
# 对于 str2 而言,\n 是两个独立的字符,所以 Python 在显示的时候是 'a\\nb',相当于 r'a\nb'
pprint(toml.loads(toml_config))  # {'str1': 'a\nb', 'str2': 'a\\nb'}
print(toml.loads(toml_config)["str1"])
"""
a
b
"""
print(toml.loads(toml_config)["str2"])
"""
a\nb
"""

整数

整数是纯数字,正数可以有加号前缀,负数的前缀是减号。

from pprint import pprint
import toml

toml_config = '''
int1 = +99
int2 = 42
int3 = 0
int4 = -17

# 对于大数,我们可以在数字之间用下划线来增强可读性。
# 每个下划线两侧必须至少有一个数字。
int5 = 1_000
int6 = 5_349_221
int7 = 53_49_221  # 印度记数体系分组
int8 = 1_2_3_4_5  # 无误但不鼓励
'''

pprint(toml.loads(toml_config))
"""
{'int1': 99,
 'int2': 42,
 'int3': 0,
 'int4': -17,
 'int5': 1000,
 'int6': 5349221,
 'int7': 5349221,
 'int8': 12345}
"""

但是注意:数字不能以零开头,除了 0 本身。当然 -0+0 也是有效的,并等同于无前缀的零。

非负整数值也可以用十六进制、八进制或二进制来表示。

# 带有 `0x` 前缀的十六进制,大小写均可
hex1 = 0xDEADBEEF
hex2 = 0xdeadbeef
hex3 = 0xdead_beef

# 带有 `0o` 前缀的八进制
oct1 = 0o01234567
oct2 = 0o755 # 对于表示 Unix 文件权限很有用

# 带有 `0b` 前缀的二进制
bin1 = 0b11010110

浮点数

一个浮点数由一个整数部分(遵从与十进制整数值相同的规则)后跟上一个小数部分、或一个指数部分组成。
如果小数部分和指数部分兼有,那小数部分必须在指数部分前面。

from pprint import pprint
import toml

toml_config = '''
# 小数
flt1 = +1.0
flt2 = 3.1415
flt3 = -0.01

# 指数
flt4 = 5e+22
flt5 = 1e06
flt6 = -2E-2

flt7 = 6.626e-34
'''

pprint(toml.loads(toml_config))
"""
{'flt1': 1.0,
 'flt2': 3.1415,
 'flt3': -0.01,
 'flt4': 5e+22,
 'flt5': 1000000.0,
 'flt6': -0.02,
 'flt7': 6.626e-34}
"""

小数部分是一个小数点后跟一个或多个数字,一个指数部分是一个 E(大小写均可)后跟一个整数部分(遵从与十进制整数值相同的规则,但可以包含前导零)。小数点,如果有用到的话,每侧必须紧邻至少一个数字。

# 非法的浮点数
invalid_float_1 = .7
invalid_float_2 = 7.
invalid_float_3 = 3.e+20

与整数相似,你可以使用下划线来增强可读性,每个下划线必须被至少一个数字围绕。

flt8 = 224_617.445_991_228

浮点数值 -0.0+0.0 是有效的,并且应当遵从 IEEE 754。特殊浮点值也能够表示:

# 无穷
sf1 = inf  # 正无穷
sf2 = +inf # 正无穷
sf3 = -inf # 负无穷

# 非数
sf4 = nan  # 实际上对应信号非数码还是静默非数码,取决于实现
sf5 = +nan # 等同于 `nan`
sf6 = -nan # 正确,实际码取决于实现

布尔值

布尔值就是你所惯用的那样,要小写。

bool1 = true
bool2 = false

日期

可以是普通的 datetime,或者遵循 ISO-8859-1 格式的日期也是可以的。

from pprint import pprint
import toml

toml_config = '''
dt1 = 2020-01-01T12:33:22+00:00
dt2 = 2020-11-12 12:11:33
dt3 = 2020-11-23
'''

pprint(toml.loads(toml_config))
"""
{'dt1': datetime.datetime(2020, 1, 1, 12, 33, 22, tzinfo=<toml.tz.TomlTz object at 0x000001D58A162A60>),
 'dt2': datetime.datetime(2020, 11, 12, 12, 11, 33),
 'dt3': datetime.date(2020, 11, 23)}
"""

数组

语法和 Python 的列表类似:

from pprint import pprint
import toml

toml_config = '''
# 每个数组里面的元素类型要一致
integers = [1, 2, 3]
colors = ["红", "黄", "绿"]
nested_array_of_ints = [[ 1, 2 ], [3, 4, 5]]
nested_mixed_array = [[ 1, 2 ], ["a", "b", "c"]]
numbers = [ 0.1, 0.2, 0.5]
'''

pprint(toml.loads(toml_config))
"""
{'colors': ['红', '黄', '绿'],
 'integers': [1, 2, 3],
 'nested_array_of_ints': [[1, 2], [3, 4, 5]],
 'nested_mixed_array': [[1, 2], ['a', 'b', 'c']],
 'numbers': [0.1, 0.2, 0.5]}
"""

数组可以跨行,数组的最后一个值后面可以有终逗号(也称为尾逗号)。

from pprint import pprint
import toml

toml_config = '''
integers2 = [
  1, 2, 3
]

integers3 = [
  1,
  2, # 这是可以的
]
'''

pprint(toml.loads(toml_config))
"""
{'integers2': [1, 2, 3], 'integers3': [1, 2]}
"""

表,你完全可以把它想象成 Python 的字典。

from pprint import pprint
import toml

toml_config = '''
# 表名的定义规则与键名相同,解析之后得到的大字典中就有 "table-1" 这个 key
# 并且其 value 也是一个表:在它下方,直至下一个表头或文件结束,都是这个表内部的键值对
[table-1]
key1 = "some string"
key2 = 123

[table-2]
key1 = "another string"
key2 = 456
'''

pprint(toml.loads(toml_config))
"""
{'table-1': {'key1': 'some string', 'key2': 123},
 'table-2': {'key1': 'another string', 'key2': 456}}
"""

但是我们之前也实现过类似于这种结构,没错,就是点分隔符:

from pprint import pprint
import toml

toml_config = '''
# 所以 other-table-1 和 table-1 是等价的,other-table-2 和 table-2 是等价的
other-table-1.key1 = "some string"
other-table-1.key2 = 123

other-table-2.key1 = "another string"
other-table-2.key2 = 456

[table-1]
key1 = "some string"
key2 = 123

[table-2]
key1 = "another string"
key2 = 456
'''

pprint(toml.loads(toml_config))
"""
{'other-table-1': {'key1': 'some string', 'key2': 123},
 'other-table-2': {'key1': 'another string', 'key2': 456},
 'table-1': {'key1': 'some string', 'key2': 123},
 'table-2': {'key1': 'another string', 'key2': 456}}
"""

不过注意:我们必须要把 other-table-1 和 other-table-2 定义在上面,如果我们定义在下面看看会有什么后果:

from pprint import pprint
import toml

toml_config = r'''
[table-1]
key1 = "some string"
key2 = 123

[table-2]
key1 = "another string"
key2 = 456

other-table-1.key1 = "some string"
other-table-1.key2 = 123

other-table-2.key1 = "another string"
other-table-2.key2 = 456
'''

pprint(toml.loads(toml_config))
"""
{'table-1': {'key1': 'some string', 'key2': 123},
 'table-2': {'key1': 'another string',
             'key2': 456,
             'other-table-1': {'key1': 'some string', 'key2': 123},
             'other-table-2': {'key1': 'another string', 'key2': 456}}}
"""

估计你已经猜到了,它们被当成了 'table-2' 对应的字典里面的 key 了。并且通过打印顺序我们能看出,表是无序的。

此外我们还可以将上面两种方式结合起来:

from pprint import pprint
import toml

toml_config = '''
[dog  .  "tater.man"]  # 键名周围的空格会被忽略,但是最好不要有
type.name = "哈巴狗"
'''

pprint(toml.loads(toml_config))
"""
{'dog': {'tater.man': {'type': {'name': '哈巴狗'}}}}
"""

表的里面也是可以没有键值对的:

from pprint import pprint
import toml

toml_config = '''
[x.y.z.w.a.n]

[x.m]

[x.n]

[x]
a.b.c = "xxx"
'''

pprint(toml.loads(toml_config))
"""
{'x':
    {
        'a': {'b': {'c': 'xxx'}},
        'm': {},
        'n': {},
        'y': {'z': {'w': {'a': {'n': {}}}}}
    }
}
"""

总的来说还是蛮强大的,但是要注意:不能重复定义。

行内表

行内表提供了一种更为紧凑的语法来表示表,因为上面每一个键值对都需要单独写一行,比如:

[table1]
a = 1
b = 2
c = 3
# 最终可以得到 {'table1': {'a': 1, 'b': 2, 'c': 3}}

但是除了上面的表达方式之外,我们还可以采用行内表:

from pprint import pprint
import toml

toml_config = '''
# 和 Python 字典的表示方式略有不同,并且也支持多种 key
table2 = {a = 1, b = "二", c.a = "3",  c."b c".d = "4"}
'''

pprint(toml.loads(toml_config))
"""
{'table2': {'a': 1, 'b': '二', 'c': {'a': '3', 'b c': {'d': '4'}}}}
"""

表数组

然后来看看数组和表的结合:

from pprint import pprint
import toml

toml_config = '''
[name1]
girl = "古明地觉"

[[name2]]
girl = "古明地恋"

[name3]
[[name4]]
'''

pprint(toml.loads(toml_config))
"""
{'name1': {'girl': '古明地觉'},
 'name2': [{'girl': '古明地恋'}],
 'name3': {},
 'name4': [{}]}
"""

当使用 [[]] 的时候,相当于在 [] 的基础上套上一层列表。并且任何对表数组的引用都指向该数组里最近定义的表元素,这允许我们在最近的表内定义子表,甚至子表数组(但是说实话,配置文件应该要简单,下面的话已经不好理解了)。

from pprint import pprint
import toml

toml_config = '''
[[fruits]]  # {"fruit": [{}]}
name = "苹果"  # {"fruit": [{"name": "苹果"}]}

# 会操作 [] 里面最近定义的 {}
[fruits.physical]  # {"fruit": [{"name": "苹果", "physical": {"color": "红色", "shape": "圆形"}}]}
color = "红色"
shape = "圆形"

[[fruits.varieties]]  # 嵌套表数组
name = "蛇果"    # {"fruit": [{...: ..., "varieties": [{"name": "蛇果"}]}]}

[[fruits.varieties]]
name = "澳洲青苹"  # {"fruit": [{...: ..., "varieties": [{"name": "蛇果"}, {"name": "澳洲青苹"}]}]}

[[fruits]]
name = "香蕉"  # {"fruit": [{}, {"name": "香蕉"}]}

[[fruits.varieties]]
name = "车前草"  # {"fruit": [{}, {"name": "香蕉", "varieties": [{"name": "车前草"}]}]}
'''

pprint(toml.loads(toml_config))
"""
{
    'fruits':
        [
            {'name': '苹果',
             'physical': {'color': '红色', 'shape': '圆形'},
             'varieties': [{'name': '蛇果'}, {'name': '澳洲青苹'}]},
            {'name': '香蕉', 'varieties': [{'name': '车前草'}]}
        ]
}
"""

很明显这种定义不是很常用,配置文件应该要非常直观才对,但这已经不是很好理解了。

小结

以上就是 Python 解析配置文件,当然除了 ini、yaml、toml 之外,配置文件还有其它种类,比如 xml、json 等等。但是常用的算是 ini、yaml、toml 了,尽管 json 也常用,但它太简单了,就不说了。