大家好,我是Python进阶者。

一、前言

前几天在Python最强王者交流群【哎呦喂  是豆子~】问了一个Python数据处理的问题。问题如下:

大佬们 请教下这个问题,数据为下载的html文件,写法已经固定,解析成json文件会报错,这种字符串包含了不需要的双引号,导致读取成json文件失败?怎么批量修改?用正则会把其他数据也给替换掉,出现双引号的位置内容不确定

测试数据:{ "taskType": 1, "printPageHeight": 1459, "exportTypeTemplate": "html", "reportTitle": "信息科技"网络安全漏洞扫描系统 "安全评估报告-主机报表", "companyName": "信息科技", "createTime": "2024-08-09 10:03:48", "curr_lang": "zh-CN"pt "漏洞" }

怎么批量修改成可读取的json文件?

# yyds干货盘点 # 字符串包含了不需要的双引号,导致读取成json文件失败?Python怎么批量修改?_数据

二、实现过程

这里【猫药师Kelly】给了一个指导,如下所示:最后一个字段curr_lang意思是用到的语言,那么pt "漏洞"就是无效信息。看看是不是其它数据都符合这个规律,是的话把无效信息清洗掉。

【哎呦喂  是豆子~】:那个是我改的   造的测试数据。

后来【此类生物】给了一份代码:

import re
import json

# 原始的JSON字符串
json_str = '''{
 "taskType": 1,
 "printPageHeight": 1459,
 "exportTypeTemplate": "html",
 "reportTitle": "信息科技"网络安全漏洞扫描系统 "安全评估报告-主机报表",
 "companyName": "信息科技",
 "createTime": "2024-08-09 10:03:48",
 "curr_lang": "zh-CN"pt "漏洞"
}'''

# 修复多余的逗号
json_str = re.sub(r',\s*[^,}]*$', '', json_str)

# 修复属性值,确保每个属性值都被双引号包围
# 这个正则表达式会匹配到属性名和属性值,然后尝试修复属性值
json_str = re.sub(r'("([^"]+)"\s*:\s*)([^"]+)(,?)', r'\1"\4"\5', json_str)

# 尝试将修复后的字符串解析为JSON
try:
    data = json.loads(json_str)
    print("JSON解析成功:", data)
except json.JSONDecodeError as e:
    print("JSON解析失败:", e)

【哎呦喂  是豆子~】:不行  error: invalid group reference 5 at position 7。测试数据

要把这个数据解析成json文件,正常都是可以读取的,但是部分数据为了展示好看,研发把部分数据又加了引号,导致读取成json文件的时候报错,有没有什么办法可以避开这种问题,成功读取成json格式

【瑜亮老师】:下面这个代码:

json_str = re.findall(r'"(.*?)": (.*?)[,\n]', json_str)
data = {i[0]: i[1].replace('"', ' ') for i in json_str}

这样出来就字典。就是先匹配数据中冒号两端的数据,然后替换删除右侧字符串中的双引号。

想转换成json字符串,就加一行json_str = json.dumps(data, ensure_ascii=False)

【哎呦喂  是豆子~】:还得是大佬!!!瑜亮老师的办法简直了!!!显得我更我菜了  不知道变通  难怪有ai也救不了我

【黑科技·鼓包】:向老师学习!太强了!

后来【此类生物】也给了一份代码:他补充道:或许需求不是这样,没细看。

# yyds干货盘点 # 字符串包含了不需要的双引号,导致读取成json文件失败?Python怎么批量修改?_数据_02

【瑜亮老师】:我那个也只是给出一个思路。你这个可以进一步修改,保持原数据中整型不变。data = {i[0]: i[1][1:-1] if i[1][0] == '"' else int(i[1]) for i in json_str}

后来粉丝的数据又有新增,如下:

# yyds干货盘点 # 字符串包含了不需要的双引号,导致读取成json文件失败?Python怎么批量修改?_Python入门_03

后来【瑜亮老师】也顺利地解决了粉丝的提问。

# yyds干货盘点 # 字符串包含了不需要的双引号,导致读取成json文件失败?Python怎么批量修改?_Python入门_04

顺利地解决了自己的问题。

如果你也有类似这种Python相关的小问题,欢迎随时来交流群学习交流哦,有问必答!

三、总结

大家好,我是Python进阶者。这篇文章主要盘点了一个Python数据处理的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

最后感谢粉丝【哎呦喂  是豆子~】提出的问题,感谢【瑜亮老师】、【猫药师Kelly】、【冯诚】、【黑科技·鼓包】、【此类生物】给出的思路,感谢【莫生气】等人参与学习交流。

【提问补充】温馨提示,大家在群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。代码不多的话,直接发代码文字即可,代码超过50行这样的话,发个.py文件就行。

# yyds干货盘点 # 字符串包含了不需要的双引号,导致读取成json文件失败?Python怎么批量修改?_数据_05