目录

目的

单文件格式转换

批量文件格式转换

目的

txt数据显示中，第一行是属性，之后的每一行对应的是数据。

但是要导入数据库时，无法按属性列识别，所以必须格式化为Excel或csv的格式。

格式化后的Excel文件仍用用txt文件名命名，方便区分

单文件格式转换

#原始数据
pathDir = 'D:\workspace\A工作\BitErrorRate\data\data.TXT'
filename=pathDir.split('\\')[-1].split('.')[0]
#要写入的文件
out_filename='误码率'+RandomName.RandomName()+'.xlsx'
outfile_path=SETUP_DIR+r'/xlsx/'+ out_filename


def dataFormat_single():
    source_dir = pathDir
    target_dir = outfile_path
    
    print(filename)
    new_colums = "look\r\n"
    
    start_time = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
    print("开始时间：",start_time)
    
# 文件开头增加新的一列内容作为列名（原列名太长/不可用）
    f = open(source_dir, 'r')
# 读取文件内容
    content = f.read()  

    f_new = open('b.txt', 'w')
# 开头写入内容并换行
    f_new.write(new_colums) 
    
# 写入原文件内容
    f_new.write(content)    
    f_list=list(set(f.readlines()))  #先把内容readlines()为列表，然后用set集合去重后再转化为列表，赋值于变量f_list
    for i in f_list:   #for循环列表f_list,判断是否有“\n”字符，如果有，将元素‘\n’移除
        if i=='\n':
           f_list.remove(i)
           f_list=' '.join(f_list.split())
           
    f_new.writelines(f_list) #将列表f_list的内容(此时列表已去除换行空白行)，通过writelines的方式写入新文件,      
    f.close()
    f_new.close()
    os.remove(source_dir)  # 移除老文件
    os.replace('b.txt', source_dir) # 新文件命名为老文件名

    data = pd.read_csv(source_dir,"rb",engine='python') #读入数据出现乱码可添加engine='python'

# 字符串切分后结果分列展示
    #需要分列的列名
    df = pd.DataFrame(data, columns=["look"])
    
    # 分列的字符，split默认输出list,设置expand=True结果会分列展示  
    #df=df["look"].str.split(',', expand=True) 
    #print(df)
    
# 截取字符串    
    #dataframe数据截取字符串
    df["Eth"]=df.apply(lambda row:row.str[:20],axis=1)
    print(df["Eth"])
    #df["Eth"]=df.apply(lambda row:row['look'].split(' ')[0],axis=1)
    #print(df["Eth"])
    
    #str数据截取字符串  
    df["Errors"]=df.apply(lambda row:row['look'][-19:],axis=1)
    print(df["Errors"])
    df["inErrors"]=df.apply(lambda row:row['Errors'][0:8],axis=1)
    print(df["inErrors"])
    df["outErrors"]=df.apply(lambda row:row['Errors'][-9:],axis=1)
    print(df["outErrors"])
# 处理时间 
    end_time = datetime.now().strftime('%Y-%m-%d')
    df["时间"]=end_time
    df["设备"]=filename
    print(df)
    #列表df存储至excel
    df[['设备','Eth','inErrors','outErrors','时间']].to_excel(target_dir) 

if __name__ == "__main__":
    dataFormat_single()

批量文件格式转换

import os
import pandas as pd
from datetime import datetime
#相对路径
import frozen_dir
#时间后缀
import RandomName
#提示弹窗
from MessageInfo import message_showinfo

SETUP_DIR = os.path.dirname(frozen_dir.app_path())
    
'''批量文件格式装换'''   
def readAllFiles(filePath):
    fileList = os.listdir(filePath)
    for file in fileList:
        path = os.path.join(filePath, file)
        if os.path.isfile(path):
            file = open(path, 'r', encoding='gbk')
            print(path)
            # 流程记录信息
            if path.find("M") != -1:
                #<class '_io.TextIOWrapper'>类型用.来引用其中的参数
                print(file.name) 
                pathDir=str(file.name)
                filename=pathDir.split('\\')[-1].split('（')[0]
                file.close()
                dataFormat(pathDir,filename)
        else:
            readAllFiles(path)

def dataFormat(pathDir,filename):
    source_dir = pathDir
    print(source_dir)
    outfile_path=SETUP_DIR+r'/xlsx/'+filename+'.xlsx'
    target_dir = outfile_path
    
    print(filename)
    new_colums = "look\r\n"
    
    start_time = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
    print("开始时间：",start_time)
    
#文件开头增加新的一列内容作为列名（原列名太长/不可用）
    f = open(source_dir, 'r')
# 读取文件内容
    content = f.read()  

    f_new = open(SETUP_DIR+'\\b.txt', 'w')
# 开头写入内容并换行
    f_new.write(new_colums) 
    
# 写入原文件内容
    f_new.write(content)    
    f_list=list(set(f.readlines()))  #先把内容readlines()为列表，然后用set集合去重后再转化为列表，赋值于变量f_list
    for i in f_list:   #for循环列表f_list,判断是否有“\n”字符，如果有，将元素‘\n’移除
        if i=='\n':
           f_list.remove(i)
           f_list=' '.join(f_list.split())
           
    f_new.writelines(f_list) #将列表f_list的内容(此时列表已去除换行空白行)，通过writelines的方式写入新文件,      
    f.close()
    f_new.close()
    os.remove(source_dir)  # 移除老文件(这里删除是为了下一步的重命名可运行)
    os.rename(SETUP_DIR+'\\b.txt', source_dir) # 新文件命名为老文件名

    data = pd.read_csv(source_dir,"rb",engine='python') #读入数据出现乱码可添加engine='python'

#字符串切分后结果分列展示
    #需要分列的列名
    df = pd.DataFrame(data, columns=["look"])
    
    # 分列的字符，split默认输出list,设置expand=True结果会分列展示  
    #df=df["look"].str.split(',', expand=True) 
    #print(df)
    
#截取字符串    
    #dataframe数据截取字符串
    df["Eth"]=df.apply(lambda row:row.str[:20],axis=1)
    print(df["Eth"])
    #df["Eth"]=df.apply(lambda row:row['look'].split(' ')[0],axis=1)
    #print(df["Eth"])
    
    #str数据截取字符串  
    df["Errors"]=df.apply(lambda row:row['look'][-19:],axis=1)
    print(df["Errors"])
    df["inErrors"]=df.apply(lambda row:row['Errors'][0:8],axis=1)
    print(df["inErrors"])
    df["outErrors"]=df.apply(lambda row:row['Errors'][-9:],axis=1)
    print(df["outErrors"])
#处理时间 
    end_time = datetime.now().strftime('%Y-%m-%d')
    df["时间"]=end_time
    df["设备"]=filename
    print(df)
    #列表df存储至excel
    print(df[['设备','Eth','inErrors','outErrors','时间']])
    print(target_dir)
    df[['设备','Eth','inErrors','outErrors','时间']].to_excel(target_dir) 

    message_showinfo()

if __name__ == "__main__":
    file_path=SETUP_DIR+r'\data'
    readAllFiles(file_path)