Matlab的mat格式数据转化至python数据格式

因工作原因，一些获取的行业数据以已知的结构体存储在.mat文件中,

现需要将其存储在数据库中并且能够灵活调用至python dataframe里进行操作

原数据的一个例子如下

目标如上:

然后是转化代码:

import scipy.io
data = scipy.io.loadmat(r'C:\Users\wenzhe.tian\Desktop\PTSimA\Doing\MC.mat')
import pandas as pd


data.pop('__header__')
data.pop('__version__')
data.pop('__globals__')
vehicle_name=data.keys()
vehicle_name=list(vehicle_name)

for i in vehicle_name:
    df = pd.DataFrame(data[i][0])
    try:
        df=df.astype(float)
    except:
        for j in list(df):
            try:
                df[j]=df[j].astype(float)
            except:
                continue
#                df[j]=df[j].astype(str)
    if i==vehicle_name[0]:
        df1=df;
    else:
        df1=pd.concat([df,df1],axis=0)

df1['MC_name']=vehicle_name
df1['Tips']=df1['Tips'].map(str)+df1['tips'].map(str)
df1['Tips']=df1['Tips'].str.replace('nan','')
df1=df1.drop(['tips'],axis=1)
df1=df1.reset_index();

import numpy as np
# ndarray需转化为 字符
list_transfer=['Speed','Torque','eff','eff_current']
for i in list_transfer:
    for j in range(len(df1)):
        try:
            df1[i][j]=df1[i][j].tostring();
        except:
            continue;

View Code

结果如下(df1)：

然后用to_sql的方式将该dataframe 保存至本地sql数据库即可

一个难点是遇到struct结构体中包含mat的矩阵格式时，如下图:

所有参数为一个struct，但是data与acc作为结构体的一个单位，其数据是一个矩阵而非单个数值。因此需要继续处理：

data = scipy.io.loadmat(r'C:\Users\ext.wenzhe.tian\Desktop\PTSimA\Doing\CYCLE.mat',
                        mat_dtype=True,struct_as_record=True)#variable_names='CATC'
data.pop('__header__')
data.pop('__version__')
data.pop('__globals__')

name=data.keys()
name=list(name)
ans_name={}

for i in name:
    df = pd.DataFrame(data[i][0])
    try:
        df=df.astype(float)
    except:
        for j in list(df):
            try:
                df[j]=df[j].astype(float)
                df[j]=df[j].apply(lambda x:x[0][0])
            except:
                continue

    if i==name[0]:
        df1=df;
    else:
        df1=pd.concat([df,df1],axis=0)
    
    ans_name[i]=pd.DataFrame(columns=['time[s]','veh_spd[km/h]','acc[m/s]'],
            data={'time[s]':list(data[i][0,0]['data'][:,0]),
                  'veh_spd[km/h]':list(data[i][0,0]['data'][:,1]),
                  'acc[m/s]':list(data[i][0,0]['acc'][:,1])})