文本字符串的分词化处理

板块：Python
内容：



# -*- coding: utf-8 -*-
"""
Created on Sun Sep 22 10:24:16 2019
在智能钻完井中，我们经常要处理文本字符串，这类字符串的数据处理和数值数据有很大的区别。下面的代码，可以实现对任意的一段中文字符串进行列表处理，代码很短，但是很实用。
txt -> List-> str。
@author: nepu Liw
"""

import re

filename='任意一个报告0105.txt'

print('*'*50)
def loadDatadet(infile):
    'infile文件名，col为列数'
    f=open(infile,'r')
    sourceInLine=f.readlines()
    dataset=[]
    for line in sourceInLine:
        temp1=line.strip('\n')
        temp2=temp1.split('\t')
        dataset.append(temp2)
    return dataset
 
infile=loadDatadet(filename)

print('txt -> List-> str')
print('FileContent=',infile)
print('teyp:',type(infile),'\n','len:',len(infile))
print('*'*50)

作者：LiW 

 

来源：CSDN

作者：小游园

链接：https://blog.csdn.net/s0302017/article/details/103549363