tensorflow2.0第4章 Tensorflow dataset使用

妖精的绣舞 提交于 2020-05-04 08:16:18

介绍Tensorflow dataset空间下API的使用,dataset API主要用于读取数据。本届课程通过在房价预测问题上的实战详细的介绍如何使用tf.dataset读取csv文件和tfrecord文件。

tf.data在tensorflow中是用于处理数据的,主要用来读取数据,并在一些数据中做一些预处理,然后把数据塞给训练程序去进行训练.

实战内容:

Dataset基础API使用.

Dataset读取csv文件.

Dataset读取tfrecord文件.

API列表:

Dataset基础使用(tf.data.Dataset.from_tensor_slices; repeat,batch,interleave,map,shuffle,list_files);

csv(tf.data.TextLineDataset,tf.io.decode_csv);

Tfrecord(tf.train.FloatLlist,tf.train.Int64,tf.trian.BytesList; tf.train.Feature,tf.train.Features,tf.train.Example; example.SerializeToString; tf.io.ParseSingExample; tf.io.VarLenFeature,tf.io.FixedLenFeature; tf.data.TFRecordDataset,tf.io.TFRecordOptions)

 

data_API引入

 

tf_data基础API使用

 

生成csv文件

 

tf.io.decode_csv使用

 

tf.data读取csv文件并与tf.keras结合使用

 

tfrecord基础API使用

 

生成tfrecords文件

 

tf.data读取tfrecord文件并与tf.keras结合使用

 

总结:

Dataset基础API使用:

如何从内存中的数据中构建dataset, 然后讲解了很多API的使用方法,包括Repeat,batch,shuffle,map,interleave,take等等

Dataset读取csv文件:

主要讲解了如何使用dataset中的API去解析csv的列

Dataset读取tfrecord文件:

重点讲解了tf.train.examplle的序列化和解析

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!