4000-520-616
欢迎来到免疫在线!(蚂蚁淘生物旗下平台)  请登录 |  免费注册 |  询价篮
主营:原厂直采,平行进口,授权代理(蚂蚁淘为您服务)
咨询热线电话
4000-520-616
当前位置: 首页 > 新闻动态 >
热卖商品
新闻详情
读取csv为浮点数 - CSDN
来自 : CSDN技术社区 发布时间:2021-03-24

TensorFlow基础之加载并处理CSV数据

这个例子演示的内容:

1、如何把来自文件的CSV数据加载入tf.data.Dataset中;

2、对数据进行预处理的方法(数据在提供给神经网络之前都需要处理成浮点数)。

3、搭建线性神经网络,训练并预测旅客的存活性

import 

一、加载数据

#网上的文件路径。数据为泰坦尼克号的旅客的生存数据。

二、数据预处理

由于CSV文件往往包含不同类型的数据,所以我们需要对不同类型的数据分别处理然后再合并。这里我们使用tensorflow自带的tf.feature_column来处理。

1、对于连续型数值数据的处理举例如下:

1.1定义一个预处理器用来仅选择数值列并将数值列打包入一个单独的列中

class 

显示结果如下:

sex : [b\'female\' b\'male\' b\'male\' b\'male\' b\'male\']class : [b\'Third\' b\'First\' b\'Third\' b\'Third\' b\'Third\']deck : [b\'unknown\' b\'D\' b\'unknown\' b\'unknown\' b\'unknown\']embark_town : [b\'Queenstown\' b\'Cherbourg\' b\'Queenstown\' b\'Southampton\' b\'Southampton\']alone : [b\'y\' b\'y\' b\'y\' b\'y\' b\'y\']numeric : [[16. 0. 0. 7.75 ] [27. 0. 0. 76.729] [28. 0. 0. 7.725] [28. 0. 0. 7.25 ] [25. 0. 0. 0. ]]

1.2 对连续型数值数据进行归一化处理

连续型数值数据应该要进行归一化处理,由于归一化处理涉及到均值和方差,所以我们可以如下使用pandas来得到均值和方差:

import 

desc的结果如下所示:

\"9cb4f6605cd918bed40e43710c6399dd.png\"
#取出均值和方差

2、分类数据的处理

CSV文件中往往还包含分类数据,我们使用tf.feature_column来进行处理,使用tf.feature_column.indicator_column来人每个分类列创建一个集合:

#定义一个分类字典

categorical_columns的结果如下:

[IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key=\'sex\', vocabulary_list=(\'male\', \'female\'), dtype=tf.string, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key=\'class\', vocabulary_list=(\'First\', \'Second\', \'Third\'), dtype=tf.string, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key=\'deck\', vocabulary_list=(\'A\', \'B\', \'C\', \'D\', \'E\', \'F\', \'G\', \'H\', \'I\', \'J\'), dtype=tf.string, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key=\'embark_town\', vocabulary_list=(\'Cherbourg\', \'Southhampton\', \'Queenstown\'), dtype=tf.string, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key=\'alone\', vocabulary_list=(\'y\', \'n\'), dtype=tf.string, default_value=-1, num_oov_buckets=0))]
#创建一个分类层

三、使用tf.keras.Sequential建造一个线性神经网络模型

model 

四、训练、评估和预测

#训练数据和测试数据

备注:具体内容参见官网https://tensorflow.google.cn/tutorials/load_data/csv

完整代码如下:

import 
收起 \"\" 展开全文 \"\"

本文链接: http://csvsouth.immuno-online.com/view-694750.html

发布于 : 2021-03-24 阅读(0)
公司介绍
品牌分类
联络我们
服务热线:4000-520-616
(限工作日9:00-18:00)
QQ :1570468124
手机:18915418616
官网:http://