热卖商品
新闻详情
读取csv为浮点数 - CSDN
来自 : CSDN技术社区
发布时间:2021-03-24
收起 展开全文TensorFlow基础之加载并处理CSV数据
这个例子演示的内容:
1、如何把来自文件的CSV数据加载入tf.data.Dataset中;
2、对数据进行预处理的方法(数据在提供给神经网络之前都需要处理成浮点数)。
3、搭建线性神经网络,训练并预测旅客的存活性
import一、加载数据
#网上的文件路径。数据为泰坦尼克号的旅客的生存数据。二、数据预处理
由于CSV文件往往包含不同类型的数据,所以我们需要对不同类型的数据分别处理然后再合并。这里我们使用tensorflow自带的tf.feature_column来处理。
1、对于连续型数值数据的处理举例如下:
1.1定义一个预处理器用来仅选择数值列并将数值列打包入一个单独的列中
class显示结果如下:
sex : [b\'female\' b\'male\' b\'male\' b\'male\' b\'male\']class : [b\'Third\' b\'First\' b\'Third\' b\'Third\' b\'Third\']deck : [b\'unknown\' b\'D\' b\'unknown\' b\'unknown\' b\'unknown\']embark_town : [b\'Queenstown\' b\'Cherbourg\' b\'Queenstown\' b\'Southampton\' b\'Southampton\']alone : [b\'y\' b\'y\' b\'y\' b\'y\' b\'y\']numeric : [[16. 0. 0. 7.75 ] [27. 0. 0. 76.729] [28. 0. 0. 7.725] [28. 0. 0. 7.25 ] [25. 0. 0. 0. ]]1.2 对连续型数值数据进行归一化处理
连续型数值数据应该要进行归一化处理,由于归一化处理涉及到均值和方差,所以我们可以如下使用pandas来得到均值和方差:
importdesc的结果如下所示:
#取出均值和方差2、分类数据的处理
CSV文件中往往还包含分类数据,我们使用tf.feature_column来进行处理,使用tf.feature_column.indicator_column来人每个分类列创建一个集合:
#定义一个分类字典categorical_columns的结果如下:
[IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key=\'sex\', vocabulary_list=(\'male\', \'female\'), dtype=tf.string, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key=\'class\', vocabulary_list=(\'First\', \'Second\', \'Third\'), dtype=tf.string, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key=\'deck\', vocabulary_list=(\'A\', \'B\', \'C\', \'D\', \'E\', \'F\', \'G\', \'H\', \'I\', \'J\'), dtype=tf.string, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key=\'embark_town\', vocabulary_list=(\'Cherbourg\', \'Southhampton\', \'Queenstown\'), dtype=tf.string, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key=\'alone\', vocabulary_list=(\'y\', \'n\'), dtype=tf.string, default_value=-1, num_oov_buckets=0))]#创建一个分类层三、使用tf.keras.Sequential建造一个线性神经网络模型
model四、训练、评估和预测
#训练数据和测试数据备注:具体内容参见官网https://tensorflow.google.cn/tutorials/load_data/csv
完整代码如下:
import
本文链接: http://csvsouth.immuno-online.com/view-694750.html
发布于 : 2021-03-24
阅读(0)
最新动态
2021-03-24
2021-03-24
2021-03-24
2021-03-24
2021-03-24
2021-03-24
2021-03-24
2021-03-24
2021-03-24
2021-03-24
2021-03-24
2021-03-24