write.csv用于R中的大数据表_大数据_运维开发网_运维开发技术经验...

来自 : www.qedev.com/bigdata/1706...h 发布时间：2021-03-24

我有一个data.table不是很大(2 GB)，但由于某些原因write.csv需要一个非常长的时间来写出来(我从来没有实际完成等待)，似乎使用一吨RAM它。我试图将data.table转换为一个data.frame虽然这不应该真的做任何事情，因为data.table扩展data.frame。有谁遇到这个？更重要的是，如果你用Ctrl-C停止它，R似乎没有给回忆。 更新08.04.2016： f 相关专题：csv 我有一个data.table不是很大(2 GB)，但由于某些原因write.csv需要一个非常长的时间来写出来(我从来没有实际完成等待)，似乎使用一吨RAM它。我试图将data.table转换为一个data.frame虽然这不应该真的做任何事情，因为data.table扩展data.frame。有谁遇到这个？更重要的是，如果你用Ctrl-C停止它，R似乎没有给回忆。 更新08.04.2016：

fwrite最近已添加到data.table包的开发版本中。它也并行运行(隐式)。

# Install development version of data.tableinstall.packages(\"data.table\", repos = \"https://Rdatatable.github.io/data.table\", type = \"source\")# Load packagelibrary(data.table)# Load data data(USArrests)# Write CSVfwrite(USArrests, \"USArrests_fwrite.csv\")

根据speeding up the performance of write.table下显示的详细基准测试，fwrite比write.csv(YMMV)快约17倍。

更新15.12.2015：

将来在data.table包中可能有一个fwrite函数，参见：https://github.com/Rdatatable/data.table/issues/580。

在这个线程中，GIST被链接，其提供这样的函数的原型，以2的因子加速过程(根据作者，https://gist.github.com/oseiskar/15c4a3fd9b6ec5856c89)。

原文回答：

我有同样的问题(试图写更大的CSV文件)，最后再决定使用CSV文件。

我建议你使用SQLite，因为它比处理CSV文件更快：

require(\"RSQLite\")# Set up database drv - dbDriver(\"SQLite\")con - dbConnect(drv, dbname = \"test.db\")# Load example datadata(USArrests)# Write data \"USArrests\" in table \"USArrests\" in database \"test.db\" dbWriteTable(con, \"arrests\", USArrests)# Test if the data was correctly stored in the database, i.e. # run an exemplary query on the newly created database dbGetQuery(con, \"SELECT * FROM arrests WHERE Murder 10\") # row_names Murder Assault UrbanPop Rape# 1 Alabama 13.2 236 58 21.2# 2 Florida 15.4 335 80 31.9# 3 Georgia 17.4 211 60 25.8# 4 Illinois 10.4 249 83 24.0# 5 Louisiana 15.4 249 66 22.2# 6 Maryland 11.3 300 67 27.8# 7 Michigan 12.1 255 74 35.1# 8 Mississippi 16.1 259 44 17.1# 9 Nevada 12.2 252 81 46.0# 10 New Mexico 11.4 285 70 32.1# 11 New York 11.1 254 86 26.1# 12 North Carolina 13.0 337 45 16.1# 13 South Carolina 14.4 279 48 22.5# 14 Tennessee 13.2 188 59 26.9# 15 Texas 12.7 201 80 25.5# Close the connection to the databasedbDisconnect(con)

有关详细信息，请参阅http://cran.r-project.org/web/packages/RSQLite/RSQLite.pdf

您也可以使用像http://sqliteadmin.orbmu2k.de/这样的软件来访问数据库并将数据库导出到CSV等。

– –

分享到