4000-520-616
欢迎来到免疫在线!(蚂蚁淘生物旗下平台)  请登录 |  免费注册 |  询价篮
主营:原厂直采,平行进口,授权代理(蚂蚁淘为您服务)
咨询热线电话
4000-520-616
当前位置: 首页 > 新闻动态 >
热卖商品
新闻详情
write.csv用于R中的大数据表_大数据_运维开发网_运维开发技术经验...
来自 : www.qedev.com/bigdata/1706...h 发布时间:2021-03-24
我有一个data.table不是很大(2 GB),但由于某些原因write.csv需要一个非常长的时间来写出来(我从来没有实际完成等待),似乎使用一吨RAM它。我试图将data.table转换为一个data.frame虽然这不应该真的做任何事情,因为data.table扩展data.frame。有谁遇到这个?更重要的是,如果你用Ctrl-C停止它,R似乎没有给回忆。 更新08.04.2016: f 相关专题:csv 我有一个data.table不是很大(2 GB),但由于某些原因write.csv需要一个非常长的时间来写出来(我从来没有实际完成等待),似乎使用一吨RAM它。我试图将data.table转换为一个data.frame虽然这不应该真的做任何事情,因为data.table扩展data.frame。有谁遇到这个?更重要的是,如果你用Ctrl-C停止它,R似乎没有给回忆。 更新08.04.2016:

fwrite最近已添加到data.table包的开发版本中。它也并行运行(隐式)。

# Install development version of data.tableinstall.packages(\"data.table\", repos = \"https://Rdatatable.github.io/data.table\", type = \"source\")# Load packagelibrary(data.table)# Load data data(USArrests)# Write CSVfwrite(USArrests, \"USArrests_fwrite.csv\")

根据speeding up the performance of write.table下显示的详细基准测试,fwrite比write.csv(YMMV)快约17倍。

更新15.12.2015:

将来在data.table包中可能有一个fwrite函数,参见:https://github.com/Rdatatable/data.table/issues/580。

在这个线程中,GIST被链接,其提供这样的函数的原型,以2的因子加速过程(根据作者,https://gist.github.com/oseiskar/15c4a3fd9b6ec5856c89)。

原文回答:

我有同样的问题(试图写更大的CSV文件),最后再决定使用CSV文件。

我建议你使用SQLite,因为它比处理CSV文件更快:

require(\"RSQLite\")# Set up database drv - dbDriver(\"SQLite\")con - dbConnect(drv, dbname = \"test.db\")# Load example datadata(USArrests)# Write data \"USArrests\" in table \"USArrests\" in database \"test.db\" dbWriteTable(con, \"arrests\", USArrests)# Test if the data was correctly stored in the database, i.e. # run an exemplary query on the newly created database dbGetQuery(con, \"SELECT * FROM arrests WHERE Murder 10\") # row_names Murder Assault UrbanPop Rape# 1 Alabama 13.2 236 58 21.2# 2 Florida 15.4 335 80 31.9# 3 Georgia 17.4 211 60 25.8# 4 Illinois 10.4 249 83 24.0# 5 Louisiana 15.4 249 66 22.2# 6 Maryland 11.3 300 67 27.8# 7 Michigan 12.1 255 74 35.1# 8 Mississippi 16.1 259 44 17.1# 9 Nevada 12.2 252 81 46.0# 10 New Mexico 11.4 285 70 32.1# 11 New York 11.1 254 86 26.1# 12 North Carolina 13.0 337 45 16.1# 13 South Carolina 14.4 279 48 22.5# 14 Tennessee 13.2 188 59 26.9# 15 Texas 12.7 201 80 25.5# Close the connection to the databasedbDisconnect(con)

有关详细信息,请参阅http://cran.r-project.org/web/packages/RSQLite/RSQLite.pdf

您也可以使用像http://sqliteadmin.orbmu2k.de/这样的软件来访问数据库并将数据库导出到CSV等。

– –

\"扫码领视频副本.gif\"/

分享到

本文链接: http://csvsouth.immuno-online.com/view-694757.html

发布于 : 2021-03-24 阅读(0)
公司介绍
品牌分类
联络我们
服务热线:4000-520-616
(限工作日9:00-18:00)
QQ :1570468124
手机:18915418616
官网:http://