欢迎来到天天文库
浏览记录
ID:50191732
大小:814.35 KB
页数:36页
时间:2020-03-05
《■刘思喆:R在大规模数据整理及自动化报告方面的应用.pdf》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、用R做大规模数据整理实际应用:在线人数的走势图自动化报告工具:SweaveR在大规模数据整理及自动化报告方面的应用刘思喆ChinaLotteryOnlineCo.,Ltd20092009.12.05刘思喆(C.L.O.)第二届中国R语言会议(北京)1/29用R做大规模数据整理实际应用:在线人数的走势图自动化报告工具:Sweave提纲用R做大规模数据整理实际应用:在线人数的走势图自动化报告工具:Sweave刘思喆(C.L.O.)第二届中国R语言会议(北京)2/29用R做大规模数据整理实际应用:在线人数的走势图自动化报告工具:Sweave为
2、什么需要数据整理?刘思喆(C.L.O.)第二届中国R语言会议(北京)3/29用R做大规模数据整理实际应用:在线人数的走势图自动化报告工具:SweaveManyusersthinkofRasastatisticssystem.Weprefertothinkofitofanenvironmentwithinwhichstatisticaltechniquesareimplemented.刘思喆(C.L.O.)第二届中国R语言会议(北京)4/29用R做大规模数据整理实际应用:在线人数的走势图自动化报告工具:SweaveWhendealingw
3、ithlargedatasetsinR1.内存限制2.算法问题3.索引问题刘思喆(C.L.O.)第二届中国R语言会议(北京)5/29用R做大规模数据整理实际应用:在线人数的走势图自动化报告工具:SweaveMemorylimitations1.32位操作系统上,可利用的最大内存为4GB2.64位操作系统的内存也是“有限”的,并且费用···3.Moore’sLaw似乎已经达到上限刘思喆(C.L.O.)第二届中国R语言会议(北京)6/29用R做大规模数据整理实际应用:在线人数的走势图自动化报告工具:Sweave大规模数据整理的商业解决方案E
4、TL(Extraction,Transformation,Loading)•专业的ETL工具•SQL编程•ETL工具和SQL相结合刘思喆(C.L.O.)第二届中国R语言会议(北京)7/29用R做大规模数据整理实际应用:在线人数的走势图自动化报告工具:Sweave如果用R呢RODBCisamatureandmuch-usedplatformforinterfacingRtodatabasesystems.sqldfisanRpackageforperformingSQLstatementsonRdataframes,optimizedfo
5、rconvenience.刘思喆(C.L.O.)第二届中国R语言会议(北京)8/29用R做大规模数据整理实际应用:在线人数的走势图自动化报告工具:SweaveRODBCsqlQuerySubmitanSQLquerytoanODBCdatabase,andretrievetheresults.sqlSaveWriteorupdateatableinanODBCdatabase.刘思喆(C.L.O.)第二届中国R语言会议(北京)9/29用R做大规模数据整理实际应用:在线人数的走势图自动化报告工具:SweaveRODBCsqlQuerySu
6、bmitanSQLquerytoanODBCdatabase,andretrievetheresults.Theterm’query’includesanyvalidSQLstatementincludingtablecreation,alteration,updatesetcaswellas’SELECT’s.sqlSaveWriteorupdateatableinanODBCdatabase.刘思喆(C.L.O.)第二届中国R语言会议(北京)9/29用R做大规模数据整理实际应用:在线人数的走势图自动化报告工具:Sweavesqldf
7、•asanalternatesyntaxfordataframemanipulation•learningSQLifyouknowR;learningRifyouknowSQL•readingportionsoflargefilesintoRwithoutreadingtheentirefile•readingrandomselectionofrowsfromafile刘思喆(C.L.O.)第二届中国R语言会议(北京)10/29用R做大规模数据整理实际应用:在线人数的走势图自动化报告工具:SweaveODBCDriverManagera
8、ndDriverOSODBCDriverManagerMacOSXiodbcLinuxiodbc,unixODBCWindowsMicrosoftDataAccessComponentsThedriverd
此文档下载收益归作者所有