■刘思喆：R在大规模数据整理及自动化报告方面的应用.pdf

《■刘思喆：R在大规模数据整理及自动化报告方面的应用.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、用R做大规模数据整理实际应用：在线人数的走势图自动化报告工具：SweaveR在大规模数据整理及自动化报告方面的应用刘思喆ChinaLotteryOnlineCo.,Ltd20092009.12.05刘思喆(C.L.O.)第二届中国R语言会议（北京）1/29用R做大规模数据整理实际应用：在线人数的走势图自动化报告工具：Sweave提纲用R做大规模数据整理实际应用：在线人数的走势图自动化报告工具：Sweave刘思喆(C.L.O.)第二届中国R语言会议（北京）2/29用R做大规模数据整理实际应用：在线人数的走势图自动化报告工具：Sweave为

2、什么需要数据整理？刘思喆(C.L.O.)第二届中国R语言会议（北京）3/29用R做大规模数据整理实际应用：在线人数的走势图自动化报告工具：SweaveManyusersthinkofRasastatisticssystem.Weprefertothinkofitofanenvironmentwithinwhichstatisticaltechniquesareimplemented.刘思喆(C.L.O.)第二届中国R语言会议（北京）4/29用R做大规模数据整理实际应用：在线人数的走势图自动化报告工具：SweaveWhendealingw

3、ithlargedatasetsinR1.内存限制2.算法问题3.索引问题刘思喆(C.L.O.)第二届中国R语言会议（北京）5/29用R做大规模数据整理实际应用：在线人数的走势图自动化报告工具：SweaveMemorylimitations1.32位操作系统上，可利用的最大内存为4GB2.64位操作系统的内存也是“有限”的，并且费用···3.Moore’sLaw似乎已经达到上限刘思喆(C.L.O.)第二届中国R语言会议（北京）6/29用R做大规模数据整理实际应用：在线人数的走势图自动化报告工具：Sweave大规模数据整理的商业解决方案E

4、TL（Extraction，Transformation，Loading）•专业的ETL工具•SQL编程•ETL工具和SQL相结合刘思喆(C.L.O.)第二届中国R语言会议（北京）7/29用R做大规模数据整理实际应用：在线人数的走势图自动化报告工具：Sweave如果用R呢RODBCisamatureandmuch-usedplatformforinterfacingRtodatabasesystems.sqldfisanRpackageforperformingSQLstatementsonRdataframes,optimizedfo

5、rconvenience.刘思喆(C.L.O.)第二届中国R语言会议（北京）8/29用R做大规模数据整理实际应用：在线人数的走势图自动化报告工具：SweaveRODBCsqlQuerySubmitanSQLquerytoanODBCdatabase,andretrievetheresults.sqlSaveWriteorupdateatableinanODBCdatabase.刘思喆(C.L.O.)第二届中国R语言会议（北京）9/29用R做大规模数据整理实际应用：在线人数的走势图自动化报告工具：SweaveRODBCsqlQuerySu

6、bmitanSQLquerytoanODBCdatabase,andretrievetheresults.Theterm’query’includesanyvalidSQLstatementincludingtablecreation,alteration,updatesetcaswellas’SELECT’s.sqlSaveWriteorupdateatableinanODBCdatabase.刘思喆(C.L.O.)第二届中国R语言会议（北京）9/29用R做大规模数据整理实际应用：在线人数的走势图自动化报告工具：Sweavesqldf

7、•asanalternatesyntaxfordataframemanipulation•learningSQLifyouknowR;learningRifyouknowSQL•readingportionsoflargefilesintoRwithoutreadingtheentirefile•readingrandomselectionofrowsfromafile刘思喆(C.L.O.)第二届中国R语言会议（北京）10/29用R做大规模数据整理实际应用：在线人数的走势图自动化报告工具：SweaveODBCDriverManagera

8、ndDriverOSODBCDriverManagerMacOSXiodbcLinuxiodbc,unixODBCWindowsMicrosoftDataAccessComponentsThedriverd