厦门大学数据库实验室mapreduce连接

《厦门大学数据库实验室mapreduce连接》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、厦门大学数据库实验室MapReduce连接报告人：李雨倩导师：林子雨2014.07.12连接简介MapReduce连接策略连接连接是关系运算，可以用于合并关系。在数据库中，一般是表连接操作；在MapReduce中，连接可以用于合并两个或多个数据集。例如，用户基本信息和用户活动详情。用户基本信息来自于OLTP数据库。用户活动详情来自于日志文件。连接的类型最常用的两个连接类型是内连接和外连接。内连接比较两个关系中所有的数组，然后生成一个满足连接条件的结果集。外连接外连接并不需要两个关系的数组都满足连接条件。在连接条件不满足的时候，外连接可以将一方的数据保留在结果集中。内连接左外连接右外连接

2、全连接连接关系图连接实例Table1

3、table2

4、-------------------------------------------------idname

5、idscore

6、1lee190

7、2zhang2100

8、4wang370

9、select * from table1 left join table2 on table1.id=table2.id-------------结果-------------idnameidscore------------------------------1lee1902zhang21004wangNULLNULL-----------------

10、-------------select * from table1 join table2 on table1.id=table2.id-------------结果-------------idnameidscore------------------------------1lee1902zhang2100select * from table1 full join table2 on table1.id=table2.id-------------结果-------------idnameidscore------------------------------1lee1902z

11、hang21004wangNULLNULLNULLNULL370select * from table1 right join table2 on table1.id=table2.id-------------结果-------------idnameidscore------------------------------1lee1902zhang2100NULLNULL370------------------------------连接简介MapReduce连接策略连接连接是关系运算，可以用于合并关系。在数据库中，一般是表连接操作；在MapReduce中，连接可以用于合并两个或

12、多个数据集。例如，用户基本信息和用户活动详情。用户基本信息来自于OLTP数据库。用户活动详情来自于日志文件。MapReduce的连接welcometousethesePowerPointtemplates,NewContentdesign,10yearsexperienceMapReduce连接的应用场景用户的人口统计信息的聚合操作（例如：青少年和中年人的习惯差异）当用户超过一定时间没有使用网站后，发邮件提醒他们。分析用户的浏览习惯，让系统可以提示用户有哪些网站特性还没有使用到，形成一个反馈循环。MapReduce中的连接策略重分区连接复制连接半连接——reduce端连接。使用场景：连

13、接两个或多个大型数据集。——map端连接。使用场景：待连接的数据集中有一个数据集小到可以完全放在缓存中。——map端连接。使用场景：待连接的数据集中有一个数据集非常大，但同时这个数据集可以被过滤成小到可以放在缓存中。重分区连接重分区连接利用MapReduce的排序-合并机制来分组数据。它被实现为使用一个单独的MapReduce任务，并支持多路连接（这里的多路指的是多个数据集）。Map阶段负责从多个数据集中读取数据，决定每个数据的连接值，将连接值作为输出键。输出值则包含将在reduce阶段被合并的值。Reduce阶段，一个reducer接收map函数传来的一个输出键的所有输出值，并将数据

14、分为多个分区。在此之后，reducer对所有的分区进行笛卡尔积连接运算，并生成全部的结果集。在如下示例中，用户数据中有用户姓名，年龄和所在州$cattest-data/ch4/users.txtanne22NYjoe39COalison35NYmike69VAmarie27ORjim21ORbob71CAmary53NYdave36VAdude50CA用户活动日志中有用户姓名，进行的动作，来源IP。这个文件一般都要比用户数据