资源描述:
《云计算实验题.doc》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、熟悉常用的Linux操作和Hadoop操作可编辑word,供参考版!可编辑word,供参考版!可编辑word,供参考版!可编辑word,供参考版!熟悉常用的HDFS操作可编辑word,供参考版!可编辑word,供参考版!可编辑word,供参考版!熟悉常用的HBase操作1实验内容和要求1.编程实现以下指定功能,并用Hadoop提供的HBaseShell命令完成相同任务:(1)列出HBase所有的表的相关信息,例如表名;可编辑word,供参考版!(1)在终端打印出指定的表的所有记录数据;(2)向已经创建好的表添加和删除指定的列族或列;添加:删除:(3
2、)清空指定的表的所有记录数据;可编辑word,供参考版!(1)统计表的行数。1.现有以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据:学生表(Student)学号(S_No)姓名(S_Name)性别(S_Sex)年龄(S_Age)2015001Zhangsanmale232015003Maryfemale222015003Lisimale24课程表(Course)课程号(C_No)课程名(C_Name)学分(C_Credit)123001Math2.0123002ComputerScience5.0123003Engl
3、ish3.0选课表(SC)学号(SC_Sno)课程号(SC_Cno)成绩(SC_Score)201500112300186201500112300369201500212300277201500212300399201500312300198可编辑word,供参考版!201500312300295学生表:创建:插入数据:课程表:创建:可编辑word,供参考版!插入数据:选课表:创建:插入数据:可编辑word,供参考版!同时,请编程完成以下指定功能:(1)createTable(StringtableName,String[]fields)创建表,参
4、数tableName为表的名称,字符串数组fields为存储记录各个域名称的数组。要求当HBase已经存在名为tableName的表的时候,先删除原有的表,然后再创建新的表。可编辑word,供参考版!(2)addRecord(StringtableName,Stringrow,String[]fields,String[]values)向表tableName、行row(用S_Name表示)和字符串数组files指定的单元格中添加对应的数据values。其中fields中每个元素如果对应的列族下还有相应的列限定符的话,用“columnFamily:c
5、olumn”表示。例如,同时向“Math”、“ComputerScience”、“English”三列添加成绩时,字符串数组fields为{“Score:Math”,”Score;ComputerScience”,”Score:English”},数组values存储这三门课的成绩。可编辑word,供参考版!(3)scanColumn(StringtableName,Stringcolumn)浏览表tableName某一列的数据,如果某一行记录中该列数据不存在,则返回null。要求当参数column为某一列族名称时,如果底下有若干个列限定符,则要列
6、出每个列限定符代表的列的数据;当参数column为某一列具体名称(例如“Score:Math”)时,只需要列出该列的数据。可编辑word,供参考版!(4)modifyData(StringtableName,Stringrow,Stringcolumn)修改表tableName,行row(可以用学生姓名S_Name表示),列column指定的单元格的数据。(5)deleteRow(StringtableName,Stringrow)删除表tableName中row指定的行的记录。可编辑word,供参考版!1.利用HBase和MapReduce完成如
7、下任务:假设HBase有2张表,表的逻辑视图及部分数据如下所示:表逻辑视图及部分数据书名(bookName)价格(price)DatabaseSystemConcept30$ThinkinginJava60$DataMining25$要求:从HBase读出上述两张表的数据,对“price”的排序,并将结果存储到HBase中。创建表:排序:可编辑word,供参考版!实验4MapReduce编程初级实践编程实现文件合并和去重操作对于两个输入文件,即文件A和文件B,请编写MapReduce程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新的输出文
8、件C。下面是输入文件和输出文件的一个样例供参考。输入文件A的样例如下:20150101x20150102y20150103