网络152_蒋发明_吴宏磊_郑杨子_大大数据处理.doc

《网络152_蒋发明_吴宏磊_郑杨子_大大数据处理.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、课程设计报告设计（论文）题目：大数据处理学院名称：电子与信息工程学院专业班级：网络工程15-2班成员姓名：吴宏磊学号成员姓名：子学号成员姓名：发明学号指导教师：盛啸涛2016年1月6日目录一、概述31、实验容32、实验目的43、组员权重：4二、系统设计41、题目分析：42、数据结构设计43、程序流程图54、详细设计5三、实验结果6四、实验总结61、工作日志62、实验心得63、参考文献7五、附件：程序源码7一、概述1、实验容（1）读取文件中的密码(password)字段，统计密码出现的次数count，写入文件password.txt。不需要排序。格式：每行一条记录，

2、password和count中间用TAB分隔（即C语言中的t）。（ReadPassword）（2）读取password.txt，对密码出现次数按照降序排序。分别采用：直接插入排序、希尔排序、冒泡排序、快速排序、直接选择排序、堆排序、归并排序、基数排序；求出每种排序方法所需要的绝对时间。屏幕上输出各种各种排序的绝对时间。最后屏幕上输出出现次数最多的20个密码及次数。（RankTimePassword）（3）读取user.txt，使用链表存放，使用顺序查找，随机生成2000个user_id（1～1,230,000之的），再随机生成20个user_id（大于1,230

3、,000的），输出查找所花总时间。（SearchTimeNode）（4）读取user.txt，按照用户id使用二叉排序树存放，随机生成2000个user_id（1～1,230,000之的），再随机生成20个user_id（大于1,230,000的），输出查找所花总时间。（SearchTimeTree）（5）读取user.txt，先按照user_id排序，结果写入user_sorted.txt。用不同的排序方法分别输出排序所需时间。（如果所花时间过长，请缩小数据围，并估算最终所需的大概时间）（RankTimeId）（6）读取user_sorted.txt，使用二分查

4、找，随机生成2000个user_id（1～1,230,000之的），再随机生成20个user_id（大于1,230,000的），输出查找所花总时间。（只计算查找的时间）（SearchTimeTwo）（7）设计一个哈希存储的方案，用来存放password.txt中的数据（关键字为密码）；设计20个存在的密码和不存在的密码，输出该密码和出现的次数，以及查找所花总时间。（HaxiStore）1、实验目的通过数据结构课程设计，让我们了解8种排序的方法和运算时间，明白了大数据处理的方法，了解了哈希存储的方案以及所需查找的时间，利用二分查找随机产生的数据所需要的时间，通过这次

5、实验，回顾了以前所学习的知识，更加掌握了数据结构的排序和算法。2、组员权重：发明：1.2吴宏磊：0.9子：0.9二、系统设计1、题目分析：要求对大数据进行处理，每行包含一条记录，每条记录包含：user_id和password中间为TAB分隔。1、数据结构设计2、程序流程图文字描述：主函数主要为while循环，对应的功能号进入对应的功能，0则退出循环，每个功能都是根据学期和班级来进入相应的数据文件。1、详细设计全局变量有intbehind，Termt1,t2，behind用于防止输出成绩单时将未录入的学生成绩输出在程序中定义了三个类：Term，Cls，Stu，运用到

6、了类的嵌套，学生嵌套在班级中，班级嵌套在学期里，学生类中有许多函数用于实现某些功能。在程序中还有readfile读文件函数和writetofile写文件函数，读文件函数设置为inline函数加快程序运行效率。主函数主要为一个while循环，输入相应的功能号进入相应的函数功能模块，输入0为结束，在各个功能模块开始前都会进行一次读文件操作，进行处理后将修改或者录入的数据重新写入到文件中覆盖原有数据。读写文件用到了fstream，istream和ostream。文件为txt文件格式为term1_1.txt用于保存第一学期1班的成绩数据。二、实验结果三、实验总结1、工作日

7、志日期时间容完成模块12．2613：30-16：30整个程序的规划完成文件的写入12.2713：30-16：30了解前四个算法完成前四个排序12.2813：30-16：30了解后四个算法完成后四个排序12.2913：30-16：30了解链表存放完成链表存放12.3013：30-16：30了解二分查找完成二分查找1.0313：30-16：30了解哈希存储完成哈希存储1.0413：30-16：30答辩程序的测试1、实验心得本次课程设计我们所设计的程序是大数据处理，在做本次设计前我们便对整体程序所需要的功能进行分类，按功能模块对程序功能进行实现，这让我们学到了在完成一个

8、较大的程序