支持分库分表和读写分离的orm框架的设计与实现

《支持分库分表和读写分离的orm框架的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文（工程硕士）支持分库分表和读写分离的ORM框架的设计与实现DESIGNANDIMPLEMENTATIONOFTHEORMFRAMEWORKSUPPORTINGDATABASESHARDINGANDREAD/WRITESEPERATING严成武哈尔滨工业大学2016年6月国内图书分类号：TP311学校代码：10213国际图书分类号：621.3密级：公开工程硕士学位论文支持分库分表和读写分离的ORM框架的设计与实现硕士研究生：严成武导师：张伟哲教授副导师：阳锋高级工程师申请学位：工程硕士学科：软件工程所在单位：软件学院答辩日期：2016年6月授予学位单位：哈尔滨工业大学Cl

2、assifiedIndex:TP311U.D.C:621.3DissertationfortheMaster’sDegreeinEngineeringDESIGNANDIMPLEMENTATIONOFTHEORMFRAMEWORKSUPPORTINGDATABASESHARDINGANDREAD/WRITESEPERATINGCandidate：YanChengwuSupervisor：Prof.ZhangWeizheAssociateSupervisor:SeniorEngineerYangFengAcademicDegreeAppliedfor：MasterofEngineer

3、ingSpeciality：SoftwareEngineeringAffiliation：SchoolofSoftwareDateofDefence：June,2016Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工程硕士学位论文摘要随着互联网的飞速发展，越来越多的企业在百度搜索引擎上投放广告，实现流量变现。所以广告业务系统的数据呈现爆炸性的增长，单一的数据库服务器已经不足以存储所有的数据，所以按照一系列规则对数据库做了分库分表的处理，并提供主从库来分离数据库的读写操作，以提高读操作的性能。而在广告业

4、务系统中需要一个统一的模块去和所有的数据库进行交互。虽然目前开源的对象映射（ORM）框架已经很多，但是这些框架属于通用型的，不能和业务及数据库最好地配合。而系统目前使用的ORM框架性能较低，对缓存服务器内存的使用比较浪费。为了更好地和数据库、缓存等交互，并节省缓存服务器的内存，提出支持数据库分库分表以及读写分离的ORM框架的需求。该框架使用JAVA语言开发，并和MYSQL服务器和REDIS缓存服务器进行交互。其设计上分为六个模块：配置管理、数据源管理、映射管理、缓存管理、数据存取和数据报告。其中配置管理完成了数据库和缓存配置文件的定义和加载。数据源管理完成了如何将数据库和缓存的配置

5、解析并注册为相应的数据源对象，并如何集中管理和查找数据源。映射管理完成了如何通过JAVA注解将JAVA的对象映射到数据库表。缓存管理完成了缓存的结构以及如何通过一致性哈希管理缓存服务器。数据存取完成了数据库和缓存的增删改查功能的实现，并完成了数据库读写分离的实现和如何通过分布式缓存解决数据库的主从延迟。作为框架的核心，其性能会影响系统的处理能力，所以提升数据库和缓存操作的性能成为关键。最后完成了数据报告模块，通过输出框架运行时的各项数据指标，协助分析框架的性能和缓存使用情况。框架还通过JAVASSIST字节码框架和多线程大大提高了框架的性能。目前完成了框架的所有需求，并通过模拟线上

6、请求进行了功能测试和性能测试。目前已经上线并稳定运行一段时间，在并发量较大的情况下也能大大地提升性能，而对缓存服务器内存的使用也大大减少。关键词：ORM框架；分库分表；读写分离；主从延迟；分布式缓存；JAVASSIST-I-哈尔滨工业大学工程硕士学位论文AbstractWiththerapiddevelopmentoftheInternet,morecompaniesadvertisingonBaidusearchenginetoachievecashflow.Soadvertisingsystem’sdatashowingexplosivegrowth,asingledataba

7、seserverhasnolongerenoughtostoreallofthedata,sothesystemshardingthedatabasesaccordingtoasetofrules,andprovidesmastersandslavestoseparatedatabasereadandwritetoimprovereadperformance.Sothesystemneedsaunifiedmoduletointeractwithallofthedat