搭建sphinx+mysql5.1x+sphinxse+mmseg中文分词搜索引擎架构

《搭建sphinx+mysql5.1x+sphinxse+mmseg中文分词搜索引擎架构》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Sphinx+MySQL5.1x+SphinxSE+mmseg中文分词搜索引擎架构搭建手记研究了一下sphinx，发现真是个好东西，先来几句废话，什么是SphinxSphinx是一个在GPLv2下发布的一个全文检索引擎，一般而言，Sphinx是一个独立的搜索引擎，意图为其他应用提供高速、低空间占用、高结果相关度的全文搜索功能。Sphinx可以非常容易的与SQL数据库和脚本语言集成。当前系统内置MySQL和PostgreSQL数据库数据源的支持，也支持从标准输入读取特定格式的XML数据。通过修改源代码，用户可以自行增加新的数据源（例如：其他类型的DBMS的原生支持）。Sph

2、inx的特性高速的建立索引(在当代CPU上，峰值性能可达到10MB/秒);高性能的搜索(在2–4GB的文本数据上，平均每次检索响应时间小于0.1秒);可处理海量数据(目前已知可以处理超过100GB的文本数据,在单一CPU的系统上可处理100M文档);提供了优秀的相关度算法，基于短语相似度和统计（BM25）的复合Ranking方法;支持分布式搜索;providesdocumentexceprtsgeneration;可作为MySQL的存储引擎提供搜索服务;支持布尔、短语、词语相似度等多种检索模式;文档支持多个全文检索字段(最大不超过32个);文档支持多个

3、额外的属性信息(例如：分组信息，时间戳等);停止词查询;支持单一字节编码和UTF-8编码;原生的MySQL支持(同时支持MyISAM和InnoDB);原生的PostgreSQL支持.更多特性参考手册。原生MySQL存储引擎检索流程：基于Sphinx存储引擎检索：开始本文以CentOS5.5+mysql-5.1.55+sphinx-0.9.9（coreseek-3.2.14.tar.gz）为例介绍Sphinx+MySQL5.1x+SphinxSE存储引擎+mmseg中文分词搜索引擎架构搭建过程。通过yum命令更新依赖包（推荐使用CentOS本地源，速度快）其实不需要这

4、么多软件包，我是在搭建PHP环境基础上增加的，所以比较多。yum-yinstallgccg++gcc-c++libjpeglibjpeg-devellibpnglibpng-develfreetypefreetype-devellibxml2libxml2-develzlibzlib-develglibcglibc-develglib2glib2-develbzip2bzip2-develncursesncurses-develcurlcurl-devele2fsprogse2fsprogs-develkrb5krb5-devellibidnlibidn-develope

5、nsslopenssl-developenldapopenldap-develnss_ldapopenldap-clientsopenldap-serverspatchlibtoolautomakeimakemysql-develexpat-devel安装MySQL+SphinxSE，进入软件包目录tarzxvfmysql-5.1.55.tar.gztarzxvfsphinx-0.9.9.tar.gzcp-rsphinx-0.9.9/mysqlse/mysql-5.1.55/storage/sphinxcdmysql-5.1.55./BUILD/autorun.sh./c

6、onfigure--prefix=/usr/local/webserver/mysql/--enable-assembler--with-extra-charsets=complex--enable-thread-safe-client--with-big-tables--with-readline--with-ssl--with-embedded-server--enable-local-infile--with-plugins=partition,innobase,myisammrg,sphinxmakemakeinstall。。。省略若干配置步骤，和平时配置MySQ

7、L没什么两样。安装完成启动MySQL后查看sphinx存储引擎是否安装成功在mysql命令行下执行showengines;如果出现如下图红色方框内的信息说明SphinxSE已经安装成功！安装Sphinx全文检索服务器Sphinx默认不支持中文索引及检索，以前用Coreseek的补丁来解决，目前Coreseek不单独提供补丁文件，而基于sphinx开发了Coreseek全文检索服务器，Coreseek应该是现在用的最多的sphinx中文全文检索，它提供了为Sphinx设计的中文分词包LibMMSeg包含mmseg中文分词，其实c