存档

文章标签 ‘lucene’

使用Memcache缓存提升搜索引擎项目性能

2010年4月18日 liangdi 没有评论

搜索项目已经上线了,客户使用的硬件不错,系统表现的也不错,不过所谓”编程无止境”,针对客户的使用特点,我决定对系统做个使用Memcache缓存提升性能的方案,对于整个搜索系统来说需要缓存的地方很多:搜索结果、分词(同义词)、以及客户定制的一些功能.本文就针对搜索结果做缓存看看性能提升效果 .

Memcache服务器使用很简单从http://memcached.org/ 下载,开启服务的简单命令:/path/to/memcached -u root -d,JAVA-Client可以使用这个:http://github.com/gwhalin/Memcached-Java-Client/downloads.

根据系统需求,写一个CacheUtil类,根据搜索关键字+搜索类型+搜索起始记录数 组成的字符串作为key,保存搜索结果HashMap,同样根据key取得搜索结果直接返回.

阅读全文…

使用搜索引擎(lucene,nutch)去爬自己的博客!!!

2010年3月7日 liangdi 3 条评论

最近,接触一个使用Lucene作为底层的搜索引擎应用.其中一个模块使用了Nutch,所以也接触了一下Nutch.

Nutch 是一个基于 Java 实现的开源搜索引擎,其内部使用了高性能全文索引引擎工具 Lucene。使用Nutch很容易搭建一个类似百度和Google这样的搜索引擎,所以我用他来抓取自己的博客看看结果.

Nutch_Centos

Nutch抓取liangdi.icentos.net

lucene和nutch的应用很广。相关的开发文档在网上也有很多.如果有兴趣大家可以搜搜。