+2°
2014年06月03日
⁄ 开源搜索引擎
⁄ 共 1352字 ⁄ 被围观 4,913 views+
在上文全文搜索服务器 Solr—xml格式索引数据导入篇中我们提到使用xml文件的方式导入索引,速度会有所提升,达到1w个/s。但是同时也提到了xml文档的缺陷,文件格式的要求比较高。
本文中,推荐使用csv的方式来建立索引。弥补xml文档的缺陷。
下面就是具体的实现方式:
schema.xml的字段配置部分如下:
<field name="id" type="string" stored="true" indexed="true"/>
<field name="title" type="string" stored="true...
csv, solr, 搜索引擎, 索引阅读全文
+2°
2014年06月03日
⁄ 开源搜索引擎
⁄ 共 1281字 ⁄ 被围观 2,735 views+
xml 是最常用的数据索引格式,不仅可以索引数据,还可以对文档与字段进行增强,从而改变它们的重要程度。
下面就是具体的实现方式:
schema.xml的字段配置部分如下:
<field name="id" type="string" stored="true" indexed="true"/>
<field name="title" type="string" stored="true" indexed="true" omitNorms="false"/>
以下是我们将要提交到solr作为索引的xml文档:books.xml
<add overwrite="true" commitW...
solr, xml, 搜索引擎, 索引阅读全文
+2°
2014年05月31日
⁄ 开源搜索引擎
⁄ 共 783字 ⁄ 被围观 3,232 views+
全量索引:
序号
数据数目
时间
处理速度
索引文件
日志文件
1
318113
39s
8157/s
49M
74M
2
638673
82s
7789/s
111M
147M
3
959627
123s
7802/s
169M
221M
4
1278618
165s
7749/s
228M
294M
5
1600811
206s
7771/s
268M
368M
5
1600811
203s
7886/s
268M
368M
6
1919795
242s
7933/s
327M
441M
7
2241158
287s
7809/s
545M
515M
8
2559512
328s
7803/s
430M
588M
9
2877743
369s
7799/s
489M
661M
10...
mysql, solr, 性能测试, 搜索引擎, 索引性能阅读全文
+1°
2014年05月31日
⁄ 开源搜索引擎
⁄ 共 913字 ⁄ 被围观 3,314 views+
全文索引服务器 Solr—连接mysql建全量索引篇一文中已经详细的介绍了solr怎么通过连接mysql的表,建索引。
本文主要是介绍solr怎么通过连接mysql的表,建增量的索引。
1. 修改conf目录下的data-config.xml文件,内容如下:
<?xml version="1.0" encoding="utf-8"?>
<dataConfig>
<dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver"
url="jdbc:mysql://localhost:3306/demo"
user="roo...
mysql, solr, 增量索引, 搜索引擎阅读全文
+5°
2014年05月04日
⁄ 开源搜索引擎
⁄ 共 1406字 ⁄ 被围观 3,562 views+
1.要求
将数据库中的数据直接创建到Solr索引中去。先做全部索引。
2.环境
Solr4.7.1版本,Tomcat7.0.53版本,mysql5,已经配置好Tomcat与Solr的集成,包括中文分词等。
3.实现步骤
3.1 编辑solrconfig.xml文件,在合适位置增加如下代码:
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xm...
mysql, solr, 全量索引, 搜索引擎阅读全文
+0°
2014年05月04日
⁄ 开源搜索引擎
⁄ 共 1254字 ⁄ 被围观 2,060 views+
前提是已经在Tomcat 7.0.53下面配置好solr 4.7.1,详情参考:全文搜索服务器 Solr—安装篇
注意:Solr4.7.1需要IKanalyzer 2012 FF以上版本。我下载的是IK Analyer 2012-FF hotfix 1
1.下载IKAnalyzer包
下载地址:http://code.google.com/p/ik-analyzer/downloads/list
2.解压IK Analyzer 2012FF_hf1.zip包
用到其中三个文件:
IKAnalyzer2012FF_u1.jar,放到$CATALINA_HOME/webapps/solr/WEB-INF/lib/目录
IKAnalyzer.cfg.xml,...
IK Analyer, solr, 中文分词, 搜索引擎阅读全文
+0°
2014年04月27日
⁄ 开源搜索引擎
⁄ 共 1946字 ⁄ 被围观 1,465 views+
一、环境准备:
系统环境:
Ubuntu10.10
Tomcat 7.0.53
jdk-7u51
solr-4.7.1
首先将软件包上传到/tmp目录下
1、 jdk安装
[root@svn-server/]#cd /tmp/
[root@svn-server/]#tar zxvf jdk-7u51-linux-i586.tar.gz
[root@svn-server/]#mv jdk1.7.0_51 /usr/
[root@svn-server/]#vim /etc/profile
在最后一行复制以下代码添加如下内容:
JAVA_HOME=/usr/jdk1.7.0_51/
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$J...
solr, 安装, 搜索引擎阅读全文
+0°
2014年04月27日
⁄ 开源搜索引擎
⁄ 共 450字 ⁄ 被围观 1,279 views+
Apache Solr (读音: SOLer) 是一个开源的搜索服务器。Solr 使用 Java 语言开发,主要基于 HTTP 和 Apache Lucene 实现。Apache Solr 中存储的资源是以 Document 为对象进行存储的。每个文档由一系列的 Field 构成,每个 Field 表示资源的一个属性。Solr 中的每个 Document 需要有能唯一标识其自身的属性,默认情况下这个属性的名字是 id,在 Schema 配置文件中使用:<uniqueKey>id</uniqueKey>进行描述。
S...
solr, 搜索引擎阅读全文