| Blog信息 |
|
blog名称:
日志总数:1304
评论数量:2242
留言数量:5
访问次数:7591267
建立时间:2006年5月29日 |
| |
|
 [Apache(jakarta)]让Nutch支持中文分词 
软件技术
lhwork 发表于 2006/12/14 11:42:00 |
| Nutch搜索引擎是一个构建在Lucene上的开放源代码的搜索引擎。可以通过CVS取得它的最新版本。让nutch支持中文分词的方法和Lucene类似，但是nutch很多时候调用了底层的Lucene API。因此需要我们做更多的工作。
一、修改查询分析器
需要修改的文件是：net.nutch.analysis.NutchAnalysis.java。这个文件是从NutchAnalysis.jj使用JavaCC自动生成的，但是我们可以手工修改它以支持中文。
package
net.nutch.analysis;
import
net.nutch.searcher.Query;
import
java.io.*;
/** The
JavaCC-generated Nutch lexical analyzer and query parser. */
public class
NutchAnalysis {
private String queryString;
/** Construct a query parser for the
text in a reader. */
public static Query parseQuery(String
queryString) throws IOException {
NutchAnalysis parser =
new
NutchAnalysis();
parser.queryString =
queryString;
return parser.parse();
}
/** For debugging. */
public static void main(String[] args)
throws Exception {
String
sentence ="厦门大学艺术教育学院副院长李未明教授长期从事音乐教学，";
StringReader
input= new java.io.StringReader(sentence);
BufferedReader in = new
BufferedReader(input);
//while (true) {
System.out.print("Query: ");
String line =
in.readLine();
System.out.println(parseQuery(line));
//}
}
/** Parse a
query. */
final public Query parse() throws
IOException {
Query
query = new Query();
StringReader
input;
input
= new java.io.StringReader(queryString);
org.apache.lucene.analysis.TokenStream
tokenizer = new seg.result.CnTokenizer(input);
//just
a demo
for
(org.apache.lucene.analysis.Token t = tokenizer.next(); t != null; t =
tokenizer.next())
{
String[]
array = {t.termText()};
query.addRequiredPhrase(array,
t.type());
}
return
query;
}
}
二、测试
在命令行执行：
>java
"-Ddic.dir=D:/SSeg/Dic" -classpath
D:\lucenne\lucene-1.4-final.jar;D:\SSeg\lib\seg.jar;D:\SSeg\lib\nutch.jar
net.nutch.analysis.NutchAnalysis
返回的查询对象内容是：
Query: ns:厦门 n:大学 n:艺术 vn:教育 n:学院 b:副 n:院长 nr:李 nr:未明 n:教授 d:长期 v:从事 n:音乐 vn:教学 w:，
在unix的命令行下执行略有不同：
$java "-Ddic.dir=/home/nutch/Dic" -cp
/home/nutch/lib/lucene-1.4-final.jar:/home/nutch/lib/seg.jar:/home/nutch/lib/nutch.jar
net.nutch.analysis.NutchAnalysis
|
|
|
回复:让Nutch支持中文分词
软件技术
wgc(游客)发表评论于2008/5/17 22:25:57 |
|
» 1 »
|