jdbm开源文件数据库在全文检索中的使用

03-11-12 Sean
最近奉命做一个全文检索程序,用关键字建立文件索引,类似如下结构:

词1 文章号1,文章号2,文章号3,文章号4...

词2 文章号3,文章号4,文章号5,文章号6...

词3 文章号1,文章号2,文章号8,文章号7...

....

有朋友骂我说为何不用lucene,我当然是提出了用,不过被否决了。只好挽起裤脚亲自下田了。

这种存放方式,按照关键字可以快速找到词所在的所有文章,至于多关键字查询就要将结果作一个交集了。我原本打算用gdbm文件数据库存放索引(关系数据库对这种结构不太好用),找来找去发现java好像无法支持gdbm,我可不希望用jni去访问gdbm,不过好在我在sourceforge找到了jdbm可以代替使用。

如果你的程序需要保存些简单的数据,又不想使用数据库,可以选择jdbm。另外附上二元分词法的程序,用来将文章分词,这个分词没有词表维护,实现简单,将就能用吧。

jdbm很简单,指定一个文件名,就可以当作一个hashtable来使用了:

import jdbm.*;

。。。

JDBMRecordManager newsindex = new JDBMRecordManager(filename);

JDBMHashtable hashtable = newsindex.getHashtable("words");

。。。

//建立索引方法,wordBreaker将文章敲碎成一个个词

public void index(String docid, String body) {

try {

wordBreaker.setText(body);

String[] words = wordBreaker.breakAll();

for (int i = 0; i < words.length; i++) {

if (words != null && words.length() != 0) {

String docs = (String) hashtable.get(words);

if (docs == null) {

hashtable.put(words, docid);

}

else {

if(docs.indexOf(docid)==-1){

hashtable.put(words, docid + "," + docs);

}

}

}

}

}

catch (Exception ex) {

ex.printStackTrace();

}

}

//输出所有数据看看,测试使用的方法

public void show(){

try {

JDBMEnumeration enum = hashtable.keys();

while (enum.hasMoreElements()) {

String aKey= (String)enum.nextElement();

String value= (String)hashtable.get(aKey);

System.out.println(aKey+ ":" + value);

}

}

catch (Exception ex) {

}

}

//记得关闭jdbm文件

public void close(){

try {

hashtable.dispose();

newsindex.close();

}

catch (Exception ex) {

}

}

另外附上二元分词程序WordBreaker:

import java.text.*;

import java.util.*;

public class WordBreaker {

char[] punctuations = new char[] {

'。', ',', ';', ':', '“', '”', '(', ')', '!', '?', '◎', '#', '¥', '%', '…',

'※', '×', '【', '】', '『', '』', '《', '》', '、'};

public WordBreaker() {

}

public void setText(String text){

this.sourceText = text;

}

private String sourceText = "";

public String[] breakAll() {

StringBuffer enWord = new StringBuffer();

StringBuffer cnWord = new StringBuffer();

boolean lastInsertCn = false;

for (int i = 0; i < sourceText.length(); i++) {

char c = sourceText.charAt(i);

if (c > 255 && isWord(c)) {

cnWord.append(c);

lastInsertCn = true;

}

else if (c < 255) {

if (lastInsertCn) {

enWord.append(' ');

enWord.append(c);

lastInsertCn = false;

}

else {

enWord.append(c);

}

}

}

String str = cnWord.toString();

String[] result = new String[str.length() - 1];

for (int i = 0; i < str.length() - 1; i++) {

char c1 = str.charAt(i);

char c2 = str.charAt(i + 1);

result = "" + c1 + c2;

}

String[] allEnWords = enWord.toString().split("\\p{Punct}|\\s+");

String[] ret = new String[allEnWords.length + result.length];

System.arraycopy(result,0,ret,0,result.length);

System.arraycopy(allEnWords,0,ret,result.length,allEnWords.length);

return ret;

}

public static void main(String[] args) {

WordBreaker wb = new WordBreaker();

wb.setText("在目前的80名发审委员的机制下,监管部门人员不足1/3,没有绝对话语权。发审委的工作等于是完全独立于监管部门之上的。从这个意义上,面对市场的诘责,证监会有替人受过之嫌。");

wb.printArray(wb.breakAll());

}

private void printArray(Object[] os) {

for (int i = 0; i < os.length; i++) {

System.out.println(os);

}

}

private boolean isWord(char c) {

for (int i = 0; i < punctuations.length; i++) {

if (c == punctuations) {

return false;

}

}

return true;

}

}

将文中单词按照2元语法(bigram)方式切分出来,比如:

"北京天安门" ==> "北京 京天 天安 安门"。英语按照空格和标点分词。

下载jdbm:jdbm.sf.net

猜你喜欢