jdbm開原始檔資料庫在全文檢索中的使用

Sean發表於2003-11-12
資料庫
最近奉命做一個全文檢索程式，用關鍵字建立檔案索引，類似如下結構：

詞1 文章號1,文章號2,文章號3,文章號4...
詞2 文章號3,文章號4,文章號5,文章號6...
詞3 文章號1,文章號2,文章號8,文章號7...
....
有朋友罵我說為何不用lucene，我當然是提出了用，不過被否決了。只好挽起褲腳親自下田了。

這種存放方式，按照關鍵字可以快速找到詞所在的所有文章，至於多關鍵字查詢就要將結果作一個交集了。我原本打算用gdbm檔案資料庫存放索引(關聯式資料庫對這種結構不太好用)，找來找去發現java好像無法支援gdbm，我可不希望用jni去訪問gdbm，不過好在我在sourceforge找到了jdbm可以代替使用。
如果你的程式需要儲存些簡單的資料，又不想使用資料庫，可以選擇jdbm。另外附上二元分詞法的程式，用來將文章分詞，這個分詞沒有詞表維護，實現簡單，將就能用吧。

jdbm很簡單，指定一個檔名，就可以當作一個hashtable來使用了：
import jdbm.*;
。。。
JDBMRecordManager newsindex = new JDBMRecordManager(filename);
JDBMHashtable hashtable = newsindex.getHashtable("words");
。。。
//建立索引方法，wordBreaker將文章敲碎成一個個詞
public void index(String docid, String body) {
try {
wordBreaker.setText(body);
String[] words = wordBreaker.breakAll();
for (int i = 0; i < words.length; i++) {
if (words != null && words.length() != 0) {
String docs = (String) hashtable.get(words);
if (docs == null) {
hashtable.put(words, docid);
}
else {
if(docs.indexOf(docid)==-1){
hashtable.put(words, docid + "," + docs);
}
}
}

}

}
catch (Exception ex) {
ex.printStackTrace();
}
}

//輸出所有資料看看，測試使用的方法
public void show(){
try {
JDBMEnumeration enum = hashtable.keys();
while (enum.hasMoreElements()) {
String aKey= (String)enum.nextElement();
String value= (String)hashtable.get(aKey);
System.out.println(aKey+ ":" + value);
}
}
catch (Exception ex) {

}
}
//記得關閉jdbm檔案
public void close(){
try {
hashtable.dispose();
newsindex.close();
}
catch (Exception ex) {
}
}
另外附上二元分詞程式WordBreaker：
import java.text.*;
import java.util.*;

public class WordBreaker {
char[] punctuations = new char[] {
'。', '，', '；', '：', '“', '”', '（', '）', '！', '？', '◎', '＃', '￥', '％', '…',
'※', '×', '【', '】', '『', '』', '《', '》', '、'};
public WordBreaker() {
}
public void setText(String text){
this.sourceText = text;
}
private String sourceText = "";
public String[] breakAll() {
StringBuffer enWord = new StringBuffer();
StringBuffer cnWord = new StringBuffer();
boolean lastInsertCn = false;
for (int i = 0; i < sourceText.length(); i++) {
char c = sourceText.charAt(i);
if (c > 255 && isWord(c)) {
cnWord.append(c);
lastInsertCn = true;
}
else if (c < 255) {
if (lastInsertCn) {
enWord.append(' ');
enWord.append(c);
lastInsertCn = false;
}
else {
enWord.append(c);
}
}
}
String str = cnWord.toString();
String[] result = new String[str.length() - 1];
for (int i = 0; i < str.length() - 1; i++) {
char c1 = str.charAt(i);
char c2 = str.charAt(i + 1);
result = "" + c1 + c2;
}
String[] allEnWords = enWord.toString().split("\\p{Punct}|\\s+");
String[] ret = new String[allEnWords.length + result.length];
System.arraycopy(result,0,ret,0,result.length);
System.arraycopy(allEnWords,0,ret,result.length,allEnWords.length);
return ret;
}

public static void main(String[] args) {
WordBreaker wb = new WordBreaker();
wb.setText("在目前的80名發審委員的機制下，監管部門人員不足1/3，沒有絕對話語權。發審委的工作等於是完全獨立於監管部門之上的。從這個意義上，面對市場的詰責，證監會有替人受過之嫌。");
wb.printArray(wb.breakAll());
}

private void printArray(Object[] os) {
for (int i = 0; i < os.length; i++) {
System.out.println(os);

}

}
private boolean isWord(char c) {
for (int i = 0; i < punctuations.length; i++) {
if (c == punctuations) {
return false;
}
}
return true;
}
}
將文中單詞按照2元語法(bigram)方式切分出來，比如：
"北京天安門" ==> "北京 京天 天安 安門"。英語按照空格和標點分詞。

下載jdbm:jdbm.sf.net

相關文章