lucene、lucene.NET詳細使用與優化詳解
1 lucene簡介
1.1 什麼是lucene
Lucene是一個全文搜尋框架，而不是應用產品。因此它並不像www.baidu.com 或者google Desktop那麼拿來就能用，它只是提供了一種工具讓你能實現這些產品。
1.2 lucene能做什麼
要
回答這個問題，先要了解lucene的本質。實際上lucene的功能很單一，說到底，就是你給它若干個字串，然後它為你提供一個全文搜尋服務，告訴你
你要搜尋的關鍵詞出現在哪裡。知道了這個本質，你就可以發揮想象做任何符合這個條件的事情了。你可以把站內新聞都索引了，做個資料庫；你可以把一個資料庫
表的若干個欄位索引起來，那就不用再擔心因為“%like%”而鎖表了；你也可以寫個自己的搜尋引擎……
1.3 你該不該選擇lucene
下面給出一些測試資料，如果你覺得可以接受，那麼可以選擇。
測試一：250萬記錄，300M左右文字，生成索引380M左右，800執行緒下平均處理時間300ms。
測試二：37000記錄，索引資料庫中的兩個varchar欄位，索引檔案2.6M，800執行緒下平均處理時間1.5ms。
2 lucene的工作方式
lucene提供的服務實際包含兩部分：一入一出。所謂入是寫入，即將你提供的源（本質是字串）寫入索引或者將其從索引中刪除；所謂出是讀出，即向使用者提供全文搜尋服務，讓使用者可以通過關鍵詞定位源。
2.1寫入流程
源字串首先經過analyzer處理，包括：分詞，分成一個個單詞；去除stopword（可選）。
將源中需要的資訊加入Document的各個Field中，並把需要索引的Field索引起來，把需要儲存的Field儲存起來。
將索引寫入儲存器，儲存器可以是記憶體或磁碟。
2.2讀出流程
使用者提供搜尋關鍵詞，經過analyzer處理。
對處理後的關鍵詞搜尋索引找出對應的Document。
使用者根據需要從找到的Document中提取需要的Field。
3 一些需要知道的概念
lucene用到一些概念，瞭解它們的含義，有利於下面的講解。
3.1 analyzer
Analyzer
是分析器，它的作用是把一個字串按某種規則劃分成一個個詞語，並去除其中的無效詞語，這裡說的無效詞語是指英文中的 “of”、
“the”，中文中的“的”、“地”等詞語，這些詞語在文章中大量出現，但是本身不包含什麼關鍵資訊，去掉有利於縮小索引檔案、提高效率、提高命中率。
分詞的規則千變萬化，但目的只有一個：按語義劃分。這點在英文中比較容易實現，因為英文字身就是以單詞為單位的，已經用空格分開；而中文則必須以某種方法將連成一片的句子劃分成一個個詞語。具體劃分方法下面再詳細介紹，這裡只需瞭解分析器的概念即可。
3.2 document
使用者提供的源是一條條記錄，它們可以是文字檔案、字串或者資料庫表的一條記錄等等。一條記錄經過索引之後，就是以一個Document的形式儲存在索引檔案中的。使用者進行搜尋，也是以Document列表的形式返回。
3.3 field
一個Document可以包含多個資訊域，例如一篇文章可以包含“標題”、“正文”、“最後修改時間”等資訊域，這些資訊域就是通過Field在Document中儲存的。
Field有兩個屬性可選：儲存和索引。通過儲存屬性你可以控制是否對這個Field進行儲存；通過索引屬性你可以控制是否對該Field進行索引。這看起來似乎有些廢話，事實上對這兩個屬性的正確組合很重要，下面舉例說明：
還
是以剛才的文章為例子，我們需要對標題和正文進行全文搜尋，所以我們要把索引屬性設定為真，同時我們希望能直接從搜尋結果中提取文章標題，所以我們把標題
域的儲存屬性設定為真，但是由於正文域太大了，我們為了縮小索引檔案大小，將正文域的儲存屬性設定為假，當需要時再直接讀取檔案；我們只是希望能從搜尋解
果中提取最後修改時間，不需要對它進行搜尋，所以我們把最後修改時間域的儲存屬性設定為真，索引屬性設定為假。上面的三個域涵蓋了兩個屬性的三種組合，還
有一種全為假的沒有用到，事實上Field不允許你那麼設定，因為既不儲存又不索引的域是沒有意義的。
3.4 term
term是搜尋的最小單位，它表示文件的一個詞語，term由兩部分組成：它表示的詞語和這個詞語所出現的field。
3.5 tocken
tocken是term的一次出現，它包含trem文字和相應的起止偏移，以及一個型別字串。一句話中可以出現多次相同的詞語，它們都用同一個term表示，但是用不同的tocken，每個tocken標記該詞語出現的地方。
3.6 segment
新增索引時並不是每個document都馬上新增到同一個索引檔案，它們首先被寫入到不同的小檔案，然後再合併成一個大索引檔案，這裡每個小檔案都是一個segment。
4 lucene的結構
lucene包括core和sandbox兩部分，其中core是lucene穩定的核心部分，sandbox包含了一些附加功能，例如highlighter、各種分析器。
Lucene core有七個包：analysis，document，index，queryParser，search，store，util。
4.1 analysis
Analysis包含一些內建的分析器，例如按空白字元分詞的WhitespaceAnalyzer，新增了stopwrod過濾的StopAnalyzer，最常用的StandardAnalyzer。
4.2 document
Document包含文件的資料結構，例如Document類定義了儲存文件的資料結構，Field類定義了Document的一個域。
4.3 index
Index 包含了索引的讀寫類，例如對索引檔案的segment進行寫、合併、優化的IndexWriter類和對索引進行讀取和刪除操作的 IndexReader類，這裡要注意的是不要被IndexReader這個名字誤導，以為它是索引檔案的讀取類，實際上刪除索引也是由它完成， IndexWriter只關心如何將索引寫入一個個segment，並將它們合併優化；IndexReader則關注索引檔案中各個文件的組織形式。
4.4 queryParser
QueryParser 包含了解析查詢語句的類，lucene的查詢語句和sql語句有點類似，有各種保留字，按照一定的語法可以組成各種查詢。 Lucene有很多種Query類，它們都繼承自Query，執行各種特殊的查詢，QueryParser的作用就是解析查詢語句，按順序呼叫各種 Query類查詢出結果。
4.5 search
Search包含了從索引中搜尋結果的各種類，例如剛才說的各種Query類，包括TermQuery、BooleanQuery等就在這個包裡。
4.6 store
Store包含了索引的儲存類，例如Directory定義了索引檔案的儲存結構，FSDirectory為儲存在檔案中的索引，RAMDirectory為儲存在記憶體中的索引，MmapDirectory為使用記憶體對映的索引。
4.7 util
Util包含一些公共工具類，例如時間和字串之間的轉換工具。
5 如何建索引
5.1 最簡單的能完成索引的程式碼片斷
IndexWriter writer = new IndexWriter(“/data/index/”, new StandardAnalyzer(), true);
Document doc = new Document();
doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));
doc.add(new Field("content", "lucene works well", Field.Store.YES, Field.Index.TOKENIZED));
writer.addDocument(doc);
writer.optimize();
writer.close();
下面我們分析一下這段程式碼。
首先我們建立了一個writer，並指定存放索引的目錄為“/data/index”，使用的分析器為StandardAnalyzer，第三個引數說明如果已經有索引檔案在索引目錄下，我們將覆蓋它們。
然後我們新建一個document。
我們向document新增一個field，名字是“title”，內容是“lucene introduction”，對它進行儲存並索引。
再新增一個名字是“content”的field，內容是“lucene works well”，也是儲存並索引。
然後我們將這個文件新增到索引中，如果有多個文件，可以重複上面的操作，建立document並新增。
新增完所有document，我們對索引進行優化，優化主要是將多個segment合併到一個，有利於提高索引速度。
隨後將writer關閉，這點很重要。
對，建立索引就這麼簡單！
當然你可能修改上面的程式碼獲得更具個性化的服務。
5.2 將索引直接寫在記憶體
你需要首先建立一個RAMDirectory，並將其傳給writer，程式碼如下：
Directory dir = new RAMDirectory();
IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(), true);
Document doc = new Document();
doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));
doc.add(new Field("content", "lucene works well", Field.Store.YES, Field.Index.TOKENIZED));
writer.addDocument(doc);
writer.optimize();
writer.close();
5.3 索引文字檔案
如果你想把純文字檔案索引起來，而不想自己將它們讀入字串建立field，你可以用下面的程式碼建立field：
Field field = new Field("content", new FileReader(file));
這裡的file就是該文字檔案。該建構函式實際上是讀去檔案內容，並對其進行索引，但不儲存。
6 如何維護索引
索引的維護操作都是由IndexReader類提供。
6.1 如何刪除索引
lucene提供了兩種從索引中刪除document的方法，一種是
void deleteDocument(int docNum)
這種方法是根據document在索引中的編號來刪除，每個document加進索引後都會有個唯一編號，所以根據編號刪除是一種精確刪除，但是這個編號是索引的內部結構，一般我們不會知道某個檔案的編號到底是幾，所以用處不大。另一種是
void deleteDocuments(Term term)
這種方法實際上是首先根據引數term執行一個搜尋操作，然後把搜尋到的結果批量刪除了。我們可以通過這個方法提供一個嚴格的查詢條件，達到刪除指定document的目的。
下面給出一個例子：
Directory dir = FSDirectory.getDirectory(PATH, false);
IndexReader reader = IndexReader.open(dir);
Term term = new Term(field, key);
reader.deleteDocuments(term);
reader.close();
6.2 如何更新索引
lucene並沒有提供專門的索引更新方法，我們需要先將相應的document刪除，然後再將新的document加入索引。例如：
Directory dir = FSDirectory.getDirectory(PATH, false);
IndexReader reader = IndexReader.open(dir);
Term term = new Term(“title”, “lucene introduction”);
reader.deleteDocuments(term);
reader.close();
IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(), true);
Document doc = new Document();
doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));
doc.add(new Field("content", "lucene is funny", Field.Store.YES, Field.Index.TOKENIZED));
writer.addDocument(doc);
writer.optimize();
writer.close();
7 如何搜尋
lucene 的搜尋相當強大，它提供了很多輔助查詢類，每個類都繼承自Query類，各自完成一種特殊的查詢，你可以像搭積木一樣將它們任意組合使用，完成一些複雜操 作；另外lucene還提供了Sort類對結果進行排序，提供了Filter類對查詢條件進行限制。你或許會不自覺地拿它跟SQL語句進行比 較：“lucene能執行and、or、order by、where、like ‘%xx%’操作嗎？”回答是：“當然沒問題！”
7.1 各種各樣的Query
下面我們看看lucene到底允許我們進行哪些查詢操作：
7.1.1 TermQuery
首先介紹最基本的查詢，如果你想執行一個這樣的查詢：“在content域中包含‘lucene’的document”，那麼你可以用TermQuery：
Term t = new Term("content", " lucene";
Query query = new TermQuery(t);
7.1.2 BooleanQuery
如果你想這麼查詢：“在content域中包含java或perl的document”，那麼你可以建立兩個TermQuery並把它們用BooleanQuery連線起來：
TermQuery termQuery1 = new TermQuery(new Term("content", "java");
TermQuery termQuery 2 = new TermQuery(new Term("content", "perl");
BooleanQuery booleanQuery = new BooleanQuery();
booleanQuery.add(termQuery 1, BooleanClause.Occur.SHOULD);
booleanQuery.add(termQuery 2, BooleanClause.Occur.SHOULD);
7.1.3 WildcardQuery
如果你想對某單詞進行萬用字元查詢，你可以用WildcardQuery，萬用字元包括’?’匹配一個任意字元和’*’匹配零個或多個任意字元，例如你搜尋’use*’，你可能找到’useful’或者’useless’：
Query query = new WildcardQuery(new Term("content", "use*");
7.1.4 PhraseQuery
你可能對中日關係比較感興趣，想查詢‘中’和‘日’捱得比較近（5個字的距離內）的文章，超過這個距離的不予考慮，你可以：
PhraseQuery query = new PhraseQuery();
query.setSlop(5);
query.add(new Term("content ", “中”));
query.add(new Term(“content”, “日”));
那麼它可能搜到“中日合作……”、“中方和日方……”，但是搜不到“中國某高層領導說日本欠扁”。
7.1.5 PrefixQuery
如果你想搜以‘中’開頭的詞語，你可以用PrefixQuery：
PrefixQuery query = new PrefixQuery(new Term("content ", "中");
7.1.6 FuzzyQuery
FuzzyQuery用來搜尋相似的term，使用Levenshtein演算法。假設你想搜尋跟‘wuzza’相似的詞語，你可以：
Query query = new FuzzyQuery(new Term("content", "wuzza");
你可能得到‘fuzzy’和‘wuzzy’。
7.1.7 RangeQuery
另一個常用的Query是RangeQuery，你也許想搜尋時間域從20060101到20060130之間的document，你可以用RangeQuery：
RangeQuery query = new RangeQuery(new Term(“time”, “20060101”), new Term(“time”, “20060130”), true);
最後的true表示用閉合區間。
7.2 QueryParser
看 了這麼多Query，你可能會問：“不會讓我自己組合各種Query吧，太麻煩了！”當然不會，lucene提供了一種類似於SQL語句的查詢語句，我們 姑且叫它lucene語句，通過它，你可以把各種查詢一句話搞定，lucene會自動把它們查分成小塊交給相應Query執行。下面我們對應每種 Query演示一下：
TermQuery可以用“field:key”方式，例如“content:lucene”。
BooleanQuery中‘與’用‘+’，‘或’用‘ ’，例如“content:java contenterl”。
WildcardQuery仍然用‘?’和‘*’，例如“content:use*”。
PhraseQuery用‘~’，例如“content:"中日"~5”。
PrefixQuery用‘*’，例如“中*”。
FuzzyQuery用‘~’，例如“content: wuzza ~”。
RangeQuery用‘[]’或‘{}’，前者表示閉區間，後者表示開區間，例如“time:[20060101 TO 20060130]”，注意TO區分大小寫。
你 可以任意組合query string，完成複雜操作，例如“標題或正文包括lucene，並且時間在20060101到20060130之間的文章” 可以表示為：“+ (title:lucene content:lucene) +time:[20060101 TO 20060130]”。程式碼如下：
Directory dir = FSDirectory.getDirectory(PATH, false);
IndexSearcher is = new IndexSearcher(dir);
QueryParser parser = new QueryParser("content", new StandardAnalyzer());
Query query = parser.parse("+(title:lucene content:lucene) +time:[20060101 TO 20060130]";
Hits hits = is.search(query);
for (int i = 0; i < hits.length(); i++)
{
Document doc = hits.doc(i);
System.out.println(doc.get("title");
}
is.close();
首先我們建立一個在指定檔案目錄上的IndexSearcher。
然後建立一個使用StandardAnalyzer作為分析器的QueryParser，它預設搜尋的域是content。
接著我們用QueryParser來parse查詢字串，生成一個Query。
然後利用這個Query去查詢結果，結果以Hits的形式返回。
這個Hits物件包含一個列表，我們挨個把它的內容顯示出來。
7.3 Filter
filter 的作用就是限制只查詢索引的某個子集，它的作用有點像SQL語句裡的 where，但又有區別，它不是正規查詢的一部分，只是對資料來源進行預處理，然後交給查詢語句。注意它執行的是預處理，而不是對查詢結果進行過濾，所以使 用filter的代價是很大的，它可能會使一次查詢耗時提高一百倍。
最常用的filter是RangeFilter和QueryFilter。RangeFilter是設定只搜尋指定範圍內的索引；QueryFilter是在上次查詢的結果中搜尋。
Filter的使用非常簡單，你只需建立一個filter例項，然後把它傳給searcher。繼續上面的例子，查詢“時間在20060101到20060130之間的文章”除了將限制寫在query string中，你還可以寫在RangeFilter中：
Directory dir = FSDirectory.getDirectory(PATH, false);
IndexSearcher is = new IndexSearcher(dir);
QueryParser parser = new QueryParser("content", new StandardAnalyzer());
Query query = parser.parse("title:lucene content:lucene";
RangeFilter filter = new RangeFilter("time", "20060101", "20060230", true, true);
Hits hits = is.search(query, filter);
for (int i i < hits.length(); i++)
{
Document doc = hits.doc(i);
System.out.println(doc.get("title");
}
is.close();
7.4 Sort
有時你想要一個排好序的結果集，就像SQL語句的“order by”，lucene能做到：通過Sort。
Sort sort Sort(“time”); //相當於SQL的“order by time”
Sort sort = new Sort(“time”, true); // 相當於SQL的“order by time desc”
下面是一個完整的例子：
Directory dir = FSDirectory.getDirectory(PATH, false);
IndexSearcher is = new IndexSearcher(dir);
QueryParser parser = new QueryParser("content", new StandardAnalyzer());
Query query = parser.parse("title:lucene content:lucene";
RangeFilter filter = new RangeFilter("time", "20060101", "20060230", true, true);
Sort sort = new Sort(“time”);
Hits hits = is.search(query, filter, sort);
for (int i = 0; i < hits.length(); i++)
{
Document doc = hits.doc(i);
System.out.println(doc.get("title");
}
is.close();
8 分析器
在 前面的概念介紹中我們已經知道了分析器的作用，就是把句子按照語義切分成一個個詞語。英文切分已經有了很成熟的分析器： StandardAnalyzer，很多情況下StandardAnalyzer是個不錯的選擇。甚至你會發現StandardAnalyzer也能對中 文進行分詞。
但是我們的焦點是中文分詞，StandardAnalyzer能支援中文分詞嗎？實踐證明是可以的，但是效果並不好，搜尋“如果”會 把“牛奶不如果汁好喝 ”也搜尋出來，而且索引檔案很大。那麼我們手頭上還有什麼分析器可以使用呢？core裡面沒有，我們可以在sandbox裡面找到兩個： ChineseAnalyzer和CJKAnalyzer。但是它們同樣都有分詞不準的問題。相比之下用StandardAnalyzer 和 ChineseAnalyzer建立索引時間差不多，索引檔案大小也差不多，CJKAnalyzer表現會差些，索引檔案大且耗時比較長。
要解決 問題，首先分析一下這三個分析器的分詞方式。StandardAnalyzer和ChineseAnalyzer都是把句子按單個字切分，也就是說 “牛奶不如果汁好喝”會被它們切分成“牛 奶 不 如 果 汁 好 喝”；而CJKAnalyzer則會切分成“牛奶 奶不 不如 如果 果汁 汁好好喝”。這也就解釋了為什麼搜尋“果汁”都能匹配這個句子。
以上分詞的缺點至少有兩個：匹配不準確和索引檔案大。我們的目標是將上面的句子分 解成“牛奶 不如 果汁好喝”。這裡的關鍵就是語義識別，我們如何識別“ 牛奶”是一個詞而“奶不”不是詞語？我們很自然會想到基於詞庫的分詞法，也就是我們先得到一個詞庫，裡面列舉了大部分詞語，我們把句子按某種方式切分，當 得到的詞語與詞庫中的項匹配時，我們就認為這種切分是正確的。這樣切詞的過程就轉變成匹配的過程，而匹配的方式最簡單的有正向最大匹配和逆向最大匹配兩種，說白了就是一個從句子開頭向後進行匹配，一個從句子末尾向前進行匹配。基於詞庫的分詞詞庫非常重要，詞庫的容量直接影響搜尋結果，在相同詞庫的前提下，據說逆向最大匹配優於正向最大匹配。
當 然還有別的分詞方法，這本身就是一個學科，我這裡也沒有深入研究。回到具體應用，我們的目標是能找到成熟的、現成的分詞工具，避免重新發明車輪。經過網上 搜尋，用的比較多的是中科院的ICTCLAS和一個不開放原始碼但是免費的JE-Analysis。ICTCLAS有個問題是它是一個動態連結庫， java呼叫需要本地方法呼叫，不方便也有安全隱患，而且口碑也確實不大好。JE-Analysis效果還不錯，當然也會有分詞不準的地方，相比比較方便 放心。= new = 0;
lucene包括core和sandbox兩部分，其中core是lucene穩定的核心部分，sandbox包含了一些附加功能，例如highlighter、各種分析器。
Lucene core有七個包：analysis，document，index，queryParser，search，store，util。
4.1 analysis
Analysis包含一些內建的分析器，例如按空白字元分詞的WhitespaceAnalyzer，新增了stopwrod過濾的StopAnalyzer，最常用的StandardAnalyzer。
4.2 document
Document包含文件的資料結構，例如Document類定義了儲存文件的資料結構，Field類定義了Document的一個域。
4.3 index
Index 包含了索引的讀寫類，例如對索引檔案的segment進行寫、合併、優化的IndexWriter類和對索引進行讀取和刪除操作的 IndexReader類，這裡要注意的是不要被IndexReader這個名字誤導，以為它是索引檔案的讀取類，實際上刪除索引也是由它完成， IndexWriter只關心如何將索引寫入一個個segment，並將它們合併優化；IndexReader則關注索引檔案中各個文件的組織形式。
4.4 queryParser
QueryParser 包含了解析查詢語句的類，lucene的查詢語句和sql語句有點類似，有各種保留字，按照一定的語法可以組成各種查詢。 Lucene有很多種Query類，它們都繼承自Query，執行各種特殊的查詢，QueryParser的作用就是解析查詢語句，按順序呼叫各種 Query類查詢出結果。
4.5 search
Search包含了從索引中搜尋結果的各種類，例如剛才說的各種Query類，包括TermQuery、BooleanQuery等就在這個包裡。
4.6 store
Store包含了索引的儲存類，例如Directory定義了索引檔案的儲存結構，FSDirectory為儲存在檔案中的索引，RAMDirectory為儲存在記憶體中的索引，MmapDirectory為使用記憶體對映的索引。
4.7 util
Util包含一些公共工具類，例如時間和字串之間的轉換工具。
5 如何建索引
5.1 最簡單的能完成索引的程式碼片斷
IndexWriter writer = new IndexWriter(“/data/index/”, new StandardAnalyzer(), true);
Document doc = new Document();
doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));
doc.add(new Field("content", "lucene works well", Field.Store.YES, Field.Index.TOKENIZED));
writer.addDocument(doc);
writer.optimize();
writer.close();
下面我們分析一下這段程式碼。
首先我們建立了一個writer，並指定存放索引的目錄為“/data/index”，使用的分析器為StandardAnalyzer，第三個引數說明如果已經有索引檔案在索引目錄下，我們將覆蓋它們。
然後我們新建一個document。
我們向document新增一個field，名字是“title”，內容是“lucene introduction”，對它進行儲存並索引。
再新增一個名字是“content”的field，內容是“lucene works well”，也是儲存並索引。
然後我們將這個文件新增到索引中，如果有多個文件，可以重複上面的操作，建立document並新增。
新增完所有document，我們對索引進行優化，優化主要是將多個segment合併到一個，有利於提高索引速度。
隨後將writer關閉，這點很重要。
對，建立索引就這麼簡單！
當然你可能修改上面的程式碼獲得更具個性化的服務。
5.2 將索引直接寫在記憶體
你需要首先建立一個RAMDirectory，並將其傳給writer，程式碼如下：
Directory dir = new RAMDirectory();
IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(), true);
Document doc = new Document();
doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));
doc.add(new Field("content", "lucene works well", Field.Store.YES, Field.Index.TOKENIZED));
writer.addDocument(doc);
writer.optimize();
writer.close();
5.3 索引文字檔案
如果你想把純文字檔案索引起來，而不想自己將它們讀入字串建立field，你可以用下面的程式碼建立field：
Field field = new Field("content", new FileReader(file));
這裡的file就是該文字檔案。該建構函式實際上是讀去檔案內容，並對其進行索引，但不儲存。
6 如何維護索引
索引的維護操作都是由IndexReader類提供。
6.1 如何刪除索引
lucene提供了兩種從索引中刪除document的方法，一種是
void deleteDocument(int docNum)
這種方法是根據document在索引中的編號來刪除，每個document加進索引後都會有個唯一編號，所以根據編號刪除是一種精確刪除，但是這個編號是索引的內部結構，一般我們不會知道某個檔案的編號到底是幾，所以用處不大。另一種是
void deleteDocuments(Term term)
這種方法實際上是首先根據引數term執行一個搜尋操作，然後把搜尋到的結果批量刪除了。我們可以通過這個方法提供一個嚴格的查詢條件，達到刪除指定document的目的。
下面給出一個例子：
Directory dir = FSDirectory.getDirectory(PATH, false);
IndexReader reader = IndexReader.open(dir);
Term term = new Term(field, key);
reader.deleteDocuments(term);
reader.close();
6.2 如何更新索引
lucene並沒有提供專門的索引更新方法，我們需要先將相應的document刪除，然後再將新的document加入索引。例如：
Directory dir = FSDirectory.getDirectory(PATH, false);
IndexReader reader = IndexReader.open(dir);
Term term = new Term(“title”, “lucene introduction”);
reader.deleteDocuments(term);
reader.close();
IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(), true);
Document doc = new Document();
doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED));
doc.add(new Field("content", "lucene is funny", Field.Store.YES, Field.Index.TOKENIZED));
writer.addDocument(doc);
writer.optimize();
writer.close();
7 如何搜尋
lucene 的搜尋相當強大，它提供了很多輔助查詢類，每個類都繼承自Query類，各自完成一種特殊的查詢，你可以像搭積木一樣將它們任意組合使用，完成一些複雜操 作；另外lucene還提供了Sort類對結果進行排序，提供了Filter類對查詢條件進行限制。你或許會不自覺地拿它跟SQL語句進行比 較：“lucene能執行and、or、order by、where、like ‘%xx%’操作嗎？”回答是：“當然沒問題！”
7.1 各種各樣的Query
下面我們看看lucene到底允許我們進行哪些查詢操作：
7.1.1 TermQuery
首先介紹最基本的查詢，如果你想執行一個這樣的查詢：“在content域中包含‘lucene’的document”，那麼你可以用TermQuery：
Term t = new Term("content", " lucene";
Query query = new TermQuery(t);
7.1.2 BooleanQuery
如果你想這麼查詢：“在content域中包含java或perl的document”，那麼你可以建立兩個TermQuery並把它們用BooleanQuery連線起來：
TermQuery termQuery1 = new TermQuery(new Term("content", "java");
TermQuery termQuery 2 = new TermQuery(new Term("content", "perl");
BooleanQuery booleanQuery = new BooleanQuery();
booleanQuery.add(termQuery 1, BooleanClause.Occur.SHOULD);
booleanQuery.add(termQuery 2, BooleanClause.Occur.SHOULD);
7.1.3 WildcardQuery
如果你想對某單詞進行萬用字元查詢，你可以用WildcardQuery，萬用字元包括’?’匹配一個任意字元和’*’匹配零個或多個任意字元，例如你搜尋’use*’，你可能找到’useful’或者’useless’：
Query query = new WildcardQuery(new Term("content", "use*");
7.1.4 PhraseQuery
你可能對中日關係比較感興趣，想查詢‘中’和‘日’捱得比較近（5個字的距離內）的文章，超過這個距離的不予考慮，你可以：
PhraseQuery query = new PhraseQuery();
query.setSlop(5);
query.add(new Term("content ", “中”));
query.add(new Term(“content”, “日”));
那麼它可能搜到“中日合作……”、“中方和日方……”，但是搜不到“中國某高層領導說日本欠扁”。
7.1.5 PrefixQuery
如果你想搜以‘中’開頭的詞語，你可以用PrefixQuery：
PrefixQuery query = new PrefixQuery(new Term("content ", "中");
7.1.6 FuzzyQuery
FuzzyQuery用來搜尋相似的term，使用Levenshtein演算法。假設你想搜尋跟‘wuzza’相似的詞語，你可以：
Query query = new FuzzyQuery(new Term("content", "wuzza");
你可能得到‘fuzzy’和‘wuzzy’。
7.1.7 RangeQuery
另一個常用的Query是RangeQuery，你也許想搜尋時間域從20060101到20060130之間的document，你可以用RangeQuery：
RangeQuery query = new RangeQuery(new Term(“time”, “20060101”), new Term(“time”, “20060130”), true);
最後的true表示用閉合區間。
7.2 QueryParser
看 了這麼多Query，你可能會問：“不會讓我自己組合各種Query吧，太麻煩了！”當然不會，lucene提供了一種類似於SQL語句的查詢語句，我們 姑且叫它lucene語句，通過它，你可以把各種查詢一句話搞定，lucene會自動把它們查分成小塊交給相應Query執行。下面我們對應每種 Query演示一下：
TermQuery可以用“field:key”方式，例如“content:lucene”。
BooleanQuery中‘與’用‘+’，‘或’用‘ ’，例如“content:java contenterl”。
WildcardQuery仍然用‘?’和‘*’，例如“content:use*”。
PhraseQuery用‘~’，例如“content:"中日"~5”。
PrefixQuery用‘*’，例如“中*”。
FuzzyQuery用‘~’，例如“content: wuzza ~”。
RangeQuery用‘[]’或‘{}’，前者表示閉區間，後者表示開區間，例如“time:[20060101 TO 20060130]”，注意TO區分大小寫。
你 可以任意組合query string，完成複雜操作，例如“標題或正文包括lucene，並且時間在20060101到20060130之間的文章” 可以表示為：“+ (title:lucene content:lucene) +time:[20060101 TO 20060130]”。程式碼如下：
Directory dir = FSDirectory.getDirectory(PATH, false);
IndexSearcher is = new IndexSearcher(dir);
QueryParser parser = new QueryParser("content", new StandardAnalyzer());
Query query = parser.parse("+(title:lucene content:lucene) +time:[20060101 TO 20060130]";
Hits hits = is.search(query);
for (int i = 0; i < hits.length(); i++)
{
Document doc = hits.doc(i);
System.out.println(doc.get("title");
}
is.close();
首先我們建立一個在指定檔案目錄上的IndexSearcher。
然後建立一個使用StandardAnalyzer作為分析器的QueryParser，它預設搜尋的域是content。
接著我們用QueryParser來parse查詢字串，生成一個Query。
然後利用這個Query去查詢結果，結果以Hits的形式返回。
這個Hits物件包含一個列表，我們挨個把它的內容顯示出來。
7.3 Filter
filter 的作用就是限制只查詢索引的某個子集，它的作用有點像SQL語句裡的 where，但又有區別，它不是正規查詢的一部分，只是對資料來源進行預處理，然後交給查詢語句。注意它執行的是預處理，而不是對查詢結果進行過濾，所以使 用filter的代價是很大的，它可能會使一次查詢耗時提高一百倍。
最常用的filter是RangeFilter和QueryFilter。RangeFilter是設定只搜尋指定範圍內的索引；QueryFilter是在上次查詢的結果中搜尋。
Filter的使用非常簡單，你只需建立一個filter例項，然後把它傳給searcher。繼續上面的例子，查詢“時間在20060101到20060130之間的文章”除了將限制寫在query string中，你還可以寫在RangeFilter中：
Directory dir = FSDirectory.getDirectory(PATH, false);
IndexSearcher is = new IndexSearcher(dir);
QueryParser parser = new QueryParser("content", new StandardAnalyzer());
Query query = parser.parse("title:lucene content:lucene";
RangeFilter filter = new RangeFilter("time", "20060101", "20060230", true, true);
Hits hits = is.search(query, filter);
for (int i i < hits.length(); i++)
{
Document doc = hits.doc(i);
System.out.println(doc.get("title");
}
is.close();
7.4 Sort
有時你想要一個排好序的結果集，就像SQL語句的“order by”，lucene能做到：通過Sort。
Sort sort Sort(“time”); //相當於SQL的“order by time”
Sort sort = new Sort(“time”, true); // 相當於SQL的“order by time desc”
下面是一個完整的例子：
Directory dir = FSDirectory.getDirectory(PATH, false);
IndexSearcher is = new IndexSearcher(dir);
QueryParser parser = new QueryParser("content", new StandardAnalyzer());
Query query = parser.parse("title:lucene content:lucene";
RangeFilter filter = new RangeFilter("time", "20060101", "20060230", true, true);
Sort sort = new Sort(“time”);
Hits hits = is.search(query, filter, sort);
for (int i = 0; i < hits.length(); i++)
{
Document doc = hits.doc(i);
System.out.println(doc.get("title");
}
is.close();
8 分析器
在 前面的概念介紹中我們已經知道了分析器的作用，就是把句子按照語義切分成一個個詞語。英文切分已經有了很成熟的分析器： StandardAnalyzer，很多情況下StandardAnalyzer是個不錯的選擇。甚至你會發現StandardAnalyzer也能對中 文進行分詞。
但是我們的焦點是中文分詞，StandardAnalyzer能支援中文分詞嗎？實踐證明是可以的，但是效果並不好，搜尋“如果”會 把“牛奶不如果汁好喝 ”也搜尋出來，而且索引檔案很大。那麼我們手頭上還有什麼分析器可以使用呢？core裡面沒有，我們可以在sandbox裡面找到兩個： ChineseAnalyzer和CJKAnalyzer。但是它們同樣都有分詞不準的問題。相比之下用StandardAnalyzer 和 ChineseAnalyzer建立索引時間差不多，索引檔案大小也差不多，CJKAnalyzer表現會差些，索引檔案大且耗時比較長。
要解決 問題，首先分析一下這三個分析器的分詞方式。StandardAnalyzer和ChineseAnalyzer都是把句子按單個字切分，也就是說 “牛奶不如果汁好喝”會被它們切分成“牛 奶 不 如 果 汁 好 喝”；而CJKAnalyzer則會切分成“牛奶 奶不 不如 如果 果汁 汁好好喝”。這也就解釋了為什麼搜尋“果汁”都能匹配這個句子。
以上分詞的缺點至少有兩個：匹配不準確和索引檔案大。我們的目標是將上面的句子分 解成“牛奶 不如 果汁好喝”。這裡的關鍵就是語義識別，我們如何識別“ 牛奶”是一個詞而“奶不”不是詞語？我們很自然會想到基於詞庫的分詞法，也就是我們先得到一個詞庫，裡面列舉了大部分詞語，我們把句子按某種方式切分，當 得到的詞語與詞庫中的項匹配時，我們就認為這種切分是正確的。這樣切詞的過程就轉變成匹配的過程，而匹配的方式最簡單的有正向最大匹配和逆向最大匹配兩種，說白了就是一個從句子開頭向後進行匹配，一個從句子末尾向前進行匹配。基於詞庫的分詞詞庫非常重要，詞庫的容量直接影響搜尋結果，在相同詞庫的前提下，據說逆向最大匹配優於正向最大匹配。
當 然還有別的分詞方法，這本身就是一個學科，我這裡也沒有深入研究。回到具體應用，我們的目標是能找到成熟的、現成的分詞工具，避免重新發明車輪。經過網上 搜尋，用的比較多的是中科院的ICTCLAS和一個不開放原始碼但是免費的JE-Analysis。ICTCLAS有個問題是它是一個動態連結庫， java呼叫需要本地方法呼叫，不方便也有安全隱患，而且口碑也確實不大好。JE-Analysis效果還不錯，當然也會有分詞不準的地方，相比比較方便 放心。= new = 0;
9 效能優化
一 直到這裡，我們還是在討論怎麼樣使lucene跑起來，完成指定任務。利用前面說的也確實能完成大部分功能。但是測試表明lucene的效能並不是很好， 在大資料量大併發的條件下甚至會有半分鐘返回的情況。另外大資料量的資料初始化建立索引也是一個十分耗時的過程。那麼如何提高lucene的效能呢？下面 從優化建立索引效能和優化搜尋效能兩方面介紹。
9.1 優化建立索引效能
這方面的優化途徑比較有限，IndexWriter提供 了一些介面可以控制建立索引的操作，另外我們可以先將索引寫入RAMDirectory，再批量寫入FSDirectory，不管怎樣，目的都是儘量少的 檔案IO，因為建立索引的最大瓶頸在於磁碟IO。另外選擇一個較好的分析器也能提高一些效能。
9.1.1 通過設定IndexWriter的引數優化索引建立
setMaxBufferedDocs(int maxBufferedDocs)
控制寫入一個新的segment前記憶體中儲存的document的數目，設定較大的數目可以加快建索引速度，預設為10。
setMaxMergeDocs(int maxMergeDocs)
控制一個segment中可以儲存的最大document數目，值較小有利於追加索引的速度，預設Integer.MAX_VALUE，無需修改。
setMergeFactor(int mergeFactor)
控制多個segment合併的頻率，值較大時建立索引速度較快，預設是10，可以在建立索引時設定為100。
9.1.2 通過RAMDirectory緩寫提高效能
我們可以先把索引寫入RAMDirectory，達到一定數量時再批量寫進FSDirectory，減少磁碟IO次數。
FSDirectory fsDir = FSDirectory.getDirectory("/data/index", true);
RAMDirectory ramDir = new RAMDirectory();
IndexWriter fsWriter = new IndexWriter(fsDir, new StandardAnalyzer(), true);
IndexWriter ramWriter = new IndexWriter(ramDir, new StandardAnalyzer(), true);
while (there are documents to index)
{
... create Document ...
ramWriter.addDocument(doc);
if (condition for flushing memory to disk has been met)
{
fsWriter.addIndexes(new Directory[] { ramDir });
ramWriter.close();
ramWriter = new IndexWriter(ramDir, new StandardAnalyzer(), true);
}
}
9.1.3 選擇較好的分析器
這 個優化主要是對磁碟空間的優化，可以將索引檔案減小將近一半，相同測試資料下由600M減少到380M。但是對時間並沒有什麼幫助，甚至會需要更長時間， 因為較好的分析器需要匹配詞庫，會消耗更多cpu，測試資料用StandardAnalyzer耗時133分鐘；用MMAnalyzer耗時150分鐘。
9.2 優化搜尋效能
雖然建立索引的操作非常耗時，但是那畢竟只在最初建立時才需要，平時只是少量的維護操作，更何況這些可以放到一個後臺程式處理，並不影響使用者搜尋。我們建立索引的目的就是給使用者搜尋，所以搜尋的效能才是我們最關心的。下面就來探討一下如何提高搜尋效能。
9.2.1 將索引放入記憶體
這是一個最直觀的想法，因為記憶體比磁碟快很多。Lucene提供了RAMDirectory可以在記憶體中容納索引：
Directory fsDir = FSDirectory.getDirectory(“/data/index/”, false);
Directory ramDir = new RAMDirectory(fsDir);
Searcher searcher = new IndexSearcher(ramDir);
但是實踐證明RAMDirectory和FSDirectory速度差不多，當資料量很小時兩者都非常快，當資料量較大時（索引檔案400M）RAMDirectory甚至比FSDirectory還要慢一點，這確實讓人出乎意料。
而且lucene的搜尋非常耗記憶體，即使將400M的索引檔案載入記憶體，在執行一段時間後都會out of memory，所以個人認為載入記憶體的作用並不大。
9.2.2 優化時間範圍限制
既然載入記憶體並不能提高效率，一定有其它瓶頸，經過測試發現最大的瓶頸居然是時間範圍限制，那麼我們可以怎樣使時間範圍限制的代價最小呢？
當需要搜尋指定時間範圍內的結果時，可以：
1、 用RangeQuery，設定範圍，但是RangeQuery的實現實際上是將時間範圍內的時間點展開，組成一個個BooleanClause加入到 BooleanQuery中查詢，因此時間範圍不可能設定太大，經測試，範圍超過一個月就會拋 BooleanQuery.TooManyClauses，可以通過設定 BooleanQuery.setMaxClauseCount(int maxClauseCount)擴大，但是擴大也是有限的，並且隨著 maxClauseCount擴大，佔用記憶體也擴大
2、用 RangeFilter代替RangeQuery，經測試速度不會比RangeQuery慢，但是仍然有效能瓶頸，查詢的90%以上時間耗費在 RangeFilter，研究其原始碼發現RangeFilter實際上是首先遍歷所有索引，生成一個BitSet，標記每個document，在時間範圍 內的標記為true，不在的標記為false，然後將結果傳遞給Searcher查詢，這是十分耗時的。
3、進一步提高效能，這個又有兩個思路：
a、 快取Filter結果。既然RangeFilter的執行是在搜尋之前，那麼它的輸入都是一定的，就是IndexReader，而 IndexReader是由Directory決定的，所以可以認為RangeFilter的結果是由範圍的上下限決定的，也就是由具體的 RangeFilter物件決定，所以我們只要以RangeFilter物件為鍵，將filter結果BitSet快取起來即可。 lucene API已經提供了一個CachingWrapperFilter類封裝了Filter及其結果，所以具體實施起來我們可以 cache CachingWrapperFilter物件，需要注意的是，不要被CachingWrapperFilter的名字及其說明誤導， CachingWrapperFilter看起來是有快取功能，但的快取是針對同一個filter的，也就是在你用同一個filter過濾不同 IndexReader時，它可以幫你快取不同IndexReader的結果，而我們的需求恰恰相反，我們是用不同filter過濾同一個 IndexReader，所以只能把它作為一個封裝類。
b、降低時間精度。研究Filter的工作原理可以看出，它每次工作都是遍歷整個索引的，所以時間粒度越大，對比越快，搜尋時間越短，在不影響功能的情況下，時間精度越低越好，有時甚至犧牲一點精度也值得，當然最好的情況是根本不作時間限制。
下面針對上面的兩個思路演示一下優化結果（都採用800執行緒隨機關鍵詞隨即時間範圍）：
第一組，時間精度為秒：
方式 直接用RangeFilter 使用cache 不用filter
平均每個執行緒耗時 10s 1s 300ms
第二組，時間精度為天
方式 直接用RangeFilter 使用cache 不用filter
平均每個執行緒耗時 900ms 360ms 300ms
由以上資料可以得出結論：
1、 儘量降低時間精度，將精度由秒換成天帶來的效能提高甚至比使用cache還好，最好不使用filter。
2、 在不能降低時間精度的情況下，使用cache能帶了10倍左右的效能提高。
9.2.3 使用更好的分析器
這個跟建立索引優化道理差不多，索引檔案小了搜尋自然會加快。當然這個提高也是有限的。較好的分析器相對於最差的分析器對效能的提升在20%以下。
10 一些經驗
10.1關鍵詞區分大小寫
or AND TO等關鍵詞是區分大小寫的，lucene只認大寫的，小寫的當做普通單詞。
10.2 讀寫互斥性
同一時刻只能有一個對索引的寫操作，在寫的同時可以進行搜尋
10.3 檔案鎖
在寫索引的過程中強行退出將在tmp目錄留下一個lock檔案，使以後的寫操作無法進行，可以將其手工刪除
10.4 時間格式
lucene只支援一種時間格式yyMMddHHmmss，所以你傳一個yy-MM-dd HH:mm:ss的時間給lucene它是不會當作時間來處理的
10.5 設定boost
有些時候在搜尋時某個欄位的權重需要大一些，例如你可能認為標題中出現關鍵詞的文章比正文中出現關鍵詞的文章更有價值，你可以把標題的boost設定的更大，那麼搜尋結果會優先顯示標題中出現關鍵詞的文章（沒有使用排序的前題下）。使用方法：
Field. setBoost(float boost);預設值是1.0，也就是說要增加權重的需要設定得比1大。
一 直到這裡，我們還是在討論怎麼樣使lucene跑起來，完成指定任務。利用前面說的也確實能完成大部分功能。但是測試表明lucene的效能並不是很好， 在大資料量大併發的條件下甚至會有半分鐘返回的情況。另外大資料量的資料初始化建立索引也是一個十分耗時的過程。那麼如何提高lucene的效能呢？下面 從優化建立索引效能和優化搜尋效能兩方面介紹。
9.1 優化建立索引效能
這方面的優化途徑比較有限，IndexWriter提供 了一些介面可以控制建立索引的操作，另外我們可以先將索引寫入RAMDirectory，再批量寫入FSDirectory，不管怎樣，目的都是儘量少的 檔案IO，因為建立索引的最大瓶頸在於磁碟IO。另外選擇一個較好的分析器也能提高一些效能。
9.1.1 通過設定IndexWriter的引數優化索引建立
setMaxBufferedDocs(int maxBufferedDocs)
控制寫入一個新的segment前記憶體中儲存的document的數目，設定較大的數目可以加快建索引速度，預設為10。
setMaxMergeDocs(int maxMergeDocs)
控制一個segment中可以儲存的最大document數目，值較小有利於追加索引的速度，預設Integer.MAX_VALUE，無需修改。
setMergeFactor(int mergeFactor)
控制多個segment合併的頻率，值較大時建立索引速度較快，預設是10，可以在建立索引時設定為100。
9.1.2 通過RAMDirectory緩寫提高效能
我們可以先把索引寫入RAMDirectory，達到一定數量時再批量寫進FSDirectory，減少磁碟IO次數。
FSDirectory fsDir = FSDirectory.getDirectory("/data/index", true);
RAMDirectory ramDir = new RAMDirectory();
IndexWriter fsWriter = new IndexWriter(fsDir, new StandardAnalyzer(), true);
IndexWriter ramWriter = new IndexWriter(ramDir, new StandardAnalyzer(), true);
while (there are documents to index)
{
... create Document ...
ramWriter.addDocument(doc);
if (condition for flushing memory to disk has been met)
{
fsWriter.addIndexes(new Directory[] { ramDir });
ramWriter.close();
ramWriter = new IndexWriter(ramDir, new StandardAnalyzer(), true);
}
}
9.1.3 選擇較好的分析器
這 個優化主要是對磁碟空間的優化，可以將索引檔案減小將近一半，相同測試資料下由600M減少到380M。但是對時間並沒有什麼幫助，甚至會需要更長時間， 因為較好的分析器需要匹配詞庫，會消耗更多cpu，測試資料用StandardAnalyzer耗時133分鐘；用MMAnalyzer耗時150分鐘。
9.2 優化搜尋效能
雖然建立索引的操作非常耗時，但是那畢竟只在最初建立時才需要，平時只是少量的維護操作，更何況這些可以放到一個後臺程式處理，並不影響使用者搜尋。我們建立索引的目的就是給使用者搜尋，所以搜尋的效能才是我們最關心的。下面就來探討一下如何提高搜尋效能。
9.2.1 將索引放入記憶體
這是一個最直觀的想法，因為記憶體比磁碟快很多。Lucene提供了RAMDirectory可以在記憶體中容納索引：
Directory fsDir = FSDirectory.getDirectory(“/data/index/”, false);
Directory ramDir = new RAMDirectory(fsDir);
Searcher searcher = new IndexSearcher(ramDir);
但是實踐證明RAMDirectory和FSDirectory速度差不多，當資料量很小時兩者都非常快，當資料量較大時（索引檔案400M）RAMDirectory甚至比FSDirectory還要慢一點，這確實讓人出乎意料。
而且lucene的搜尋非常耗記憶體，即使將400M的索引檔案載入記憶體，在執行一段時間後都會out of memory，所以個人認為載入記憶體的作用並不大。
9.2.2 優化時間範圍限制
既然載入記憶體並不能提高效率，一定有其它瓶頸，經過測試發現最大的瓶頸居然是時間範圍限制，那麼我們可以怎樣使時間範圍限制的代價最小呢？
當需要搜尋指定時間範圍內的結果時，可以：
1、 用RangeQuery，設定範圍，但是RangeQuery的實現實際上是將時間範圍內的時間點展開，組成一個個BooleanClause加入到 BooleanQuery中查詢，因此時間範圍不可能設定太大，經測試，範圍超過一個月就會拋 BooleanQuery.TooManyClauses，可以通過設定 BooleanQuery.setMaxClauseCount(int maxClauseCount)擴大，但是擴大也是有限的，並且隨著 maxClauseCount擴大，佔用記憶體也擴大
2、用 RangeFilter代替RangeQuery，經測試速度不會比RangeQuery慢，但是仍然有效能瓶頸，查詢的90%以上時間耗費在 RangeFilter，研究其原始碼發現RangeFilter實際上是首先遍歷所有索引，生成一個BitSet，標記每個document，在時間範圍 內的標記為true，不在的標記為false，然後將結果傳遞給Searcher查詢，這是十分耗時的。
3、進一步提高效能，這個又有兩個思路：
a、 快取Filter結果。既然RangeFilter的執行是在搜尋之前，那麼它的輸入都是一定的，就是IndexReader，而 IndexReader是由Directory決定的，所以可以認為RangeFilter的結果是由範圍的上下限決定的，也就是由具體的 RangeFilter物件決定，所以我們只要以RangeFilter物件為鍵，將filter結果BitSet快取起來即可。 lucene API已經提供了一個CachingWrapperFilter類封裝了Filter及其結果，所以具體實施起來我們可以 cache CachingWrapperFilter物件，需要注意的是，不要被CachingWrapperFilter的名字及其說明誤導， CachingWrapperFilter看起來是有快取功能，但的快取是針對同一個filter的，也就是在你用同一個filter過濾不同 IndexReader時，它可以幫你快取不同IndexReader的結果，而我們的需求恰恰相反，我們是用不同filter過濾同一個 IndexReader，所以只能把它作為一個封裝類。
b、降低時間精度。研究Filter的工作原理可以看出，它每次工作都是遍歷整個索引的，所以時間粒度越大，對比越快，搜尋時間越短，在不影響功能的情況下，時間精度越低越好，有時甚至犧牲一點精度也值得，當然最好的情況是根本不作時間限制。
下面針對上面的兩個思路演示一下優化結果（都採用800執行緒隨機關鍵詞隨即時間範圍）：
第一組，時間精度為秒：
方式 直接用RangeFilter 使用cache 不用filter
平均每個執行緒耗時 10s 1s 300ms
第二組，時間精度為天
方式 直接用RangeFilter 使用cache 不用filter
平均每個執行緒耗時 900ms 360ms 300ms
由以上資料可以得出結論：
1、 儘量降低時間精度，將精度由秒換成天帶來的效能提高甚至比使用cache還好，最好不使用filter。
2、 在不能降低時間精度的情況下，使用cache能帶了10倍左右的效能提高。
9.2.3 使用更好的分析器
這個跟建立索引優化道理差不多，索引檔案小了搜尋自然會加快。當然這個提高也是有限的。較好的分析器相對於最差的分析器對效能的提升在20%以下。
10 一些經驗
10.1關鍵詞區分大小寫
or AND TO等關鍵詞是區分大小寫的，lucene只認大寫的，小寫的當做普通單詞。
10.2 讀寫互斥性
同一時刻只能有一個對索引的寫操作，在寫的同時可以進行搜尋
10.3 檔案鎖
在寫索引的過程中強行退出將在tmp目錄留下一個lock檔案，使以後的寫操作無法進行，可以將其手工刪除
10.4 時間格式
lucene只支援一種時間格式yyMMddHHmmss，所以你傳一個yy-MM-dd HH:mm:ss的時間給lucene它是不會當作時間來處理的
10.5 設定boost
有些時候在搜尋時某個欄位的權重需要大一些，例如你可能認為標題中出現關鍵詞的文章比正文中出現關鍵詞的文章更有價值，你可以把標題的boost設定的更大，那麼搜尋結果會優先顯示標題中出現關鍵詞的文章（沒有使用排序的前題下）。使用方法：
Field. setBoost(float boost);預設值是1.0，也就是說要增加權重的需要設定得比1大。
來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/12639172/viewspace-626546/，如需轉載，請註明出處，否則將追究法律責任。
相關文章
- MongoDB索引與優化詳解MongoDB索引優化
- 效能優化詳解優化
- Nginx 優化指南 絕對詳細Nginx優化
- MongoDB索引優化詳解MongoDB索引優化
- MSSQL資料批量插入優化詳細SQL優化
- Flink Slot詳解與Job Execution Graph優化優化
- Nginx配置檔案詳解與優化建議Nginx優化
- 基礎排序演算法詳解與優化排序演算法優化
- 帶你詳細解讀十條關於SQL效能優化！SQL優化
- Linux核心優化詳解Linux優化
- SSL/TLS 握手優化詳解TLS優化
- 詳細資訊用於javascript中的承諾使用詳解JavaScript
- Redis實戰-詳細配置-優雅的使用Redis註解/RedisTemplateRedis
- 詳細瞭解SQL Server 2008效能和效能優化SQLServer優化
- Android記憶體優化（六）LeakCanary使用詳解Android記憶體優化
- 效能調優-Mysql索引資料結構詳解與索引優化MySql索引資料結構優化
- [MySQL 優化] Explain 之 type 詳解MySql優化AI
- 氣泡排序及優化詳解排序優化
- MySQL之SQL優化詳解（一）MySql優化
- MySQL之SQL優化詳解（二）MySql優化
- MySQL之SQL優化詳解（三）MySql優化
- Jenkins安裝部署使用圖文詳解（非常詳細）Jenkins
- ansible自動化運維詳細教程及playbook詳解運維
- nginx 詳解 – 詳細配置說明Nginx
- nginx 詳解 - 詳細配置說明Nginx
- Java註解最全詳解(超級詳細)Java
- 最詳細版圖解優先佇列（堆）圖解佇列
- SqlServer效能檢測和優化工具使用詳細SQLServer優化
- 重構之路：webpack打包體積優化（超詳細）Web優化
- 詳細說明搜尋引擎優化的過程優化
- 一個網站完整詳細的SEO優化方案網站優化
- SpringMVC詳解（二）------詳細架構SpringMVC架構
- SourceTree詳細使用教程
- Git使用詳細教程Git
- DE（差分進化）優化演算法MATLAB原始碼詳細中文註解優化演算法Matlab原始碼
- iOS網路層詳解和優化iOS優化
- Android App 優化之 ANR 詳解AndroidAPP優化
- android,記憶體優化詳解Android記憶體優化