python實現查詢糾錯

mug發表於2021-09-11

python實現查詢糾錯

python實現查詢糾錯的方法:

方法一:

1、輸入一個拼寫錯誤的單詞,呼叫 aspell -a 後得到一些候選正確單詞,然後用距離編輯進一步嗮選出更精確的詞。比如執行 aspell -a,輸入 ‘hella’ 後得到如下結果:

hell, Helli, hello, heal, Heall, he’ll, hells, Heller, Ella, Hall, Hill, Hull, hall, heel, hill, hula, hull, Helga, Helsa, Bella, Della, Mella, Sella, fella, Halli, Hally, Hilly, Holli, Holly, hallo, hilly, holly, hullo, Hell’s, hell’s

2、什麼是距離編輯(Edit-Distance,也叫 Levenshtein algorithm)呢?就是說給定一個單詞,透過多次插入、刪除、交換、替換單字元的操作後列舉出所有可能的正確拼寫,比如輸入 ‘hella’,經過多次插入、刪除、交換、替換單字元的操作後變成:

‘helkla’, ‘hjlla’, ‘hylla’, ‘hellma’, ‘khella’, ‘iella’, ‘helhla’, ‘hellag’, ‘hela’, ‘vhella’, ‘hhella’, ‘hell’, ‘heglla’, ‘hvlla’, ‘hellaa’, ‘ghella’, ‘hellar’, ‘heslla’, ‘lhella’, ‘helpa’, ‘hello’, …

3、綜合上面2個集合的結果,並且考慮到一些理論知識可以提高拼寫檢查的準確度,比如一般來說寫錯單詞都是無意的或者誤打,完全錯的單詞可能性很小,而且單詞的第一個字母一般不會拼錯。所以可以在上面集合裡去掉第一個字母不符合的單詞,比如:’Sella’, ‘Mella’, khella’, ‘iella’ 等,這裡 VPSee 不刪除單詞,而把這些單詞從佇列裡取出來放到佇列最後(優先順序降低),所以實在匹配不了以 h 開頭的單詞才去匹配那些以其他字母開頭的單詞。

4、程式中用到了外部工具 aspell,如何在 Python 裡捕捉外部程式的輸入和輸出以便在 Python 程式裡處理這些輸入和輸出呢?Python 2.4 以後引入了 subprocess 模組,可以用 subprocess.Popen 來處理。

實現程式碼:

#!/usr/bin/python
# A simple spell checker
import os, sys, subprocess, signal
alphabet = 'abcdefghijklmnopqrstuvwxyz'
def found(word, args, cwd = None, shell = True):
child = subprocess.Popen(args,
shell = shell,
stdin = subprocess.PIPE,
stdout = subprocess.PIPE,
cwd = cwd,
universal_newlines = True)
child.stdout.readline()
(stdout, stderr) = child.communicate(word)
if ": " in stdout:
# remove nn
stdout = stdout.rstrip("n")
# remove left part until :
left, candidates = stdout.split(": ", 1)
candidates = candidates.split(", ")
# making an error on the first letter of a word is less
# probable, so we remove those candidates and append them
# to the tail of queue, make them less priority
for item in candidates:
if item[0] != word[0]:
candidates.remove(item)
candidates.append(item)
return candidates
else:
return None
# copy from 
def edits1(word):
n = len(word)
return set([word[0:i]+word[i+1:] for i in range(n)] +
[word[0:i]+word[i+1]+word[i]+word[i+2:] for i in range(n-1)] +
[word[0:i]+c+word[i+1:] for i in range(n) for c in alphabet] +
[word[0:i]+c+word[i:] for i in range(n+1) for c in alphabet])
def correct(word):
candidates1 = found(word, 'aspell -a')
if not candidates1:
print "no suggestion"
return
candidates2 = edits1(word)
candidates = [] for word in candidates1:
if word in candidates2:
candidates.append(word)
if not candidates:
print "suggestion: %s" % candidates1[0] else:
print "suggestion: %s" % max(candidates)
def signal_handler(signal, frame):
sys.exit(0)
if __name__ == '__main__':
signal.signal(signal.SIGINT, signal_handler)
while True:
input = raw_input()
correct(input)

方法二:

當然直接在程式裡呼叫相關模組最簡單了,有個叫做 PyEnchant 的庫支援拼寫檢查,安裝 PyEnchant 和 Enchant 後就可以直接在 Python 程式裡 import 了:

>>> import enchant
>>> d = enchant.Dict("en_US")
>>> d.check("Hello")
True
>>> d.check("Helo")
False
>>> d.suggest("Helo")
['He lo', 'He-lo', 'Hello', 'Helot', 'Help', 'Halo', 'Hell', 'Held', 'Helm', 'Hero', "He'll"] 
>>>

更多Python知識請關注欄目。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/506/viewspace-2833943/,如需轉載,請註明出處,否則將追究法律責任。

相關文章