這周在工作中遇到很多需要從一段字元中增刪查改的工作，第一遍用自己寫的指令碼去做，結果是可重用性不高，而且效率也不太好。其中也用到了python中的正規表示式部分re,後來就想能不能將我遇到的這類問題全部用正則去解決，具體就是python的re模組。答案目前還不知道，在還沒遇到更多的問題之前，還是不要輕易下結論。這篇文章就當作一個備忘錄，用來記錄遇到的文字處理問題，其解決的辦法，重點是正規表示式能做到的，因為它總比我們自己寫的快嘛。
這篇文章分為幾個部分：
1，遇到的文字處理的問題
2，正則能夠解決的和不能解決的
3，正則的基本知識
4，python中re正則模組的學習
5，結合一些例項，用正則完整分析一個問題
6，有哪些不用正則也可以很好解決的
7，回顧和思考
8，資源
其中第1,2,5,6,7可能要不斷更新的。
1，遇到的文字處理的問題
1.1 將一個字串中的所有中文標點符號替換為英文的。
1.2 將字串中某些詞替換為另外一個詞
1.3 刪除字串中的某些詞
2，正則能夠解決的和不能解決的
3，正則的基本知識
[注]這部分引用了
正規表示式 – 語法
正規表示式30分鐘入門教程
3.1 正則是什麼
正規表示式(regular expression)描述了一種字串匹配的模式，可以用來檢查一個串是否含有某種子串、將匹配的子串做替換或者從某個串中取出符合某個條件的子串等。
3.2 一個簡單的例子
從一段英語文字中找到單詞hi,咋一看很簡單，如果是在python中你可能只需要用str.find('hi')就可以找到它的第一個位置了，但除非你的句子中沒有hight,shift…
包含hi的詞，除非你不把Hi、HI也當成hi,除非…
使用正規表示式只要用bhib就可以表達這個意思。首先，正規表示式會自動幫我們忽略大小寫，然後，b是正規表示式規定的一個特殊程式碼，代表著單詞的開頭或結尾，也就是單詞的分界處，代表著hi這個詞前後都被空格、逗號等等分割。
也就是說當我們要處理一段文字得到我們想要的東西的時候，要求太多，我們以為理所當然的事情計算機不會，我們需要用一套機制告訴它我們認為理所應當的規則，這就是正規表示式，它高度抽象、非常不好寫。所以我們需要一個工具下載Regex Tester幫助我們，大概是這樣的：
3.3 怎樣寫正規表示式
正規表示式是由普通字元（例如字元 a 到 z）以及特殊字元（稱為”元字元”）組成的文字模式。
正常的英語都是以a-z 26個字母組成的，而正則語句是由普通字元和元字元組成的，其中：
普通字元：所有大寫和小寫字母、所有數字、所有標點符號和一些其他符號。
元字元：按功能分類，它包括 非列印字元、特殊字元、限定符、定位符、
- 非列印字元
| 字元 | 描述 |
| cx | 匹配由x指明的控制字元。例如， cM 匹配一個 Control-M 或回車符。x 的值必須為 A-Z 或 a-z 之一。否則，將 c 視為一個原義的 ‘c’ 字元。 |
| f | 匹配一個換頁符。等價於 x0c 和 cL。 |
| n | 匹配一個換行符。等價於 x0a 和 cJ。 |
| r | 匹配一個回車符。等價於 x0d 和 cM。 |
| s | 匹配任何空白字元，包括空格、製表符、換頁符等等。等價於 [ fnrtv]。 |
| S | 匹配任何非空白字元。等價於 1。 |
| t | 匹配一個製表符。等價於 x09 和 cI。 |
| v | 匹配一個垂直製表符。等價於 x0b 和 cK。 |
- 特殊字元
| 特別字元 | 描述 |
| $ | 匹配輸入字串的結尾位置。如果設定了 RegExp 物件的 Multiline 屬性，則 $ 也匹配 ‘n’ 或 ‘r’。要匹配 $ 字元本身，請使用 $。 |
| ( ) | 標記一個子表示式的開始和結束位置。子表示式可以獲取供以後使用。要匹配這些字元，請使用 ( 和 )。 |
| * | 匹配前面的子表示式零次或多次。要匹配 * 字元，請使用 *。 |
| + | 匹配前面的子表示式一次或多次。要匹配 + 字元，請使用 +。 |
| . | |
| [ | 標記一箇中括號表示式的開始。要匹配 [，請使用 [。 |
| ? | 匹配前面的子表示式零次或一次，或指明一個非貪婪限定符。要匹配 ? 字元，請使用 ?。 |
| | 5789536e17c4d1581d5e6e1dc5484afa163 | 將下一個字元標記為或特殊字元、或原義字元、或向後引用、或八進位制轉義符。例如， ‘n’ 匹配字元 ‘n’。’n’ 匹配換行符。序列 ” 匹配 “”，而 ‘(‘ 則匹配 “(“。 |
| ^ | 匹配輸入字串的開始位置，除非在方括號表示式中使用，此時它表示不接受該字符集合。要匹配 ^ 字元本身，請使用 ^。 |
| { | 標記限定符表示式的開始。要匹配 {，請使用 {。 |
| | | 指明兩項之間的一個選擇。要匹配 |，請使用 |。 |
- 限定符
限定符用來指定正規表示式的一個給定元件必須要出現多少次才能滿足匹配。有*或+或?或{n}或{n,}或{n,m}共6種。正規表示式的限定符有：
| 字元 | 描述 |
| * | 匹配前面的子表示式零次或多次。例如，zo 能匹配 “z” 以及 “zoo”。 等價於{0,}。 |
| + | 匹配前面的子表示式一次或多次。例如，’zo+’ 能匹配 “zo” 以及 “zoo”，但不能匹配 “z”。+ 等價於 {1,}。 |
| ? | 匹配前面的子表示式零次或一次。例如，”do(es)?” 可以匹配 “do” 或 “does” 中的”do” 。? 等價於 {0,1}。 |
| {n} | n 是一個非負整數。匹配確定的 n 次。例如，’o{2}’ 不能匹配 “Bob” 中的 ‘o’，但是能匹配 “food” 中的兩個 o。 |
| {n,} | n 是一個非負整數。至少匹配n 次。例如，’o{2,}’ 不能匹配 “Bob” 中的 ‘o’，但能匹配 “foooood” 中的所有 o。’o{1,}’ 等價於 ‘o+’。’o{0,}’ 則等價於 ‘o*’。 |
| {n,m} | m 和 n 均為非負整數，其中n |
- 定位符
定位符使您能夠將正規表示式固定到行首或行尾。它們還使您能夠建立這樣的正規表示式，這些正規表示式出現在一個單詞內、在一個單詞的開頭或者一個單詞的結尾。定位符用來描述字串或單詞的邊界，^和$分別指字串的開始與結束，b描述單詞的前或後邊界，B表示非單詞邊界。
| 字元 | 描述 |
| ^ | 匹配輸入字串開始的位置。如果設定了 RegExp 物件的 Multiline 屬性，^ 還會與 n 或 r 之後的位置匹配。 |
| $ | 匹配輸入字串結尾的位置。如果設定了 RegExp 物件的 Multiline 屬性，$ 還會與 n 或 r 之前的位置匹配。 |
| b | 匹配一個字邊界，即字與空格間的位置。 |
| B | 非字邊界匹配。 |
4，python中re正則模組的學習
正則在python中是通過re模組實現的。文件
下面給出re核心函式和方法
|
1 |
**`re` 模組的函式 描述** |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
complie(pattern,flags=0) 對正規表示式模式 pattern 進行編譯，flags 是可選標誌符，並返回一個 regex 物件 match(pattern,string,flags=0) 用pattern匹配字串 string,成功返回匹配物件，否則返回None search(pattern,string,flags=0) 在字串 string 中查詢正規表示式模式 pattern 的第一次出現，匹配成功，返回一個匹配物件；否則返回 None findall(pattern,string[,flags]) 在字串 string 中查詢正規表示式模式 pattern 的所有(非重複)出現；返回一個匹配物件的列表 finditer(pattern,string,[,flags]) 和 findall()相同，但返回的不是列表而是迭代器；對於每個匹配，該迭代器返回一個匹配物件 split(pattern,string,max=0) 根據正規表示式 pattern 中的分隔符把字元 string 分割為一個列表，返回成功匹配的列表，最多分割 max 次(預設是分割所有匹配的地方)。 sub(pattern,repl,string,max=0) 把字串 string 中所有匹配正規表示式 pattern 的地方替換成字串 repl,如果 max 的值沒有給出， 則對所有匹配的地方進行替換。 group(num=0) 返回全部匹配物件(或指定編號是 num 的子組) groups() 返回一個包含全部匹配的子組的元組(如果沒成功匹配，就返回一個空元組) |
1. 使用 compile()編譯正規表示式
為什麼要編譯：正規表示式模式使用前必須先被編譯成 regex 物件，也就是說每次使用都要編譯一次，那還不如先編譯，然後隨時用起來，省時省空間。
原本是這樣：
|
1 2 3 4 |
result1=re.match(pattern,string1) result2=re.match(pattern,string2) result3=re.match(pattern,string3) ... |
現在是這樣：
|
1 2 3 4 5 |
prog = re.compile(pattern) result1 = prog.match(string1) result2 = prog.match(string2) result3 = prog.match(string3) ... |
結果是不用每次都要將pattern作為引數放入函式中去了，大大節省時間。
2. 用 match()匹配字串
簡單：
|
1 2 3 4 5 6 7 8 |
m = re.match('foo', 'foo') # pattern matches string ，模式匹配字串 if m is not None: # show match if successful 如果成功，顯示匹配 m.group()#group()返回全部物件 'foo' m = re.match('foo', 'bar')# pattern does not match string 模式不匹配字串 m#None m = re.match('foo', 'food on the table') # match succeeds # 匹配成功 m.group()#'foo' |
+正則：
3. 用search()匹配字串
|
1 2 |
其實，你要搜尋的模式出現在一個字串中間的機率要比出現在字串開頭的機率更大一些。 這正是 search()派上用場的時候。search 和 match 的工作方式一樣，不同之處在於 search 會檢查引數字串任意位置的地方給定正規表示式模式的匹配情況。如果搜尋到成功的匹配，會返回一個匹配物件，否則返回 None。 |
現在我們來舉例說明 match()和 search()之間的區別。我們用字串”foo”去匹配“seafood”:
|
1 2 3 4 5 |
m = re.match('foo', 'seafood') # no match 匹配失敗 m#None m = re.search('foo', 'seafood') # use search() instead 改用 search() if m is not None: m.group() 'foo'#匹配成功 |
4. 用findall()匹配字串
|
1 2 |
它用於非重疊地查詢某字串中一個正規表示式模式出 現的情況。findall()和 search()相似之處在於二者都執行字串搜尋，但 findall()和 match()與search()不同之處是，findall()總返回一個列表。如果 findall()沒有找到匹配的部分，會返回空列表；如果成功找到匹配部分，則返回所有匹配部分的列表(按從左到右出現的順序排列)。 |
|
1 2 |
re.findall('car', 'carry the barcardi to the car') ['car', 'car', 'car'] |
5. 用 split()分割(分隔模式)
|
1 |
re 模組和正規表示式物件的方法 split()與字串的 split()方法相似， 前者是根據正規表示式模式分隔字串，後者是根據固定的字串分割,因此與後者相比，顯著提升了字元分割的能力。 |
|
1 2 |
re.split(':', 'str1:str2:str3') ['str1', 'str2', 'str3'] |
6. 用 sub()[和 subn()]進行搜尋和替換
|
1 |
二者幾乎是一樣的，都是將某字串中所有匹配正規表示式模式的部分進行替換。用來替換的部分通常是一個字串，但也可能是一個函式，該函式返回一個用來替換的字串。subn()和 sub()一樣，但它還返回一個表示替換次數的數字，替換後的字串和表示替換次數的數字作為一個元組的元素返回。 |
|
1 2 3 |
re.sub('l','L','hello') heLLo |
5，結合一些例項，用正則完整分析一個問題
- 例項1：
前幾天處理了一個小問題,問題描述如下：
問題：字串s有兩種內容，一種是’客車’,一種是’4排5座SUV’,如果是’客車’原樣返回，如果是
‘4排5座SUV’,則將字串’4排5座SUV’中的’5座’單獨提取出來，這個問題很簡單先用if語句解決
‘客車’,在檢視’4排5座SUV’中文和英文的字元長度，用切片選出來就行，解決如下:
|
1 2 3 4 5 6 7 |
try: if s=='客車': return s else: return s[3:6] except: return '' |
其實用正則可以輕鬆解決：
|
1 2 3 4 5 6 |
import re split=re.compile('\d座|客車') try: result=split.search(s).group() except: result='' |
使用正則的好處：
1,不需要先知道要匹配字元的位置如[3:6],如果要匹配很多條結果用切片法肯定很亂。
2,更加靈活，如果出現’￥%……4排5座SUV’也可以成功匹配
3,預先編譯，更高效