簡要介紹
使用者批量上傳需要識別的照片,上傳成功後,系統會啟動Hangfire後臺Job開始呼叫PaddleOCR服務返回結果,這個過程有點類似微服務的架構模型。
PaddleOCR
PaddleOCR是百度AI團隊開源的一個專案，應該是目前所有免費開源OCR專案中識別效果最好的,具體可以通過PaddleOCR瞭解,如果你沒有Python的開發經驗，可能在環境部署上會遇到一些問題，但幾乎都能找到解決方案。
Demo https://razor.i247365.net/invoices/index
- 使用者批量上傳要識別的檔案,由於我的虛擬機器效能非常差，所以才能先上傳系統後臺自動識別
- 系統識別完成後會自動通知使用者並修改狀態,使用者預覽識別的結果
執行環境
- .net 5.0>
- Python 3.7>
- ASP.NET Core Razor Page Application 5.0 原始碼分支(features\invoice_ocr)RazorPageCleanArchitecture\features\invoice_ocr
- PaddleOCR Web API （CentOS 阿里雲主機) PaddlePaddle/PaddleOCR
- Hangfire Dashboard HangfireIO/Hangfire
技術棧
- ASP.NET Core
- Jquery/Javascript
- EasyUI
- Python
安裝PaddleOCR環境
經測試PaddleOCR可在glibc 2.23上執行，您也可以測試其他glibc版本或安裝glic 2.23
PaddleOCR 工作環境
- PaddlePaddle 2.0.0
- python3.7
- glibc 2.23
- cuDNN 7.6+ (GPU)
建議使用我們提供的docker執行PaddleOCR，有關docker、nvidia-docker使用請參考連結。
如您希望使用 mac 或 windows直接執行預測程式碼，可以從第2步開始執行。
1. （建議）準備docker環境。第一次使用這個映象，會自動下載該映象，請耐心等待。
# 切換到工作目錄下
cd /home/Projects
# 首次執行需建立一個docker容器，再次執行時不需要執行當前命令
# 建立一個名字為ppocr的docker容器，並將當前目錄對映到容器的/paddle目錄下
如果您希望在CPU環境下使用docker，使用docker而不是nvidia-docker建立docker
sudo docker run --name ppocr -v $PWD:/paddle --network=host -it paddlepaddle/paddle:latest-dev-cuda10.1-cudnn7-gcc82 /bin/bash
如果使用CUDA10，請執行以下命令建立容器，設定docker容器共享記憶體shm-size為64G，建議設定32G以上
sudo nvidia-docker run --name ppocr -v $PWD:/paddle --shm-size=64G --network=host -it paddlepaddle/paddle:latest-dev-cuda10.1-cudnn7-gcc82 /bin/bash
您也可以訪問[DockerHub](https://hub.docker.com/r/paddlepaddle/paddle/tags/)獲取與您機器適配的映象。
# ctrl+P+Q可退出docker 容器，重新進入docker 容器使用如下命令
sudo docker container exec -it ppocr /bin/bash
2. 安裝PaddlePaddle 2.0
pip3 install --upgrade pip
如果您的機器安裝的是CUDA9或CUDA10，請執行以下命令安裝
python3 -m pip install paddlepaddle-gpu==2.0.0 -i https://mirror.baidu.com/pypi/simple
如果您的機器是CPU，請執行以下命令安裝
python3 -m pip install paddlepaddle==2.0.0 -i https://mirror.baidu.com/pypi/simple
更多的版本需求，請參照[安裝文件](https://www.paddlepaddle.org.cn/install/quick)中的說明進行操作。
3. 克隆PaddleOCR repo程式碼
【推薦】git clone https://github.com/PaddlePaddle/PaddleOCR
如果因為網路問題無法pull成功，也可選擇使用碼雲上的託管：
git clone https://gitee.com/paddlepaddle/PaddleOCR
注：碼雲託管程式碼可能無法實時同步本github專案更新，存在3~5天延時，請優先使用推薦方式。
4. 安裝第三方庫
cd PaddleOCR
pip3 install -r requirements.txt
**如果有問題可以留言,我會幫你處理**
## 重點程式碼分析
httpClient呼叫PaddleOCR API
開始自動失敗重試策略
```js
services.AddHttpClient("ocr", c =>
{
c.BaseAddress = new Uri("https://paddleocr.i247365.net/predict/ocr_system");
c.DefaultRequestHeaders.Accept.Add(new MediaTypeWithQualityHeaderValue("application/json"));
})
.AddTransientHttpErrorPolicy(policy => policy.WaitAndRetryAsync(3, _ => TimeSpan.FromMilliseconds(1000))); ;
public void Recognition(int id)
{
using (var client = _httpClientFactory.CreateClient("ocr"))
{
var invoice = _context.Invoices.Find(id);
var imgfile = Path.Combine(Directory.GetCurrentDirectory(), invoice.AttachmentUrl);
var bytes = File.ReadAllBytes(imgfile);
string base64string = Convert.ToBase64String(bytes);
var response = client.PostAsJsonAsync<dynamic>("", new { images = new string[] { base64string } }).Result;
}
Console.WriteLine($"{id}, completed.");
}
解析發票資訊,目前還是使用比較笨的方法，通過正規表示式來匹配需要的欄位，比如發票金額，開票日期，發票號碼等等，因為這是免費的並沒有提供像收費服務那樣更智慧的匹配,這裡我想只要有足夠的資料，應該也可以通過自己訓練實現更智慧的識別。所以我留了Label欄位，目的就是先有人工制定好對應的欄位欄位，然後通過座標資料進行訓練。
if(response.StatusCode== System.Net.HttpStatusCode.OK)
{
var result = response.Content.ReadAsStringAsync().Result;
var ocr_result = JsonSerializer.Deserialize<ocr_result>(result);
var ocr_status = "";
invoice.Status = "Done";
invoice.Result = ocr_result.status;
if (ocr_result.status== "000")
{
foreach(var collection in ocr_result.results)
{
foreach(var item in collection)
{
var rawdata = new InvoiceRawData()
{
Confidence=item.confidence,
InvoiceId=id,
Text=item.text,
Text_Region= JsonSerializer.Serialize(item.text_region)
};
if (item.text.Contains("發票號碼"))
{
var regex = new Regex("\\d*$");
var mc = regex.Match(item.text);
if(mc.Success)
{
invoice.InvoiceNo = mc.Value;
}
}
if (item.text.Contains("開票日期"))
{
var regex = new Regex("\\d{4}年\\d{2}月\\d{2}日");
var mc = regex.Match(item.text);
if (mc.Success)
{
invoice.InvoiceDate = Convert.ToDateTime(mc.Value.Replace("年","/").Replace("月", "/").Replace("日", ""));
}
}
if (item.text.Contains("%"))
{
var regex = new Regex("^\\d*.\\d*");
var mc = regex.Match(item.text);
if (mc.Success)
{
invoice.TaxRate = decimal.Parse(mc.Value);
}
}
if (item.text.Contains("￥"))
{
var regex = new Regex("\\d.\\d*");
var mc = regex.Match(item.text);
if (mc.Success)
{
invoice.Amount = decimal.Parse(mc.Value);
}
}
_context.InvoiceRawDatas.Add(rawdata);
}
}
ocr_status = ocr_result.status;
}
_context.SaveChangesAsync(default).Wait();
_hubContext.Clients.All.SendAsync(SignalR.OCRTaskCompleted, new { invoiceNo = invoice.InvoiceNo });
}
Canvas 畫框標註識別結果
data.map((item,index) => {
$('#rawdata_table > tbody').append(`<tr><td>${index + 1}</td><td>${item.Text}</td><td></td></tr>`);
var points = JSON.parse(item.Text_Region);
ctx.lineWidth = "5";
ctx.strokeStyle = "#00ff00";
ctx.textAlign = 'left';
ctx.textBaseline = 'top';
ctx.fillStyle = "#ff0000";
ctx.font = "bold 13px verdana, sans-serif ";
ctx.fillText(item.Text, points[0][0], points[0][1]-15);
ctx.beginPath();
ctx.moveTo(points[0][0], points[0][1]);
ctx.lineTo(points[1][0], points[1][1]);
ctx.lineTo(points[2][0], points[2][1]);
ctx.lineTo(points[3][0], points[3][1]);
ctx.closePath();
ctx.stroke();
});
是不是很簡單，很酷
最後
Give a Star! ⭐
If you like or are using this project please give it a star. Thanks!
RazorPageCleanArchitecture\features\invoice_ocr