Gse v0.20.0 釋出了, Go 高效能分詞, 優化效能和程式碼, 更多測試
Go 語言高效分詞, 支援英文、中文、日文等
詞典用雙陣列 trie(Double-Array Trie)實現, 分詞器演算法為基於詞頻的最短路徑加動態規劃。
支援普通和搜尋引擎兩種分詞模式,支援使用者詞典、詞性標註,可執行 JSON RPC 服務。
專案地址: https://github.com/go-ego/gse
package main
import (
"fmt"
"github.com/go-ego/gse"
)
func main() {
var seg gse.Segmenter
seg.LoadDict("zh,testdata/test_dict.txt,testdata/test_dict1.txt")
text1 := []byte("你好世界, Hello world")
segments := seg.Segment(text1)
fmt.Println(gse.ToString(segments))
}
Lethe River
Add
- [NEW] Add slice() and string() func and test
- [NEW] Add more test
- [NEW] Optimize textSliceToString splicing speed
- [NEW] Update LoadDict() log.Printf and optimize read dict log
- [NEW] Add ToString() and ToSlice() default value and update test
- [NEW] ToString and ToSlice use return not use else and update code
- [NEW] Update sever code
- [NEW] Add token equals() func and test
- [NEW] Add search mode example
- [NEW] Optimize file defer close
- [NEW] Segment return use nil not empty array
[NEW] Update pkg to newest ( optimize cedar code ) <br/>
[NEW] Update and refactoring segment test code
[NEW] Update dictionary and static demo
[NEW] Refactoring gse benchmark code
[NEW] Update and simplify test code
Update
- [NEW] Update issue template more obvious
- [NEW] Update godoc, pull_request_template.md and issue_template.md
- [NEW] Update README.md Uniform name
- [NEW] Update godoc
- [NEW] Update Update README.md add searchMode docs
- [NEW] Optimize Japanese subparticipation errors
- [NEW] Update code style and name style
- [NEW] Update examples and benchmark code
- [NEW] Add Travis ci go1.11 support
Fix
- [FIX] Update examples lang fix #4
- [FIX] Fix typo for example
- [FIX] Fix LoadDict() godoc error
- [FIX] Fix sub-word error
- [FIX] Fix dict is nil segmentWords panic nil pointer
- [FIX] Update README.md Fixed Release badge
See Commits for more details, after Apr 27.
更多原創文章乾貨分享,請關注公眾號
- 加微信實戰群請加微信(註明:實戰群):gocnio
相關文章
- Gse v0.40.0 釋出了, Go 高效能分詞, 增加更多常用 APIGseGo分詞API
- Gse v0.10.0 釋出了, Go 高效能分詞GseGo分詞
- Gse v0.30.0 釋出了, Go 高效能分詞, 增加 hmm 支援GseGo分詞HMM
- Robotgo v0.49.0 釋出了, Go 桌面自動化, 更多特性OTGGo
- [原創]ETL效能測試和優化優化
- Go工程管理 19 | 效能優化:Go 語言如何進行程式碼檢查和優化?Go優化行程
- 前端效能優化之效能測試前端優化
- 鄭建勳:Go程式效能分層優化 | CPU篇Go優化
- Go 高效能系列教程之一:基準測試Go
- MySQL高效能優化MySql優化
- 如何寫出高效能程式碼之優化資料訪問優化
- Go 高效能系列教程之三:編譯器優化Go編譯優化
- 不斷優化配置,逐步提高效能——我的一次效能測試經歷優化
- iOS程式碼效能優化iOS優化
- 效能除錯:分析並優化 Go 程式除錯優化Go
- Android最佳效能實踐(3):高效能編碼優化Android優化
- go-carbon 1.3.5 版本釋出,修復已知bug和優化效能Go優化
- 無線效能優化:FPS測試優化
- 如何寫出高效能程式碼之優化記憶體回收(GC)優化記憶體GC
- Android效能優化——程式碼優化(一)Android優化
- 「MySQL」高效能索引優化策略MySql索引優化
- riot 搜尋引擎 v0.10.0 釋出, 優化引擎和分詞等優化分詞
- go1.13釋出了Go
- 分支對程式碼效能的影響和優化優化
- go 程式碼覆蓋率測試Go
- solr搜尋分詞優化Solr分詞優化
- Python Django 效能測試與優化指南PythonDjango優化
- 測量、基線和效能優化之三:基於測量、基線和變化的效能優化優化
- 【效能測試】效能測試各知識第1篇:效能測試大綱【附程式碼文件】
- go-carbon 1.2.0 版本釋出了,完善優化對ORM的多場景支援Go優化ORM
- 高效能服務端優化之路服務端優化
- Java Web 前端高效能優化(二)JavaWeb前端優化
- 測量、基線和效能優化之三:基於測量、基線和變化的效能優化v優化
- 科大訊飛語音轉文字以及中文分詞的Java測試程式碼中文分詞Java
- webpack--效能優化之打包構建速度和程式碼除錯優化Web優化除錯
- Go語言效能優化- For Range 效能研究Go優化
- 前端效能優化—js程式碼打包前端優化JS
- 祖傳程式碼如何優化效能?優化