Gse v0.30.0 釋出了, Go 高效能分詞, 增加 hmm 支援

Go 語言高效分詞, 支援英文、中文、日文等

詞典用雙陣列 trie（Double-Array Trie）實現， 分詞器演算法為基於詞頻的最短路徑加動態規劃。v0.30.0 版本主要新增了 DAG 和 HMM (Viterbi) 演算法分詞, 新增 API 基本和結巴分詞保持一致.

支援普通、搜尋引擎、全模式、精確模式和 HMM 模式多種分詞模式，支援使用者詞典、詞性標註，可執行 JSON RPC 服務。

專案地址: https://github.com/go-ego/gse

package main

import (
    "fmt"

    "github.com/go-ego/gse"
)

func main() {
    var seg gse.Segmenter
    seg.LoadDict()

    text1 := "你好世界, Hello world"
    fmt.Println(seg.Cut(text1, true))
}

Rhine River

Add

• [NEW] Add HMM cut support
• [NEW] Add go mod support and remove dep files
• [NEW] Add find word in dictionary func
• [NEW] Add Cut(), CutAll(), CutSearch(), LoadModel(), HMMCut() func
• [NEW] Add hmm cut test code
• [NEW] Add hmm cut example code

Update

• [NEW] Cutting the dict method, move load dictionary to dict_util.go
• [NEW] Update example and Add more test
• [NEW] Update and clean utils code
• [NEW] Simplify test code, add equal benchmark code
• [NEW] Update pkg cedar code
• [NEW] Update code style
• [NEW] Update README.md [ Format README.mdand Update example ]

Fix

• [FIX] Fixed and clean issue template
• [FIX] Update README.md [ update and fixed example ]

See Commits for more details, after Oct 9.