如何將文字轉換為向量？(方法二)

​

文字轉換為向量有多種方式：

方法一：透過模型服務靈積DashScope將文字轉換為向量（推薦）

方法二：透過ModelScope魔搭社群中的文字向量開源模型將文字轉換為向量

方法三：透過Jina Embeddings v2模型將文字轉換為向量

方法四：透過百川智慧向量化模型將文字轉換為向量

本文介紹方法二：如何透過ModelScope魔搭社群中的文字向量開源模型將文字轉換為向量，併入庫至向量檢索服務DashVector中進行向量檢索。

ModelScope魔搭社群旨在打造下一代開源的模型即服務共享平臺，為泛AI開發者提供靈活、易用、低成本的一站式模型服務產品，讓模型應用更簡單。

ModelScope魔搭社群的願景是彙集行業領先的預訓練模型，減少開發者的重複研發成本，提供更加綠色環保、開源開放的AI開發環境和模型服務，助力綠色“數字經濟”事業的建設。 ModelScope魔搭社群將以開源的方式提供多類優質模型，開發者可在平臺上免費體驗與下載使用。

在ModelScope魔搭社群，您可以：

• 免費使用平臺提供的預訓練模型，支援免費下載執行

• 一行命令實現模型預測，簡單快速驗證模型效果

• 用自己的資料對模型進行調優，定製自己的個性化模型

• 學習系統性的知識，結合實訓，有效提升模型研發能力

• 分享和貢獻你的想法、評論與模型，讓更多人認識你，在社群中成長

前提條件

• DashVector：

  • 已建立Cluster：建立Cluster

  • 已獲得API-KEY：API-KEY管理

  • 已安裝最新版SDK：安裝DashVector SDK

• ModelScope：

  • 已安裝最新版SDK：pip install -U modelscope

CoROM文字向量

簡介

模型ID	向量維度	度量方式	向量資料型別	備註
damo/nlp_corom_sentence-embedding_chinese-base	768	Cosine	Float32	中文-通用領域-base 最長文字長度：512
damo/nlp_corom_sentence-embedding_english-base	768	Cosine	Float32	英文-通用領域-base 最長文字長度：512
damo/nlp_corom_sentence-embedding_chinese-base-ecom	768	Cosine	Float32	中文-電商領域-base 最長文字長度：512
damo/nlp_corom_sentence-embedding_chinese-base-medical	768	Cosine	Float32	中文-醫療領域-base 最長文字長度：512
damo/nlp_corom_sentence-embedding_chinese-tiny	256	Cosine	Float32	中文-通用領域-tiny 最長文字長度：512
damo/nlp_corom_sentence-embedding_english-tiny	256	Cosine	Float32	英文-通用領域-tiny 最長文字長度：512
damo/nlp_corom_sentence-embedding_chinese-tiny-ecom	256	Cosine	Float32	中文-電商領域-tiny 最長文字長度：512
damo/nlp_corom_sentence-embedding_chinese-tiny-medical	256	Cosine	Float32	中文-醫療領域-tiny 最長文字長度：512

說明

關於CoROM文字向量模型更多資訊請參考：CoROM文字向量

使用示例

說明

需要進行如下替換程式碼才能正常執行：

1. DashVector api-key替換示例中的{your-dashvector-api-key}

2. DashVector Cluster Endpoint替換示例中的{your-dashvector-cluster-endpoint}

3. 使用上表中模型ID替換示例中的{model_id}

4. 需注意，若所使用的模型若為tiny模型，則向量維度為256

Python示例：

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from typing import List
from dashvector import Client


pipeline_se = pipeline(Tasks.sentence_embedding, model='{model_id}')


def generate_embeddings(texts: List[str]):
    inputs = {'source_sentence': texts}
    result = pipeline_se(input=inputs)
    return result['text_embedding']


########### 以下為通用示例：向量入庫DashVector和向量檢索程式碼參考###########
# 建立DashVector Client
client = Client(
    api_key='{your-dashvector-api-key}',
    endpoint='{your-dashvector-cluster-endpoint}'
)

# 建立DashVector Collection
# 注意：需根據模型對應向量維度調整dimension引數
rsp = client.create('CoROM-text-embedding', dimension=768)
assert rsp
collection = client.get('CoROM-text-embedding')
assert collection

# 向量入庫DashVector
collection.insert(
    ('ID1', generate_embeddings(['阿里雲向量檢索服務DashVector是效能、價效比具佳的向量資料庫之一'])[0])
)

# 向量檢索
docs = collection.query(
    generate_embeddings(['The best vector database'])[0]
)
print(docs)

GTE文字向量

簡介

模型ID	向量維度	度量方式	向量資料型別	備註
damo/nlp_gte_sentence-embedding_chinese-base	768	Cosine	Float32	中文-通用領域-base 最長文字長度：512
damo/nlp_gte_sentence-embedding_chinese-large	768	Cosine	Float32	中文-通用領域-large 最長文字長度：512
damo/nlp_gte_sentence-embedding_chinese-small	512	Cosine	Float32	中文-通用領域-small 最長文字長度：512
damo/nlp_gte_sentence-embedding_english-base	768	Cosine	Float32	英文-通用領域-base 最長文字長度：512
damo/nlp_gte_sentence-embedding_english-large	768	Cosine	Float32	英文-通用領域-large 最長文字長度：512
damo/nlp_gte_sentence-embedding_english-small	384	Cosine	Float32	英文-通用領域-small 最長文字長度：512

說明

關於GTE文字向量模型更多資訊請參考：GTE文字向量

使用示例

本模型使用示例同CoROM文字向量-使用示例，進行相應模型ID和向量維度替換即可執行。

Udever 多語言通用文字表示模型

簡介

模型ID	向量維度	度量方式	向量資料型別	備註
damo/udever-bloom-560m	1024	Cosine	Float32	模型引數：560m 最長文字長度：2048
damo/udever-bloom-1b1	1536	Cosine	Float32	模型引數：1b1 最長文字長度：2048
damo/udever-bloom-3b	2048	Cosine	Float32	模型引數：3b 最長文字長度：2048
damo/udever-bloom-7b1	4096	Cosine	Float32	模型引數：7b1 最長文字長度：2048

說明

關於Udever 多語言通用文字表示模型更多資訊請參考：Udever 多語言通用文字表示模型

使用示例

本模型使用示例同CoROM文字向量-使用示例，進行相應模型ID和向量維度替換即可執行。

StructBERT FAQ問答

簡介

模型ID	向量維度	度量方式	向量資料型別	備註
damo/nlp_structbert_faq-question-answering_chinese-base	768	Cosine	Float32	中文-通用領域-base 最長文字長度：不限制
damo/nlp_structbert_faq-question-answering_chinese-finance-base	768	Cosine	Float32	中文-金融領域-base 最長文字長度：不限制
damo/nlp_structbert_faq-question-answering_chinese-gov-base	768	Cosine	Float32	中文-政務領域-base 最長文字長度：不限制

說明

關於StructBERT FAQ問答模型更多資訊請參考：StructBERT FAQ問答

使用示例

說明

需要進行如下替換程式碼才能正常執行：

1. 使用上表中模型ID替換示例中的{model_id}

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from typing import List

pipeline = pipeline(Tasks.faq_question_answering, model='{model_id}')


def generate_embeddings(texts: List[str], max_len=30):
    return pipeline.get_sentence_embedding(texts)

說明

本示例中，向量入庫DashVector和向量檢索程式碼，參考CoROM文字向量-使用示例中的通用示例部分

---

更多文字向量模型

模型名稱	模型ID	向量維度	度量方式	向量資料型別	備註
Bert實體向量-中文-通用領域-base	damo/nlp_bert_entity-embedding_chinese-base	768	Cosine	Float32	預設最長文字長度：128 詳情
英文文字向量表示模型-TextRetrieval	damo/nlp_minilm_ibkd_sentence-embedding_english-msmarco	384	Cosine	Float32	預設最長文字長度：128 詳情
英文文字向量表示模型MiniLM-IBKD-STS	damo/nlp_minilm_ibkd_sentence-embedding_english-sts	384	Cosine	Float32	預設最長文字長度：128 詳情
text2vec-base-chinese	thomas/text2vec-base-chinese	768	Cosine	Float32	預設最長文字長度：未知 詳情
text2vec-large-chinese	thomas/text2vec-large-chinese	1024	Cosine	Float32	預設最長文字長度：未知 詳情

說明

1. 列表中模型示例同CoROM文字向量-使用示例，進行相應模型ID和向量維度替換即可執行

2. 更多ModelScope社群中的開源文字向量模型在本文中不再一一列舉，更多文字向量模型待您探索、發現和共建，點選進入。

​