如何將文字轉換為向量?(方法三)

DashVector發表於2024-07-16

文字轉換為向量有多種方式:

方法一:透過模型服務靈積DashScope將文字轉換為向量(推薦)

方法二:透過ModelScope魔搭社群中的文字向量開源模型將文字轉換為向量

方法三:透過Jina Embeddings v2模型將文字轉換為向量

方法四:透過百川智慧向量化模型將文字轉換為向量


本文介紹方法三:如何透過Jina Embeddings v2模型文字轉換為向量,併入庫至向量檢索服務DashVector中進行向量檢索。

前提條件

  • DashVector:

    • 已建立Cluster:建立Cluster

    • 已獲得API-KEY:API-KEY管理

    • 已安裝最新版SDK:安裝DashVector SDK

  • Jina AI

    • 已獲得API金鑰:Jina Embeddings v2模型


Jina Embeddings v2模型

簡介

Jina Embeddings v2模型,唯一支援 8192 個詞元長度的開源向量模型,在大規模文字向量化基準 (MTEB) 的功能和效能方面與 OpenAI 的閉源模型 text-embedding-ada-002 相當。

模型名稱

向量維度

度量方式

向量資料型別

備註

jina-embeddings-v2-small-en

512

Cosine

Float32

  • 詞元長度限制:8192

jina-embeddings-v2-base-en

768

Cosine

Float32

  • 詞元長度限制:8192

jina-embeddings-v2-base-zh

768

Cosine

Float32

  • 詞元長度限制:8192

說明

關於Jina Embeddings v2模型更多資訊請參考:Jina Embeddings v2模型

使用示例

說明

需要進行如下替換程式碼才能正常執行:

  1. DashVector api-key替換示例中的{your-dashvector-api-key}

  2. DashVector Cluster Endpoint替換示例中的{your-dashvector-cluster-endpoint}

  3. Jina AI api-key替換示例中的{your-jina-api-key}

Python示例:

from dashvector import Client
import requests
from typing import List


# 呼叫Jina Embeddings v2模型,將文字embedding為向量
def generate_embeddings(texts: List[str]):
    headers = {
      'Content-Type': 'application/json',
      'Authorization': 'Bearer {your-jina-api-key}'
    }
    data = {'input': texts, 'model': 'jina-embeddings-v2-base-zh'}
    response = requests.post('https://api.jina.ai/v1/embeddings', headers=headers, json=data)
    return [record["embedding"] for record in response.json()["data"]]
    

# 建立DashVector Client
client = Client(
    api_key='{your-dashvector-api-key}',
    endpoint='{your-dashvector-cluster-endpoint}'
)

# 建立DashVector Collection
rsp = client.create('jina-text-embedding', 768)
assert rsp
collection = client.get('jina-text-embedding')
assert collection

# 向量入庫DashVector
collection.insert(
    ('ID1', generate_embeddings(['阿里雲向量檢索服務DashVector是效能、價效比具佳的向量資料庫之一'])[0])
)

# 向量檢索
docs = collection.query(
    generate_embeddings(['The best vector database'])[0]
)
print(docs)
如何將文字轉換為向量?(方法三)

相關文章