透過ModelScope開源多模態Embedding模型進行向量生成

DashVector發表於2024-09-05
模型

本文介紹如何透過ModelScope魔搭社群中的多模態表徵開源模型進行 多模態向量生成 ，併入庫至向量檢索服務DashVector中進行向量檢索。

ModelScope魔搭社群旨在打造下一代開源的模型即服務共享平臺，為泛AI開發者提供靈活、易用、低成本的一站式模型服務產品，讓模型應用更簡單。

ModelScope魔搭社群的願景是彙集行業領先的預訓練模型，減少開發者的重複研發成本，提供更加綠色環保、開源開放的AI開發環境和模型服務，助力綠色"數字經濟"事業的建設。 ModelScope魔搭社群將以開源的方式提供多類優質模型，開發者可在平臺上免費體驗與下載使用。

在ModelScope魔搭社群，您可以：

  • 免費使用平臺提供的預訓練模型，支援免費下載執行

  • 一行命令實現模型預測，簡單快速驗證模型效果

  • 用自己的資料對模型進行調優，定製自己的個性化模型

  • 學習系統性的知識，結合實訓，有效提升模型研發能力

  • 分享和貢獻你的想法、評論與模型，讓更多人認識你，在社群中成長

前提條件

  • DashVector：

    • 已建立Cluster
    • 已獲得API-KEY
    • 已安裝最新版SDK
    • ModelScope
    • 已安裝最新版SDK：pip install -U modelscope

CLIP模型

簡介

本專案為CLIP模型的中文版本，使用大規模中文資料進行訓練（ ~2億圖文對 ），可用於圖文檢索和影像、文字的表徵提取，應用於搜尋、推薦等應用場景。

關於CLIP模型更多資訊請參考：CLIP模型

使用示例

說明

需要進行如下替換程式碼才能正常執行：

  1. DashVector api-key替換示例中的

  2. DashVector Cluster Endpoint替換示例中的

  3. 使用上表中 模型ID 替換示例中的

  4. 使用上表中 向量維度 替換示例中的

Python

from modelscope.utils.constant import Tasks
from modelscope.pipelines import pipeline
from modelscope.preprocessors.image import load_image
from typing import List
from dashvector import Client


pipeline = pipeline(task=Tasks.multi_modal_embedding, model='{model_id}')


def generate_text_embeddings(texts: List[str]):
    inputs = {'text': texts}
    result = pipeline.forward(input=inputs)
    return result['text_embedding'].numpy()


def generate_img_embeddings(img: str):
    input_img = load_image(img)
    inputs = {'img': input_img}
    result = pipeline.forward(input=inputs)
    return result['img_embedding'].numpy()[0]


# 建立DashVector Client
client = Client(
    api_key='{your-dashvector-api-key}',
    endpoint='{your-dashvector-cluster-endpoint}'
)

# 建立DashVector Collection
rsp = client.create('CLIP-embedding', dimension={model_dim})
assert rsp
collection = client.get('CLIP-embedding')
assert collection

# 向量入庫DashVector
collection.insert(
    [
        ('ID1', generate_text_embeddings(['阿里雲向量檢索服務DashVector是效能、價效比具佳的向量資料庫之一'])[0]),
        ('ID2', generate_img_embeddings('https://clip-cn-beijing.oss-cn-beijing.aliyuncs.com/pokemon.jpeg'))
    ]
)

# 向量檢索
docs = collection.query(
    generate_text_embeddings(['The best vector database'])[0]
)
print(docs)

相關文章