LLM技術全景圖：技術人必備的技術指南，一張圖帶你掌握從基礎設施到AI應用的全面梳理

汀、人工智能發表於2024-06-23
AI

LLM技術全景圖：技術人必備的技術指南，一張圖帶你掌握從基礎設施到AI應用的全面梳理

LLM 技術圖譜（LLM Tech Map）是將 LLM 相關技術進行系統化和圖形化的呈現，此圖譜主要特點是“專注於技術人視角”，不求從 LLM 產業角度匯聚資訊，而是希望讓從事相關工作或是想了解 LLM 的技術人有一個快速感知。

LLM 技術圖譜（LLM Tech Map）從基礎設施、大模型、Agent、AI 程式設計、工具和平臺，以及算力幾個方面，為開發者整理了當前 LLM 中最為熱門和硬核的技術領域以及相關的軟體產品和開源專案。

核心價值：幫助技術人快速瞭解 LLM 的核心技術和關鍵方向。

1.基礎設施

LLM 技術圖譜（LLM Tech Map）的基礎設施部分主要包括以下幾個方面：

  • 向量資料庫：向量資料庫是專門用於儲存和檢索向量資料的資料庫，它可以為 LLM 提供高效的儲存和檢索能力。
  • 資料庫向量支援：傳統資料庫通常不支援向量資料的儲存和檢索，資料庫向量支援可以為傳統資料庫新增向量資料的儲存和檢索能力。
  • 大模型框架、微調 (Fine Tuning)：針對大模型的開發。
  • 大模型訓練平臺與工具

1.1向量資料庫

  • Milvus
  • Pinecone
  • Weaviate
  • Chroma
  • Qdrant
  • Vespa
  • Vald
  • Faiss
  • ScaNN
  • Vearch
  • AquilaDB
  • Marqo
  • LanceDB
  • Annoy
  • NucliaDB
  • DeepLake
  • MongoDB

1.2資料庫向量支援

  • pgvector
  • Redis Vector
  • Elastic
  • SingleStoreDB
  • Solr
  • OpenSearch
  • ClickHouse
  • Rockset
  • Cassandra
  • Lucene
  • Neo4j
  • Kinetica
  • Supabase
  • Timescale

1.3大模型框架、微調 (Fine Tuning)

  • OneFlow
  • LMFlow
  • LoRA
  • Alpaca-LoRA
  • PEFT
  • ChatGLM-Efficient-Tuning
  • LLaMA-Efficient-Tuning
  • P-tuning v2
  • OpenLLM
  • h2o-llmstudio
  • xTuring
  • finetuner
  • YiVal

1.4大模型訓練平臺與工具

  • Pytorch
  • BMtrain
  • colossalAI
  • Tensorflow
  • PaddlePaddle
  • MindSpore
  • Deepspeed
  • XGBoost
  • Transformers
  • Apache MXNet
  • Ray

2.大模型

LLM 技術圖譜（LLM Tech Map）的大模型部分主要包括以下幾個方面：

  • 備案上線的中國大模型：有牌照提供服務的大模型，需要注意的是大模型和相應的產品多半名稱不同。
  • 知名大模型：在全球範圍內，已經發布了多款知名大模型，這些大模型在各個領域都取得了突破性的進展。
  • 知名大模型應用：LLM 已經在多種應用場景中得到了應用，包括文字生成、機器翻譯、問答、自然語言推理等。

2.1中國大模型

  • 文心一言
  • 雲雀
  • GLM
  • 紫東太初
  • 百川
  • 日日新
  • ABAB 大模型
  • 書生通用大模型
  • 混元大模型

2.2知名大模型

  • Llama 2
  • OpenLLaMA
  • 百川
  • 通義大模型
  • 文心一言
  • StableLM
  • MOSS
  • Dolly
  • BLOOM
  • Falcon LLM
  • ChatGLM
  • PaLM 2
  • 盤古
  • GPT-4
  • Stable Diffusion
  • DALL·E 3

2.3 知名大模型應用

  • ChatGPT
  • Claude
  • Cursor
  • Mochi Diffusion
  • Midjourey
  • DragGAN
  • Bard
  • Bing

3.AI Agent（LLM Agent）

AI Agent是一種能夠自主運作並完成特定任務的計算實體或程式。它能夠透過感測器感知周圍環境，並根據感知到的資訊做出決策，然後透過執行器採取行動。LLM Agent 是指基於 LLM 技術構建的智慧代理，它可以用於各種任務，比如讓機器與 ChatGPT 互動，一層一層挖掘資訊，自動化完成任務；比如由機器人構成的虛擬小鎮。

  • 核心特點

    • 自主性：AI Agent具有獨立思考和行動的能力，能夠在沒有人類直接指導的情況下完成任務。
    • 互動性：AI Agent能夠與環境或其他Agent進行互動，這在遊戲、對話系統、推薦系統等場景中尤為重要。
    • 目的性：AI Agent設計有明確的目標或意圖，其行為是為了實現這些目標。
    • 適應性：AI Agent能夠根據環境的變化調整自己的行為，以適應新的情境。
    • 進化性：隨著技術的發展，AI Agent的功能和智慧水平也在不斷提升。

  • 技術特點

    • AI Agent與大模型的主要區別在於，大模型與人類之間的互動是基於prompt實現的，而AI Agent僅需給定一個目標，它就能夠針對目標獨立思考並做出行動。
    • AI Agent的核心驅動力是大模型，並在此基礎上增加了規劃（Planning）、記憶（Memory）和工具使用（Tool Use）三個關鍵元件。

  • 型別從工作模式來看，AI Agent可以分為以下三種型別：

    • 單Agent：側重於執行單一任務或一系列相關任務，且不需要與其他智慧體進行互動。
    • 多Agent：涉及多個智慧體之間的協作和互動，以完成更復雜的任務。
    • 混合Agent（人機互動Agent）：結合了人類和智慧體的互動，以實現更高效的任務執行。

  • Rivet

  • JARVIS

  • MetaGPT

  • AutoGPT

  • BabyAGI

  • NexusGPT

  • Generative Agents

  • Voyager

  • GPTeam

  • GPT Researcher

  • Amazon Bedrock Agents

4.AI 程式設計

AI程式設計是指利用計算機程式語言和技術來建立、訓練和最佳化人工智慧演算法的過程。它涵蓋了資料的收集、清洗、轉換以及演算法的選擇和應用。AI程式設計是構建未來智慧系統的關鍵，透過模擬人類智慧的能力，使計算機能夠執行類似於人類的決策和任務。程式語言如Python因其強大的資料處理庫和簡潔的語法，成為AI程式設計的常用工具。

  • codeium.vim
  • Cursor
  • GitHub Copilot
  • Comate
  • StableCode
  • CodeGeeX
  • TabbyML
  • CodeArts Snap
  • Code Llama
  • CodeFuse
  • 姜子牙
  • CodeShell

5.工具和平臺

LLM 技術圖譜（LLM Tech Map）的工具和平臺部分主要包括以下幾個方面：

  • LLMOps：簡單點說（大家當前在說的），就是“快速從大模型到應用”。
  • 大模型聚合平臺：匯聚大模型能力，提供服務。
  • 開發工具：其它開發相關的 LLM 工具。

5.1 LLMOps

  • BentoML
  • LangChain
  • Dify.ai
  • Semantic Kernel
  • Arize-Phoenix
  • GPTCache
  • Flowise

5.2 大模型聚合平臺（☆）

  • Gitee AI
  • SOTA！模型
  • 魔搭ModelScope
  • Hugging Face

5.3 開發工具

  • v0
  • txtai
  • Jina-AI
  • Deco
  • imgcook
  • Quest AI
  • CodiumAI
  • Codeium Vim
  • Project IDX
  • MakerSuite

6.算力

LLM 模型的訓練和部署需要大量的算力，算力是 LLM 技術發展的關鍵因素。

  • 英偉達
  • 昇騰
  • AMD
  • 海光
  • 崑崙芯
  • 天數智芯

相關文章