本地化部署是GPT發展的一個趨勢。
本地化部署指的是將大模型部署在使用者自己的裝置上，而不是依賴於雲服務商提供的介面。本地化部署有以下幾個優勢：
- 資料完全私有化，降低資料丟失和洩露風險，對資料安全性和私密性有保障。
- 降低使用成本，不需要支付雲服務商的訂閱費用或按量計費。
- 提高使用靈活性，可以根據自己的需求定製大模型的功能和引數。
- 提高使用效率，不受網路延遲和穩定性的影響。
由於大模型實在是太耗費伺服器資源，註定了可以提供大模型服務的只能是大廠。大廠也不是慈善家，參考openai的定價策略，每月20美元的訂閱費用並不是一筆小數目，因此本地化部署，將龐大的算力分攤到使用者側，是未來大模型發展的一個分支。
目前已經有許多支援本地化部署的大模型：像Chat GLM、LLAMA、Alpaca、Vicuna等需要具備一定的程式設計經驗才可以本地化部署一個私有的大模型。
而gpt4all、text-generation-webui等已經可以像安裝軟體一樣方便的本地化部署一個大模型了。
隨著谷歌將WebGPU帶入瀏覽器，透過瀏覽器使用使用者本地GPU也成為了可能，web-llm也應運而生。
但以上的大模型都需要使用電腦才能實現本地化大模型，而近期開源的mlc-llm已經支援在移動裝置上部署大模型。
連結：https://github.com/mlc-ai/mlc-llm
每個人都擁有一個私人助理的時代就要來了。[機智]