cosine_similarity和torch.cosine_similarity速度差異(人間奇事)
- 最近聚簇計算相似度,使用了下面兩種方法。
- 一開始用的sklearn,因為沒有gpu
- 後來有了gpu就換上了pytorch
- gpu是V100
- batch=500(說是batch,只是為了預防超出記憶體,做的限制。
- 跑的是個迴圈
- 速度大概是這樣子的:
- torch的cosine:cpu 3s/it,gpu v100 1.8s/it
- sklear:cpu 50it/s
- 總之這個速度差就很離譜,有誰能做個解釋嗎?
from sklearn.metrics.pairwise import cosine_similarity
emb_sim = torch.cosine_similarity(torch.tensor([update_text['embed']],device=self.device), torch.tensor(cluster_embed,device=self.device))#返回尺寸[batch,]
和
emb_sim = cosine_similarity(np.array([update_text['embed']]), np.array(cluster_embed))#返回[1,batch]
相關文章
- Bootstrap和Tailwind CSS之間的差異?bootAICSS
- 工作流和BPM之間的差異
- 系統之間差異
- ERP差異來源和差異處理
- 網路虛擬化、NFV和SDN之間的差異
- Spark和Hadoop之間的主要技術差異和選擇SparkHadoop
- UDP和TCP的差異UDPTCP
- vue和react的差異VueReact
- Windows各個系列啟動速度差異的奧秘(轉)Windows
- Git比對檔案之間的差異Git
- 程式、會話、連線之間的差異會話
- 線上json差異比較工具--遞迴比較兩個json的節點和值的差異,並支援差異數預覽和逐個檢視差異JSON遞迴
- Oracle中exists和in的效能差異Oracle
- 示例解讀 Python 2 和 Python 3 之間的主要差異Python
- 碼農和程式設計師之間的5個關鍵差異程式設計師
- js中split,splice,slice方法之間的差異。JS
- 技術分享|SQL和 NoSQL資料庫之間的差異:MySQL(VS)MongoDB資料庫MySqlMongoDB
- 《卸甲筆記》-PostgreSQL和Oracle的SQL差異分析之五:函式的差異(五)筆記SQLOracle函式
- 《卸甲筆記》-PostgreSQL和Oracle的SQL差異分析之五:函式的差異(三)筆記SQLOracle函式
- 《卸甲筆記》-PostgreSQL和Oracle的SQL差異分析之五:函式的差異(一)筆記SQLOracle函式
- SQL server差異備份和還原SQLServer
- Java和C++的基本差異(轉)JavaC++
- SQL Server 2017 各版本之間的差異SQLServer
- For Update操作分析——不同Oracle版本之間的差異研究Oracle
- ChromeDriver版本差異Chrome
- 中西IT差異論
- UI vs UX:使用者介面和使用者體驗之間的差異UIUX
- 空字串和空格字串在informix和oralce 的差異字串ORM
- 談談 mysql和oracle的使用感受 -- 差異MySqlOracle
- MySQL中myisam和innodb有什麼差異?MySql
- 聊聊t-io和netty的差異Netty
- mac和windows執行maven命令的差異MacWindowsMaven
- 人工智慧和機器學習之間的差異及其重要性,一定要分清楚人工智慧機器學習
- [譯] 另外 5 種關於視覺和認知間差異的繪畫練習視覺
- [譯] 測試原生,Flutter 和 React Native 移動開發之間的效能差異FlutterReact Native移動開發
- 非易失性儲存器Flash和EEPROM之間的差異與優缺點
- mysql時間操作(時間差和時間戳和時間字串的互轉)MySql時間戳字串
- [譯]React函式元件和類元件的差異React函式元件