cosine_similarity和torch.cosine_similarity速度差異(人間奇事)
- 最近聚簇計算相似度,使用了下面兩種方法。
- 一開始用的sklearn,因為沒有gpu
- 後來有了gpu就換上了pytorch
- gpu是V100
- batch=500(說是batch,只是為了預防超出記憶體,做的限制。
- 跑的是個迴圈
- 速度大概是這樣子的:
- torch的cosine:cpu 3s/it,gpu v100 1.8s/it
- sklear:cpu 50it/s
- 總之這個速度差就很離譜,有誰能做個解釋嗎?
from sklearn.metrics.pairwise import cosine_similarity
emb_sim = torch.cosine_similarity(torch.tensor([update_text['embed']],device=self.device), torch.tensor(cluster_embed,device=self.device))#返回尺寸[batch,]
和
emb_sim = cosine_similarity(np.array([update_text['embed']]), np.array(cluster_embed))#返回[1,batch]
相關文章
- Bootstrap和Tailwind CSS之間的差異?bootAICSS
- 工作流和BPM之間的差異
- Spark和Hadoop之間的主要技術差異和選擇SparkHadoop
- UDP和TCP的差異UDPTCP
- 示例解讀 Python 2 和 Python 3 之間的主要差異Python
- CentOS/RHEL 7:Chrony vs NTP(ntpd和chronyd之間的差異)CentOS
- 能動性:知識分子和企業家之間的差異
- Git比對檔案之間的差異Git
- SQL Server 2017 各版本之間的差異SQLServer
- 線上json差異比較工具--遞迴比較兩個json的節點和值的差異,並支援差異數預覽和逐個檢視差異JSON遞迴
- 5G和Wi-Fi 6之間究竟有什麼差異
- Akka 和 Storm 的設計差異ORM
- Oracle中exists和in的效能差異Oracle
- js中split,splice,slice方法之間的差異。JS
- 技術分享|SQL和 NoSQL資料庫之間的差異:MySQL(VS)MongoDB資料庫MySqlMongoDB
- 人與人的差異,是先天還是後天形成的?
- 聊聊t-io和netty的差異Netty
- 共享辦公室租賃,空間差異化增值
- [譯] 測試原生,Flutter 和 React Native 移動開發之間的效能差異FlutterReact Native移動開發
- mac和windows執行maven命令的差異MacWindowsMaven
- 談談 mysql和oracle的使用感受 -- 差異MySqlOracle
- MariaDB 和 GreatSQL 效能差異背後的真相SQL
- MySQL中myisam和innodb有什麼差異?MySql
- Linux和Windows的差異?0基礎需知!LinuxWindows
- [譯] 另外 5 種關於視覺和認知間差異的繪畫練習視覺
- 譯:原生iOS應用程式和原生Android應用程式設計之間的差異iOSAndroid程式設計
- 非易失性儲存器Flash和EEPROM之間的差異與優缺點
- mysql時間操作(時間差和時間戳和時間字串的互轉)MySql時間戳字串
- 怎樣解決程式語言之間的差異性問題?
- 對於 JavaScript 中迴圈之間的技術差異概述JavaScript
- 瀏覽器極速模式和相容模式差異瀏覽器模式
- IRequiresSessionState和IReadOnlySessionState應用上的一些差異UISession
- [譯]React函式元件和類元件的差異React函式元件
- BeanPostProcessor 介面和@PostConstruct 在使用姿勢上差異BeanStruct
- list對比差異
- IaC 管理新思路:Walrus 和 Terraform 的差異化探索ORM
- 細述企業級儲存NAS和SAN差異
- 阿里雲防火牆和安全組都有什麼差異?阿里防火牆