Pytorch框架之tensor.grad
tensor的grad相關的屬性
QQ:3020889729 小蔡
grad – tensor的梯度屬性
檢視需要記錄梯度的引數的梯度值
'''
給某一個變數開啟梯度記錄,然後投入運算中,獲取運算操作並進入計算圖中
經過一系列操作後,利用輸出的y進行backward反向計算--獲取x的梯度值
ps: 最後backward時的引數--這裡是y,必須是scaler -- 標量才可以計算梯度
'''
x = torch.tensor([2., 4., 6.])
x.requires_grad = True # 開啟梯度
y = x.T * x * 2 # 開始構建計算圖
y.sum().backward()
print(x.grad)
Code | |
---|---|
tensor.grad | grad_value |
backward – tensor計算梯度的方法
根據當前呼叫backward()的tensor 往前計算梯度 — 呼叫backward的tensor需要為scaler(標量).
[ps: 要想呼叫backward, 要保證當前tensor所包含的變數運算過程中存在requires_grad的tensor(或上一步運算存在)]
正常執行:
x = torch.tensor([2., 4., 6.])
x.requires_grad = True # 開啟梯度
y = x.T * x * 2 # 開始構建計算圖
y.sum().backward()
print(x.grad) # 輔助檢測backward是否正常執行
使用未記錄梯度的tensor進行運算,無法使用backward方法計算梯度
相關文章
- Pytorch框架之tensor型別轉換(type, type_as)PyTorch框架型別
- 【Pytorch教程】迅速入門Pytorch深度學習框架PyTorch深度學習框架
- pytorch之TensorPyTorch
- Pytorch框架詳解之一PyTorch框架
- TensorFlow與PyTorch之爭,哪個框架最適合深度學習PyTorch框架深度學習
- pytorch---之halfTensorPyTorch
- 《PyTorch》Part5 PyTorch之遷移學習PyTorch遷移學習
- pytorch之---relu,prelu,leakyreluPyTorch
- pytorch之hub模組PyTorch
- Python AI框架-PyTorch 1.0即將開源PythonAI框架PyTorch
- Pyinstaller打包Pytorch框架所遇到的問題PyTorch框架
- 深度學習框架Pytorch學習筆記深度學習框架PyTorch筆記
- Pytorch學習筆記之tensorboardPyTorch筆記ORB
- Pytorch系列之常用基礎操作PyTorch
- Make Your First GAN With PyTorch 之 第一個 PyTorch 神經網路PyTorch神經網路
- Keras vs PyTorch:誰是「第一」深度學習框架?KerasPyTorch深度學習框架
- 2019機器學習框架之爭:與Tensorflow競爭白熱化,進擊的PyTorch贏在哪裡?機器學習框架PyTorch
- 全面解析Pytorch框架下模型儲存,載入以及凍結PyTorch框架模型
- bo 框架之 beego 框架 model curd框架Go
- pytorch---之隨機種子初始化PyTorch隨機
- Pytorch之Embedding與Linear的愛恨糾葛PyTorch
- transformer多頭注意力的不同框架實現(tensorflow+pytorch)ORM框架PyTorch
- 【SSH框架】系列之 Spring 整合 Hibernate 框架框架Spring
- CodeIgniter框架之模型框架模型
- java框架之mybatisJava框架MyBatis
- Python之Selenium 框架Python框架
- Web框架之TornadoWeb框架
- python 之 pytest框架Python框架
- Android精通之OrmLite資料庫框架,Picasso框架,Okio框架,OKHttp框架AndroidORM資料庫框架HTTP
- pytorch---之固定某些層權重再訓練PyTorch
- 【小白學PyTorch】8 實戰之MNIST小試牛刀PyTorch
- [原始碼解析] PyTorch 分散式(7) ----- DistributedDataParallel 之程式組原始碼PyTorch分散式Parallel
- 哪一個深度學習框架增長最迅猛?TensorFlow 還是 PyTorch?深度學習框架PyTorch
- pytorch框架對RTX 2080Ti RTX 3090的支援與效能測試PyTorch框架
- Pytext 簡介——Facebook 基於 PyTorch 的自然語言處理 (NLP) 框架PyTorch自然語言處理框架
- [原始碼解析] PyTorch 分散式(17) --- 結合DDP和分散式 RPC 框架原始碼PyTorch分散式RPC框架
- java框架之Hibernate框架知識點整理。Java框架
- 中介軟體增強框架之-CaptureFramework框架框架APTFramework