我正在尝试通过 PyTorch 训练分类器。但是,当我向模型提供训练数据时,我遇到了训练问题。我在 y_pred = model(X_trainTensor)
上收到此错误:
RuntimeError: 标量类型 Float 的预期对象,但参数 #4 'mat1' 的标量类型 Double
以下是我的代码的关键部分:
# Hyper-parameters
D_in = 47 # there are 47 parameters I investigate
H = 33
D_out = 2 # output should be either 1 or 0
# Format and load the data
y = np.array( df['target'] )
X = np.array( df.drop(columns = ['target'], axis = 1) )
X_train, X_test, y_train, y_test = train_test_split(X, y, train_size = 0.8) # split training/test data
X_trainTensor = torch.from_numpy(X_train) # convert to tensors
y_trainTensor = torch.from_numpy(y_train)
X_testTensor = torch.from_numpy(X_test)
y_testTensor = torch.from_numpy(y_test)
# Define the model
model = torch.nn.Sequential(
torch.nn.Linear(D_in, H),
torch.nn.ReLU(),
torch.nn.Linear(H, D_out),
nn.LogSoftmax(dim = 1)
)
# Define the loss function
loss_fn = torch.nn.NLLLoss()
for i in range(50):
y_pred = model(X_trainTensor)
loss = loss_fn(y_pred, y_trainTensor)
model.zero_grad()
loss.backward()
with torch.no_grad():
for param in model.parameters():
param -= learning_rate * param.grad
y_pred = model(X_trainTensor)
触发它。
model(float(X_trainTensor))
ValueError: only one element tensors can be converted to Python scalars
AttributeError: 'builtin_function_or_method' object has no attribute 'dim'
参考来自 this github issue。
当错误为 RuntimeError: Expected object of scalar type Float but got scalar type Double for argument #4 'mat1'
时,您需要使用 .float()
函数,因为它显示的是 Expected object of scalar type Float
。
因此,解决方案是将 y_pred = model(X_trainTensor)
更改为 y_pred = model(X_trainTensor.float())
。
同样,当您收到 loss = loss_fn(y_pred, y_trainTensor)
的另一个错误时,您需要 y_trainTensor.long()
,因为错误消息显示为 Expected object of scalar type Long
。
您也可以按照@Paddy 的建议执行model.double()
。
在转换为 Tensor
之前,试试这个
X_train = X_train.astype(np.float32)
可以通过将输入的数据类型设置为 Double 即 torch.float32
来解决此问题
我希望问题出现是因为您的数据类型是 torch.float64
。
您可以在设置数据时避免这种情况,如其他答案之一所述,或者使模型类型也与您的数据相同。即使用float64 或float32。
对于调试,打印 obj.dtype 并检查一致性。
让我们这样做:
df['target'] = df['target'].astype(np.float32)
也适用于 x 功能
如果选择了错误的损失函数,也会出现此问题。例如,如果您有回归问题,但您正在尝试使用交叉熵损失。然后通过更改 MSE 上的损失函数来修复它
尝试使用: target = target.float() # target 是错误的名称
PyTorch 的新手。出于某种原因,在 Google Colab 上使用所需的数据类型调用 torch.set_default_dtype()
对我有用。由于某种原因,network.double()
/network.float()
和 tensor.double()
/tensor.float()
没有任何效果。
试试这个例子:
from sentence_transformers import SentenceTransformer, util
import numpy as np
import torch
a = np.array([0, 1,2])
b = [[0, 1,2], [4, 5,6], [7,8,9]]
bb = np.zeros((3,3))
for i in range(0, len(b)):
bb[i,:] = np.array(b[i])
a = torch.from_numpy(a)
b = torch.from_numpy(bb)
a= a.float()
b = b.float()
cosine_scores = util.pytorch_cos_sim(b, a)
print(cosine_scores)
不定期副业成功案例分享