Skip to content

torch.nn.functional

卷积函数

torch.nn.functional.conv1d(input, weight, bias=None, stride=1, padding=0, dilation=1, groups=1) → Tensor 

source

对由几个平面组成的输入进行卷积操作 对于细节和输出形状,详细可见Conv1d

参数:

input:输入的张量形状(minibatch x in_channels x iW)
weight – 过滤器的形状 (out_channels, in_channels, kW) 
bias – 可选偏置的形状(out_channels)默认值:None
stride – 卷积内核的步长,默认为 1 
padding – 输入上的隐含零填充。可以是单个数字或元组。默认值:0 
dilation – 内核元素之间的间距。默认值:1 
groups – 将输入分成组,in_channels 应该被组数整除。默认值:1 

举例:

>>> filters = autograd.Variable(torch.randn(33, 16, 3)
>>> inputs = autograd.Variable(torch.randn(20, 16, 50))
>>> F.conv1d(inputs, filters) 

torch.nn.functional.conv2d(input, weight, bias=None, stride=1, padding=0, dilation=1, groups=1) → Tensor 

source

在由几个输入平面组成的输入图像上应用 2D 卷积。 对于细节和输出形状详细可见Conv2d

参数:

input – 输入的张量 (minibatch x in_channels x iH x iW) 
weight – 过滤器 (out_channels, in_channels/groups, kH, kW) 
bias – 可选偏置张量(out_channels)。默认值:None 
stride – 卷积核的步长,可以是单个数字或元组(sh x sw)。默认值:1 
padding – 输入中默认 0 填充。可以是单个数字或元组。默认值:0 
dilation – 核元素之间的间距。默认值:1 
groups – 将输入分成组,in_channels 应该被组数整除。默认值:1 

举例:

>>> # With square kernels and equal stride
>>> filters = torch.randn(8,4,3,3)
>>> inputs = torch.randn(1,4,5,5)
>>> F.conv2d(inputs, filters, padding=1) 

torch.nn.functional.conv3d(input, weight, bias=None, stride=1, padding=0, dilation=1, groups=1) → Tensor 

source

在由几个输入平面组成的输入图像上应用 3D 卷积。 对于细节和输出形状,查看Conv3d

参数:

input – 输入张量的形状 (minibatch x in_channels x iT x iH x iW)
weight – 过滤器的形状 (out_channels x in_channels/groups x kT x kH x kW)
bias – 可选的偏差项的大小(out_channels).默认值是:None
stride – 卷积核的步长,可以是单个数字或元组(st x sh x sw).默认值:1
padding – 在输入中默认的 0 填充。可以是单个数字或元组(padT, padH, padW).默认值:0
dilation – 核元素之间的间距(dT, dH, dW)。默认值:1
groups – 将输入分成组,in_channels 应该被组数整除。默认值:1 

举例:

>>> filters = torch.randn(33, 16, 3, 3, 3)
>>> inputs = torch.randn(20, 16, 50, 10, 20)
>>> F.conv3d(inputs, filters) 

torch.nn.functional.conv_transpose1d(input, weight, bias=None, stride=1, padding=0, output_padding=0, groups=1, dilation=1) → Tensor 

source

在由几个输入平面组成的输入图像上应用 1D 转置卷积,有时也被称为去卷积。 有关详细信息和输出形状,参考ConvTranspose1d

参数:

input:输入的张量形状(minibatch x in_channels x iW)
weight – 过滤器的形状 (in_channels x out_channels/groups x kW) 
bias – 可选偏置的形状(out_channels)默认值:None
stride – 卷积内核的步长,也可以是一个数字或者元组(sW),默认为 1 
padding – 输入上的隐含零填充(0≤padding<stride)。可以是单个数字或者元组(padW)。默认值:0 
output_padding-在两端的进行 0 填充(0≤padding<stride),可以是个单一数字或者元组(out_padW)。默认是 0。
dilation – 内核元素之间的间距。可以是单个数字或者元组(dW)。默认值:1 
groups – 将输入分成组,in_channels 应该被组数整除。默认值:1 

举例:

>>> inputs = torch.randn(20, 16, 50)
>>> weights = torch.randn(16, 33, 5)
>>> F.conv_transpose1d(inputs, weights)
> 

torch.nn.functional.conv_transpose2d(input, weight, bias=None, stride=1, padding=0, output_padding=0, groups=1, dilation=1) → Tensor 

source

在由几个输入平面组成的输入图像上应用 2D 转置卷积,有时也被称为去卷积。 有关详细信息和输出形状,参考ConvTranspose2d

参数:

input:输入的张量形状(minibatch x in_channels x iH x iW)
weight – 过滤器的形状 (in_channels x out_channels/groups x kH x kW) 
bias – 可选偏置的形状(out_channels)默认值:None
stride – 卷积内核的步长,也可以是一个数字或者元组(sH,sW),默认为 1 
padding – 输入上的隐含零填充(0≤padding<stride)。可以是单个数字或者元组(padH,padW)。默认值:0 
output_padding-在两端的进行 0 填充(0≤padding<stride),可以是个单一数字或者元组( out_padH, out_padW)。默认是 0。
dilation – 内核元素之间的间距。可以是单个数字或者元组(dH,dW)。默认值:1 
groups – 将输入分成组,in_channels 应该被组数整除。默认值:1 

举例:

>>> # With square kernels and equal stride
>>> inputs = torch.randn(1, 4, 5, 5)
>>> weights = torch.randn(4, 8, 3, 3)
>>> F.conv_transpose2d(inputs, weights, padding=1) 

torch.nn.functional.conv_transpose3d(input, weight, bias=None, stride=1, padding=0, output_padding=0, groups=1, dilation=1) → Tensor 

source 在由几个输入平面组成的输入图像上应用 3D 转置卷积,有时也被称为去卷积。 有关详细信息和输出形状,参考ConvTranspose3d

参数:

input:输入的张量形状(minibatch x in_channels x iT x iH x iW)
weight – 过滤器的形状 (in_channels x out_channels/groups x kT x kH x kW) 
bias – 可选偏置的形状(out_channels)默认值:None
stride – 卷积内核的步长,也可以是一个数字或者元组(sT,sH,sW),默认为 1 
padding – 在输入的两端上的隐含零填充。可以是单个数字或者元组(padT,padH,padW)。默认值:0 
output_padding-在两端的进行 0 填充(0≤padding<stride),可以是个单一数字或者元组(out_padT, out_padH, out_padW)。默认是 0。
dilation – 内核元素之间的间距。可以是单个数字或者元组(dT,dH,dW)。默认值:1 
groups – 将输入分成组,in_channels 应该被组数整除。默认值:1 

举例:

>>> inputs = torch.randn(20, 16, 50, 10, 20)
>>> weights = torch.randn(16, 33, 3, 3, 3)
>>> F.conv_transpose3d(inputs, weights) 

池化函数

torch.nn.functional.avg_pool1d(input, kernel_size, stride=None, padding=0, ceil_mode=False, count_include_pad=True) 

source

对由几个输入平面组成的输入进行 1D 平均池化。 有关详细信息和输出形状,参考AvgPool1d

参数:

input – 输入的张量 (minibatch x in_channels x iW)
kernel_size – 池化区域的大小,可以是单个数字或者元组 (kw)
stride – 池化操作的步长,可以是单个数字或者元组 (ssw)。默认值等于内核大小
padding – 在输入上隐式的零填充,可以是单个数字或者一个元组 ( padw),默认: 0
ceil_mode – 当为 True 时,公式中将使用 ceil 而不是 floor 来计算输出形状。默认值:False
count_include_pad – 当为 True 时,将包括平均计算中的零填充。默认值:True 

举例:

>>> # pool of square window of size=3, stride=2
>>> input = torch.tensor([[[1,2,3,4,5,6,7]]])
>>> F.avg_pool1d(input, kernel_size=3, stride=2)
tensor([[[ 2.,  4.,  6.]]]) 

torch.nn.functional.avg_pool2d(input, kernel_size, stride=None, padding=0, ceil_mode=False, count_include_pad=True) → Tensor 

source

通过步长 dh x dw 步骤在 kh x kw 区域中应用二维平均池操作。输出特征的数量等于输入平面的数量。

有关详细信息和输出形状,参考AvgPool2d

参数:

input – 输入的张量 (minibatch x in_channels x iH x iW)
kernel_size – 池化区域的大小,可以是单个数字或者元组 (kh x kw)
stride – 池化操作的步长,可以是单个数字或者元组 (sh x sw)。默认值等于内核大小
padding – 在输入上隐式的零填充,可以是单个数字或者一个元组 (padh x padw),默认: 0
ceil_mode – 当为 True 时,公式中将使用 ceil 而不是 floor 来计算输出形状。默认值:False
count_include_pad – 当为 True 时,将包括平均计算中的零填充。默认值:True 

torch.nn.functional.avg_pool3d(input, kernel_size, stride=None, padding=0, ceil_mode=False, count_include_pad=True) → Tensor 

source

通过步长 dt x dh x dw 步骤在 kt x kh x kw 区域中应用 3D 平均池操作。输出功能的数量等于输入平面数/ dt。 有关详细信息和输出形状,参考AvgPool3d

参数:

input – 输入的张量 (minibatch x in_channels x iT x iH x iW)
kernel_size – 池化区域的大小,可以是单个数字或者元组 (kT x kh x kw)
stride – 池化操作的步长,可以是单个数字或者元组 (sT x sh x sw)。默认值等于内核大小
padding – 在输入上隐式的零填充,可以是单个数字或者一个元组 (padT x padh x padw),默认: 0
ceil_mode – 当为 True 时,公式中将使用 ceil 而不是 floor 来计算输出形状。默认值:False
count_include_pad – 当为 True 时,将包括平均计算中的零填充。默认值:True 

torch.nn.functional.max_pool1d(input, kernel_size, stride=None, padding=0, dilation=1, ceil_mode=False, return_indices=False) 

source

对由几个输入平面组成的输入进行 1D 最大池化。 有关详细信息和输出形状,参考MaxPool1d


torch.nn.functional.max_pool2d(input, kernel_size, stride=None, padding=0, dilation=1, ceil_mode=False, return_indices=False) 

source

对由几个输入平面组成的输入进行 2D 最大池化。 有关详细信息和输出形状,参考MaxPool2d


torch.nn.functional.max_pool3d(input, kernel_size, stride=None, padding=0, dilation=1, ceil_mode=False, return_indices=False) 

source

对由几个输入平面组成的输入进行 3D 最大池化。 有关详细信息和输出形状,参考MaxPool3d


torch.nn.functional.max_unpool1d(input, indices, kernel_size, stride=None, padding=0, output_size=None) 

计算 MaxPool1d 的部分逆。

有关详细信息和输出形状,参考MaxUnPool1d


torch.nn.functional.max_unpool2d(input, indices, kernel_size, stride=None, padding=0, output_size=None) 

计算 MaxPool2d 的部分逆。

有关详细信息和输出形状,参考MaxUnPool2d


torch.nn.functional.max_unpool3d(input, indices, kernel_size, stride=None, padding=0, output_size=None) 

计算 MaxPool3d 的部分逆。

有关详细信息和输出形状,参考MaxUnPool3d


torch.nn.functional.lp_pool1d(input, norm_type, kernel_size, stride=None, ceil_mode=False) 

适用在几个输入平面组成的输入信号的 1D power-平均池。

有关详细信息LPPool1d


torch.nn.functional.lp_pool2d(input, norm_type, kernel_size, stride=None, ceil_mode=False) 

适用在几个输入平面组成的输入信号的 2D power-平均池。

有关详细信息LPPool2d


torch.nn.functional.adaptive_max_pool1d(input, output_size, return_indices=False) 

source

对由多个输入平面组成的输入进行 1D 自适应最大池化。

有关详细信息可见AdaptiveMaxPool1d


torch.nn.functional.adaptive_max_pool2d(input, output_size, return_indices=False) 

source

对由多个输入平面组成的输入进行 2D 自适应最大池化。

有关详细信息可见AdaptiveMaxPool2d


torch.nn.functional.adaptive_max_pool3d(input, output_size, return_indices=False) 

source

对由多个输入平面组成的输入进行 3D 自适应最大池化。

有关详细信息可见AdaptiveMaxPool3d


torch.nn.functional.adaptive_avg_pool1d(input, output_size) → Tensor 

source

对由多个输入平面组成的输入进行 1D 自适应平均池化。

有关详细信息可见AdaptiveAvgPool1d


torch.nn.functional.adaptive_avg_pool2d(input, output_size) → Tensor 

source

对由多个输入平面组成的输入进行 2D 自适应平均池化。

有关详细信息可见AdaptiveAvgPool2d


torch.nn.functional.adaptive_avg_pool3d(input, output_size) → Tensor 

source

对由多个输入平面组成的输入进行 3D 自适应平均池化。

有关详细信息可见AdaptiveAvgPool3d

非线性激活函数

torch.nn.functional.threshold(input, threshold, value, inplace=False) 

source

对于输入的张量进行筛选

详细请看Threshold


torch.nn.functional.threshold_(input, threshold, value) 

source

和 threshold 函数一样

详细请看Threshold


torch.nn.functional.relu(input, inplace=False) → Tensor
torch.nn.functional.relu_(input) → Tensor 

source

对输入元素应用 relu 函数

详细请看Relu


torch.nn.functional.hardtanh(input, min_val=-1., max_val=1., inplace=False) → Tensor
torch.nn.functional.hardtanh_(input, min_val=-1., max_val=1.) → Tensor 

source

对输入元素应用 HardTanh 函数

详细请看Hardtanh


torch.nn.functional.relu6(input, inplace=False) → Tensor 

source

对输入元素应用 ReLU6 函数 ReLU6(x)=min(max(0,x),6)

详细请看ReLU6


torch.nn.functional.elu(input, alpha=1.0, inplace=False)
torch.nn.functional.elu_(input, alpha=1.) → Tensor 

source

对输入元素应用 ELU 函数 ELU(x)=max(0,x)+min(0,α∗(exp(x)−1))

详细请看ELU


torch.nn.functional.selu(input, inplace=False) → Tensor[source] 

详细可见selu


torch.nn.functional.leaky_relu(input, negative_slope=0.01, inplace=False) → Tensor
torch.nn.functional.leaky_relu_(input, negative_slope=0.01) → Tensor 

详细可见LeakyReLu


torch.nn.functional.prelu(input, weight) → Tensor 

详细可见PRelu


torch.nn.functional.rrelu(input, lower=1./8, upper=1./3, training=False, inplace=False) → Tensor
torch.nn.functional.rrelu_(input, lower=1./8, upper=1./3, training=False) → Tensor 

详细可见RRelu


torch.nn.functional.glu(input, dim=-1) → Tensor 

门控制线性单元 H=A×σ(B),输入张量将被按照特定维度分成一半是 A,一半是 B

可以参看论文Language Modeling with Gated Convolutional Networks

参数:

input:输入的张量
dim:需要被分割的输入张量的维度 

torch.nn.functional.logsigmoid(input) → Tensor 

具体细节可以看LogSigmoid


torch.nn.functional.hardshrink(input, lambd=0.5) → Tensor 

具体细节可以看Hardshrink


torch.nn.functional.tanhshrink(input, lambd=0.5) → Tensor 

具体细节可以看Tanhshrink


torch.nn.functional.softsign(input, lambd=0.5) → Tensor 

具体细节可以看Softsign


torch.nn.functional.softplus(input, beta=1, threshold=20) → Tensor 

torch.nn.functional.softmin(input, dim=None, _stacklevel=3) 

应用 softmin 函数 请注意 Softmin(x)= Softmax(-x)。 请参阅数学公式的 softmax 定义。

具体细节可以看Softmin

参数:

input:输入张量
dim:softmin 将被计算的维度(因此每个沿着 dim 的切分将总计为 1)。 

torch.nn.functional.softmax(input, dim=None, _stacklevel=3 

Softmax(x_i)=exp(x_i)/∑_jexp(x_j)

它被应用于沿着对应维度的所有切分,并且将对它们进行重新缩放,以使得这些元素位于范围(0,1)中并且总计为 1。

具体细节可以看Softmax

参数:

input:输入张量
dim:softmax 被计算的维度。 

torch.nn.functional.softshrink(input, lambd=0.5) → Tensor 

具体细节可以看Softshrink


torch.nn.functional.log_softmax(input, dim=None, _stacklevel=3) 

尽管在数学上等同于 log(softmax(x)),但单独执行这两个操作会更慢,并且数值不稳定。 该函数使用替代公式来正确计算输出和梯度。

具体细节可以看LogSoftmax


torch.nn.functional.tanh(input) → Tensor 

具体细节可以看Tanh


torch.nn.functional.sigmoid(input) → Tensor 

sigmoid(x) = 1/1+exp(-x)

具体细节可以看Sigmoid

归一化函数


torch.nn.functional.batch_norm(input, running_mean, running_var, weight=None, bias=None, training=False, momentum=0.1, eps=1e-05) 

source

具体细节可以看BatchNorm1d BatchNorm2d BatchNorm3d


torch.nn.functional.instance_norm(input, running_mean=None, running_var=None, weight=None, bias=None, use_input_stats=True, momentum=0.1, eps=1e-05) 

source

具体细节可以看InstanceNorm1d InstanceNorm2d InstanceNorm3d


torch.nn.functional.layer_norm(input, normalized_shape, weight=None, bias=None, eps=1e-05) 

具体细节可以看LayerNorm


torch.nn.functional.local_response_norm(input, size, alpha=0.0001, beta=0.75, k=1) 

对由多个输入平面组成的输入应用本地响应规范化,其中通道占据第二维。 通道应用归一化。

具体细节可以看LocalResponseNorm


torch.nn.functional.normalize(input, p=2, dim=1, eps=1e-12) 

source

对指定维度的输入执行\(\(L_p\)\)标准化。

\[v = \frac{v}{\max(\lVert v \rVert_p, \epsilon)}\]

对于输入的维度 dim 的每个子扩展 v。 每个子扩张被平化成一个向量,即‖v‖p 不是一个矩阵范数。

使用默认参数在第二维上用欧几里得范数进行归一化。

参数:

input - 输入张量的形状
p(float) - 规范公式中的指数值。默认值:2
dim(int) - 要缩小的维度。默认值:1
eps(float) - 小值以避免除以零。默认值:1e-12 

线性函数

torch.nn.functional.linear(input, weight, bias=None) 

对于输入数据进行线性变化:\(\(y = xA^T+b\)\).

形状:

Input: (N,∗,in_features)(N,∗,in_features)这里的*表示为任意数量的附加维度
Weight: (out_features,in_features)(out_features,in_features)
Bias: (out_features)(out_features)
Output: (N,∗,out_features) 

Dropout 函数

torch.nn.functional.dropout(input, p=0.5, training=False, inplace=False) 

source


torch.nn.functional.alpha_dropout(input, p=0.5, training=False) 

source

详细可见alpha_dropout

参数:

p(float,optional)-丢弃的可能性,默认是 0.5
training(bool,optinal)-在训练模型和验证模型之间的切换,默认是 false 

torch.nn.functional.dropout2d(input, p=0.5, training=False, inplace=False) 

source


torch.nn.functional.dropout3d(input, p=0.5, training=False, inplace=False) 

source


距离函数

torch.nn.functional.pairwise_distance(x1, x2, p=2, eps=1e-06, keepdim=False) 

详细可见 PairwiseDistance


torch.nn.functional.cosine_similarity(x1, x2, dim=1, eps=1e-08) 

source

计算向量 v1、v2 之间的距离 \(\(similarity = \frac{x_1 x x_2}{\max(\lVert v_1 \rVert_2 x \max(\lVert v_2 \rVert_2,\epsilon)}\)\)

参数:

x1 (Variable) – 首先输入参数.
x2 (Variable) – 第二个输入参数 (of size matching x1).
dim (int, optional) – 向量维数. 默认为: 1
eps (float, optional) – 小值避免被零分割。默认为: 1e-8 模型: 

形状:

input: (∗1,D,∗2)(∗1,D,∗2) D 是位置维度
output: (∗1,∗2)(∗1,∗2) 1 是位置维度 

举例:

>>> input1 = autograd.Variable(torch.randn(100, 128))
>>> input2 = autograd.Variable(torch.randn(100, 128))
>>> output = F.cosine_similarity(input1, input2)
>>> print(output) 

损失函数

torch.nn.functional.binary_cross_entropy(input, target, weight=None, size_average=True, reduce=True) 

source

测量目标和输出之间的二进制交叉熵的函数。

详细可见BCELoss

参数:

input:任意维度
target:与输入维度相同
weight(张量,可选):如果提供的权重矩阵能匹配输入张量形状,则手动调整重量
size_average(布尔值,可选):默认情况下,对每个小批次的损失进行平均观察。 但是,如果 field size_average 设置为 False,则每个小批次的损失将相加。 默认值:True
reduce(布尔值,可选):默认情况下,根据 size_average 的不同,对每个小批次的损失进行平均或累计。 当 reduce 为 False 时,将返回每个输入/目标元素的损失,而忽略 size_average。 默认值:True 

举例:

>>> input = torch.randn((3, 2), requires_grad=True)
>>> target = torch.rand((3, 2), requires_grad=False)
>>> loss = F.binary_cross_entropy(F.sigmoid(input), target)
>>> loss.backward() 

torch.nn.functional.poisson_nll_loss(input, target, log_input=True, full=False, size_average=True, eps=1e-08, reduce=True) 

source

泊松负对数似然损失 详细可见PoissonNLLLoss

参数:

input:按照泊松分布的期望
target:随机样例 target~Poisson(input)
log_input:如果为真,则损失计算为 exp(inout)-target * input,如果为 False,则 input-target *log⁡(input + eps)。 默认值:True
full:是否计算完全损失。即添加斯特林近似项。 默认值:False target * log(target)-target + 0.5 * log(2 *π* target)
size_average:默认情况下,对每个小批次的损失进行平均观察。 但是,如果 field size_average 设置为 False,则每个小批次的损失将相加。 默认值:True
eps(float,可选) - 当 log_input`=“False”时避免评估 log(0)log⁡(0)的较小值。 默认:1e-8
reduce(布尔值,可选):默认情况下,根据每个小批次的观测结果对损失进行平均,或根据 size_average 进行汇总。 如果 reduce 为 False,则返回每批损失,并忽略 size_average。 默认值:True 

torch.nn.functional.cosine_embedding_loss(input1, input2, target, margin=0, size_average=True, reduce=True) → Tensor 

source

详细可见CosineEmbeddingLoss


torch.nn.functional.cross_entropy(input, target, weight=None, size_average=True, ignore_index=-100, reduce=True) 

source

该标准将 log_softmax 和 nll_loss 结合在一个函数中。

CrossEntropyLoss

参数:

input(张量)- (N,C) 其中,C 是类别的个数
target(张量)- (N) 其大小是 0 <= targets[i] <= C-1 1\. weight (Variable, optional) – (N) 其大小是 0 <= targets[i] <= C-1
weight (张量, optional) – 为每个类别提供的手动权重。如果给出,必须是大小为 C 的张量
size_average (bool, optional) – 默认情况下,是 mini-batchloss 的平均值;如果 size_average=False,则是 mini-batchloss 的总和。
ignore_index(int,可选) - 指定被忽略且不对输入渐变有贡献的目标值。当 size_average 为 True 时,对非忽略目标的损失是平均的。默认值:-100
reduce(布尔值,可选)-默认情况下,根据每个小批次的观测结果对损失进行平均,或根据 size_average 进行汇总。 如果 reduce 为 False,则返回每批损失,并忽略 size_average。 默认值:True 

举例:

>>> input = torch.randn(3, 5, requires_grad=True)
>>> target = torch.randint(5, (3,), dtype=torch.int64)
>>> loss = F.cross_entropy(input, target)
>>> loss.backward() 

torch.nn.functional.hinge_embedding_loss(input, target, margin=1.0, size_average=True, reduce=True) → Tensor 

source

详细可见HingeEmbeddingLoss


torch.nn.functional.kl_div(input, target, size_average=True) → Tensor 

source

The Kullback-Leibler divergence Loss

详细可见KLDivLoss

参数:

input – 变量的任意形状
target - 与输入相同形状的变量
size_average – 如果是真的,输出就除以输入张量中的元素个数
reduce(布尔值,可选)-默认情况下,根据每个小批次的观测结果对损失进行平均,或根据 size_average 进行汇总。 如果 reduce 为 False,则返回每批损失,并忽略 size_average。 默认值:True 

torch.nn.functional.l1_loss(input, target, size_average=True, reduce=True) → Tensor 

详细可见L1Loss


torch.nn.functional.mse_loss(input, target, size_average=True, reduce=True) → Tensor 

详细可见MSELoss


torch.nn.functional.margin_ranking_loss(input, target, size_average=True, reduce=True) → Tensor 

详细可见MarginRankingLoss


torch.nn.functional.multilabel_soft_margin_loss(input, target, size_average=True, reduce=True) → Tensor 

详细可见MultiLabelSoftMarginLoss


torch.nn.functional.multi_margin_loss(input, target, p=1, margin=1, weight=None, size_average=True, reduce=True) → Tensor 

详细可见MultiMarginLoss


torch.nn.functional.nll_loss(input, target, weight=None, size_average=True, ignore_index=-100, reduce=True) 

详细可见NLLLoss

参数:

input - \((N,C)\)其中 C =类的数量或( 2D,Loss )的情况下的(N,C,H,W) target - \((N)\),其中每个值为 0 <= targets [i] <= C-1
weight(可变,可选) - 给每个类别的手动重新调整重量。如果给定,必须变量大小是 C
size_average(bool,可选) - 默认情况下,损失是对每个小型服务器的观察值进行平均。如果 size_average 为 False,则对于每个 minibatch 都会将损失相加。默认值:True
ignore_index(int,可选) - 指定被忽略且不对输入渐变有贡献的目标值。当 size_average 为 True 时,对非忽略目标的损失是平均的。默认值:-100 

举例:

>>> # input is of size N x C = 3 x 5
>>> input = torch.randn(3, 5, requires_grad=True)
>>> # each element in target has to have 0 <= value < C
>>> target = torch.tensor([1, 0, 4])
>>> output = F.nll_loss(F.log_softmax(input), target)
>>> output.backward() 

torch.nn.functional.binary_cross_entropy_with_logits(input, target, weight=None, size_average=True, reduce=True) 

source

测量目标和输出逻辑之间二进制十进制熵的函数

详细可见BCEWithLogitsLoss

参数:

input - 任意形状的变量
target - 与输入形状相同的变量
weight(可变,可选) - 手动重量重量,如果提供重量以匹配输入张量形状
size_average(bool,可选) - 默认情况下,损失是对每个小型服务器的观察值进行平均。然而,如果字段 sizeAverage 设置为 False,则相应的损失代替每个 minibatch 的求和。默认值:True
reduce(布尔值,可选)-默认情况下,根据每个小批次的观测结果对损失进行平均,或根据 size_average 进行汇总。 如果 reduce 为 False,则返回每批损失,并忽略 size_average。 默认值:True 

举例:

>>> input = torch.randn(3, requires_grad=True)
>>> target = torch.empty(3).random_(2)
>>> loss = F.binary_cross_entropy_with_logits(input, target)
>>> loss.backward() 

torch.nn.functional.smooth_l1_loss(input, target, size_average=True, reduce=True) → Tensor 

详细可见SmoothL1Loss


torch.nn.functional.soft_margin_loss(input, target, size_average=True, reduce=True) → Tensor 

详细可见Soft_margin_loss


torch.nn.functional.triplet_margin_loss(anchor, positive, negative, margin=1.0, p=2, eps=1e-06, swap=False, size_average=True, reduce=True) 

详细可见TripletMarginLoss

视觉函数

torch.nn.functional.pixel_shuffle(input, upscale_factor) 

source

将形状为[_, C_r^2, H, W]的张量重新排列成形状为[C, H_r, W_r]的张量.

详细请看PixelShuffle

参数:

input (Variable) – 输入
upscale_factor (int) – 增加空间分辨率的因子. 

举例:

>>> ps = nn.PixelShuffle(3)
>>> input = autograd.Variable(torch.Tensor(1, 9, 4, 4))
>>> output = ps(input)
>>> print(output.size())
torch.Size([1, 1, 12, 12]) 

torch.nn.functional.pad(input, pad, mode='constant', value=0) 

source

填充张量.

可以参考torch.nn.ConstantPad2d, torch.nn.ReflectionPad2d, 和 torch.nn.ReplicationPad2d对于每个填充模式如何工作的具体例子。

参数:

input (Variable) – 4D 或 5D tensor
pad (tuple) – 4 元素 或 6-元素 tuple
mode – ‘constant’, ‘reflect’ or ‘replicate’
value – 用于 constant padding 的值. 

举例:

>>> t4d = torch.empty(3, 3, 4, 2)
>>> p1d = (1, 1) # pad last dim by 1 on each side
>>> out = F.pad(t4d, p1d, "constant", 0)  # effectively zero padding
>>> print(out.data.size())
torch.Size([3, 3, 4, 4])
>>> p2d = (1, 1, 2, 2) # pad last dim by (1, 1) and 2nd to last by (2, 2)
>>> out = F.pad(t4d, p2d, "constant", 0)
>>> print(out.data.size())
torch.Size([3, 3, 8, 4])
>>> t4d = torch.empty(3, 3, 4, 2)
>>> p3d = (0, 1, 2, 1, 3, 3) # pad by (0, 1), (2, 1), and (3, 3)
>>> out = F.pad(t4d, p3d, "constant", 0)
>>> print(out.data.size())
torch.Size([3, 9, 7, 3]) 

torch.nn.functional.upsample(input, size=None, scale_factor=None, mode='nearest', align_corners=None) 

source

Upsamples 输入内容要么就是给定的 size 或者 scale_factor 用于采样的算法是由模型决定的 目前支持的是空间和容量的采样,即期望输入的形状是 4-d 或 5-d。 输入尺寸被解释为:迷你批 x 通道 x 深度 x 高度 x 宽度 用于 upsampling 的模型是:线性的(仅 3D),双线性的(仅 4D),三线性(仅 5D)

参数:

input (Variable) – 输入内容
size (int or Tuple[int, int] or Tuple[int, int, int]) – 输出空间的大小。
scale_factor (int) – 乘数的空间大小。必须是一个整数。
mode (string) – 用于向上采样的算法: ‘nearest’ | ‘bilinear’ | ‘trilinear’
align_corners(bool,可选) - 如果为 True,则输入和输出张量的角点像素对齐,从而保留这些像素的值。 这只在模式为线性,双线性或三线性时才有效。 默认值:False 

警告:

使用 align_corners = True 时,线性插值模式(线性,双线性和三线性)不会按比例对齐输出和输入像素,因此输出值可能取决于输入大小。
这是这些模式到版本 0.3.1 的默认行为。 此后,默认行为是 align_corners = False。 有关这将如何影响输出的具体示例,请参见 Upsample。 

torch.nn.functional.upsample_nearest(input, size=None, scale_factor=None) 

source 使用最接近的邻居的像素值来对输入进行采样。

警告:

此功能已弃用,以支持 torch.nn.functional.upsample()。 这相当于 nn.functional.upsample(...,mode ='nearest')。 

目前支持空间和体积上采样(即预期的输入是 4 或 5 维)。

参数:

input (Variable) – 输入内容
size (int or Tuple[int, int]) – 输出空间的大小。
scale_factor (int or Tuple[int, int]) – 乘数的空间大小 

torch.nn.functional.upsample_bilinear(input, size=None, scale_factor=None) 

source 使用双线性向上采样来扩展输入

警告:

这个函数是被弃用的。使用 nn.functional。upsample 相反 预期的输入是空间的(4 维)。
使用 upsampletri 线性来进行体积(5 维)输入。 

参数:

input (Variable) – 输入内容
size (int or Tuple[int, int]) – 输出空间的大小。
scale_factor (int or Tuple[int, int]) – 乘数的空间大小 

torch.nn.functional.grid_sample(input, grid, mode='bilinear', padding_mode='zeros') 

source

给定输入和流场网格,使用网格中的输入像素位置计算输出。

使用双线性插值来对输入像素进行采样。 目前,仅支持空间(4 维)和体积(5 维)输入。

对于每个输出位置,网格具有用于计算输出的 x,y 输入像素位置。 在 5D 输入的情况下,网格具有 x,y,z 像素位置。

grid 的值在[-1,1]的范围内。 这是因为像素位置是由输入高度和宽度标准化的。

例如,值:x:-1,y:-1 是输入的左上像素,值:x:1,y:1 是输入的右下像素。

如果 grid 的值超出[-1,1]的范围,则按 padding_mode 的定义处理这些位置。 选项为零或边框,定义这些位置以使用 0 或图像边界值作为对双线性插值的贡献。

参数:

input(Tensor) - 输入批次(N x C x IH x IW)或(N x C x ID x IH x IW)
grid(Tensor) - 尺寸(N x OH x OW x 2)或(N x OD x OH x OW x 3)的流场,
padding_mode(str) - 用于外部网格值“零”|的填充模式 '边境'。 默认值:'零' 

返回:

output(tensor) 

torch.nn.functional.affine_grid(theta, size) 

source

生成一个 2d 流场,给定一批仿射矩阵 theta 通常与 grid_sample()一起使用来实现 Spatial Transformer Networks。

参数:

theta(Tensor) - 输入一批仿射矩阵(N×2×3N×2×3)
size(torch.Size) - 目标输出图像尺寸(N×C×H×WN×C×H×W)例如:torch.Size((32,3,24,24)) 

返回:

output(tensor):输出张量大小 (N×H×W×2N×H×W×2) 

并行函数(多 GPU,分布式)

torch.nn.parallel.data_parallel(module, inputs, device_ids=None, output_device=None, dim=0, module_kwargs=None) 

source

在 device_ids 中给出的 GPU 上并行评估模块(输入)。 这是 DataParallel 模块的功能版本。

参数:

module - 并行评估的模块
input - 输入到模块
device_ids - 要在其上复制模块的 GPU ID
output_device - 输出的 GPU 位置使用-1 指示 CPU。 (默认:device_ids [0]) 

返回:

包含位于 output_device 上的模块(输入)结果的张量 

译者署名

用户名 头像 职能 签名
travel 翻译 人生总要追求点什么

我们一直在努力

apachecn/AiLearning

【布客】中文翻译组