torchvision.datasets

译者：@那伊抹微笑、@dawenzi123、@LeeGeong、@liandongze

校对者：@咸鱼

所有的数据集都是 torch.utils.data.Dataset 类的子类, 也就是说, 他们内部都实现了 __getitem__ 和 __len__ 这两个方法. 同时, 他们也都可以传递给类 torch.utils.data.Dataset, 它可以使用 torch.multiprocessing 工作器来并行的加载多个样本.

示例：

imagenet_data = torchvision.datasets.ImageFolder('path/to/imagenet_root/')
data_loader = torch.utils.data.DataLoader(imagenet_data,
                                          batch_size=4,
                                          shuffle=True,
                                          num_workers=args.nThreads)

可用的数据集如下所示:

Datasets

MNIST
Fashion-MNIST
COCO
- Captions
- Detection
LSUN
ImageFolder
Imagenet-12
CIFAR
STL10
SVHN
PhotoTour

所有数据集都有几乎相似的 API, 它们有两个普通的参数: transform 和 target_transform 可分别的对输入和目标数据集进行变换. - transform: 输入原始图片, 返回转换后的图片. - target_transform: 输入为 target, 返回转换后的 target.

MNIST

class torchvision.datasets.MNIST(root, train=True, transform=None, target_transform=None, download=False)

MNIST Dataset.

参数：

root (string) – processed/training.pt 和 processed/test.pt 存在的主目录.
train (bool, 可选) – 如果 True, 数据来自训练集 training.pt , 如果 False, 数据来自测试集 test.pt .
download (bool, 可选) – 如果 true, 就从网上下载数据集并且放到 root 目录下. 如果数据集已经下载, 那么不会再次下载.
transform (callable, 可选) – 一个 transform 函数, 它输入 PIL image 并且返回转换后的版本. E.g, transforms.RandomCrop
target_transform (callable, 可选) – 一个 transform 函数, 输入 target 并且转换它.

Fashion-MNIST

class torchvision.datasets.FashionMNIST(root, train=True, transform=None, target_transform=None, download=False)

Fashion-MNIST Dataset.

参数：

root (string) – processed/training.pt 和 processed/test.pt 存在的主目录.
train (bool, 可选) – 如果 True, 数据来自训练集 training.pt , 如果 False, 数据来自测试集 test.pt .
download (bool, 可选) – 如果 true, 就从网上下载数据集并且放到 root 目录下. 如果数据集已经下载, 那么不会再次下载.
transform (callable, 可选) – 一个 transform 函数, 它输入 PIL image 并且返回转换后的版本. E.g, transforms.RandomCrop
target_transform (callable, 可选) – 一个 transform 函数, 输入 target 并且转换它.

COCO

注解：

需要安装 COCO API

Captions

class torchvision.datasets.CocoCaptions(root, annFile, transform=None, target_transform=None)

MS Coco Captions Dataset.

参数：

root (string) – 数据集下载存放的主目录.
annFile (string) – json 注释文件存放的路径
transform (callable, 可选) – 一个 transform 函数, 它输入 PIL image 并且返回转换后的版本. E.g, transforms.ToTensor
target_transform (callable, 可选) – 一个 transform 函数, 输入 target 并且转换它.

示例：

import torchvision.datasets as dset
import torchvision.transforms as transforms
cap = dset.CocoCaptions(root = 'dir where images are',
                        annFile = 'json annotation file',
                        transform=transforms.ToTensor())

print('Number of samples: ', len(cap))
img, target = cap[3] # load 4th sample

print("Image Size: ", img.size())
print(target)

Output:

Number of samples: 82783
Image Size: (3L, 427L, 640L)
[u'A plane emitting smoke stream flying over a mountain.',
u'A plane darts across a bright blue sky behind a mountain covered in snow',
u'A plane leaves a contrail above the snowy mountain top.',
u'A mountain that has a plane flying overheard in the distance.',
u'A mountain view with a plume of smoke in the background']

__getitem__(index)

参数：index (int) – Index

返回值：Tuple (image, target). 目标是一个图像标注的列表.

返回类型：tuple

Detection

class torchvision.datasets.CocoDetection(root, annFile, transform=None, target_transform=None)

MS Coco Detection Dataset.

参数：

root (string) – 数据集下载存放的主目录.
annFile (string) – json 注释文件存放的路径
transform (callable, 可选) – 一个 transform 函数, 它输入 PIL image 并且返回转换后的版本. E.g, transforms.ToTensor
target_transform (callable, 可选) – 一个 transform 函数, 输入 target 并且转换它.

__getitem__(index)

参数：index (int) – Index

返回值：Tuple (image, target). 目标是由 coco.loadAnns 返回的对象.

返回类型：tuple

LSUN

class torchvision.datasets.LSUN(db_path, classes='train', transform=None, target_transform=None)

LSUN dataset.

参数：

db_path (string) – 数据集文件存放的主目录.
classes (string 或 list) – {'train', 'val', 'test'} 中的一个, 或者是一个要载入种类的列表. e,g. ['bedroom_train', 'church_train'].
transform (callable, 可选) – 一个 transform 函数, 它输入 PIL image 并且返回转换后的版本. E.g, transforms.RandomCrop
target_transform (callable, 可选) – 一个 transform 函数, 输入 target 并且转换它.

__getitem__(index)

参数：index (int) – Index

返回值：Tuple (image, target) 目标是目标类别的索引.

返回类型：tuple

ImageFolder

class torchvision.datasets.ImageFolder(root, transform=None, target_transform=None, loader=<function default_loader at 0x432aa28>)

一个通用的数据加载器, 数据集中的数据以以下方式组织:

root/dog/xxx.png
root/dog/xxy.png
root/dog/xxz.png

root/cat/123.png
root/cat/nsdf3.png
root/cat/asd932_.png

参数：

root (string) – 主目录.
transform (callable, 可选) – 一个 transform 函数, 它输入 PIL image 并且返回转换后的版本. E.g, transforms.RandomCrop
target_transform (callable, 可选) – 一个 transform 函数, 输入 target 并且转换它.
loader – 一个从给定路径载入图像的函数.

__getitem__(index)

参数：index (int) – Index

返回值：(image, target) 目标是目标类别的class_index.

返回类型：tuple

Imagenet-12

这可以通过一个 ImageFolder 数据集轻易实现. 该数据预处理过程如这里描述的所示

这里是一个预处理示例.

CIFAR

class torchvision.datasets.CIFAR10(root, train=True, transform=None, target_transform=None, download=False)

CIFAR10 Dataset.

参数：

root (string) – cifar-10-batches-py 存在的主目录.
train (bool, 可选) – 如果 True, 数据来自训练集, 如果 False, 数据来自测试集.
transform (callable, 可选) – 一个 transform 函数, 它输入 PIL image 并且返回转换后的版本. E.g, transforms.RandomCrop
target_transform (callable, 可选) – 一个 transform 函数, 输入 target 并且转换它.
download (bool, 可选) – 如果 true, 就从网上下载数据集并且放到 root 目录下. 如果数据集已经下载, 那么不会再次下载.

__getitem__(index)

参数：index (int) – Index

返回值：(image, target) 目标是目标分类的索引.

返回类型：tuple

class torchvision.datasets.CIFAR100(root, train=True, transform=None, target_transform=None, download=False)

CIFAR100 Dataset.

CIFAR10 Dataset 的一个子类.

STL10

class torchvision.datasets.STL10(root, split='train', transform=None, target_transform=None, download=False)

STL10 Dataset.

参数：

root (string) – stl10_binary数据集存放的主目录.
split (string) – {'train', 'test', 'unlabeled', 'train+unlabeled'} 中的一个. 它是根据数据集选择的.
transform (callable, 可选) – 一个 transform 函数, 它输入 PIL image 并且返回转换后的版本. E.g, transforms.RandomCrop
target_transform (callable, 可选) – 一个 transform 函数, 输入 target 并且转换它.
download (bool, 可选) – 如果 true, 就从网上下载数据集并且放到 root 目录下. 如果数据集已经下载, 那么不会再次下载.

__getitem__(index)

参数：index (int) – Index

返回值：(image, target) 目标是目标类的索引.

返回类型：tuple

SVHN

class torchvision.datasets.SVHN(root, split='train', transform=None, target_transform=None, download=False)

SVHN Dataset. Note: 原始的 SVHN 数据集把标签 10 分给了数字 0. 然而在这个数据集, 我们把标签 0 分给了数字 0 以便和 PyTorch 的损失函数不产生冲突, 它期待的类标签的范围是 [0, C-1].

参数：

root (string) – SVHN数据集存放的主目录.
split (string) – {'train', 'test', 'extra'} 中的一个. 它是根据数据集选择的. 'extra' 是一个额外的训练集.
transform (callable, 可选) – 一个 transform 函数, 它输入 PIL image 并且返回转换后的版本. E.g, transforms.RandomCrop
target_transform (callable, 可选) – 一个 transform 函数, 输入 target 并且转换它.
download (bool, 可选) – 如果 true, 就从网上下载数据集并且放到 root 目录下. 如果数据集已经下载, 那么不会再次下载.

__getitem__(index)

参数：index (int) – Index

返回值：(image, target) 目标是目标类的索引.

返回类型：tuple

PhotoTour

class torchvision.datasets.PhotoTour(root, name, train=True, transform=None, download=False)

Learning Local Image Descriptors Data Dataset.

参数：

root (string) – 图像存放的主目录.
name (string) – 载入的数据集的名字.
transform (callable, 可选) – 一个 transform 函数, 它输入 PIL image 并且返回转换后的版本.
download (bool, 可选) – 如果 true, 就从网上下载数据集并且放到 root 目录下. 如果数据集已经下载, 那么不会再次下载.

__getitem__(index)

参数：index (int) – Index

返回值：(data1, data2, matches)

返回类型：tuple

我们一直在努力

apachecn/AiLearning