数据资源-MiniImageNet数据集解析及分享

AI研习图书馆,发现不一样的世界

数据资源-MiniImageNet数据集解析及分享

MiniImageNet数据解析

数据资源-MiniImageNet数据集解析及分享

简介

数据资源-MiniImageNet数据集解析及分享

MiniImageNet数据集节选自ImageNet数据集。ImageNet是一个非常有名的大型视觉数据集,它的建立旨在促进视觉识别研究。训练ImageNet数据集需要消耗大量的计算资源。ImageNet为超过1400万张图像进行了注释,而且给至少100万张图像提供了边框。

ImageNet包含2万多个类别,比如:“气球”、“轮胎”和“狗”等类别,ImageNet的每个类别均有不少于500张图像。

训练这么多图像需要消耗大量的资源,因此在2016年google DeepMind团队Oriol Vinyals等人在ImageNet的基础上提取出了miniImageNet数据集。

MiniImageNet和omniglot数据集在图像分类、元学习和小样本学习领域应用广泛,但是网络上鲜有对miniImageNet数据集的介绍,因此在这里对这个数据集做了一个简要的介绍。

为了给大家提供便利,数据集已保存至百度网盘,公众号后台回复“MiniImageNet”,即可获取下载链接,同时可获得mnist、cifar10、market1501和omniglot等多个数据资源网盘下载链接~

我是一个无情的数据集搬运工,欢迎收藏~

数据集解析

数据来源

DeepMind团队首次将miniImageNet数据集用于小样本学习研究,从此miniImageNet成为了元学习和小样本领域的基准数据集。

DeepMind的那篇小样本学习的论文就是大名鼎鼎的Matching Network的来源: Matching Networks for One Shot Learning 。

MiniImageNet包含100类,共60000张彩色图片,其中每类有600个样本,每张图片的规格为84×84。通常而言,这个数据集的训练集和测试集的类别划分为:80:20。相比于CIFAR10数据集,miniImageNet数据更加复杂,但更适合进行原型设计和实验研究。

数据集架构

mini-imagenet一共有2.86GB,文件架构如下:

数据资源-MiniImageNet数据集解析及分享

数据集中图片示例:

数据资源-MiniImageNet数据集解析及分享

数据处理代码

MiniImagenet数据集的结构为:所有的照片放在一个文件夹中,另外有三个csv文件分别是:train.csv,val.csv,test.csv,三个csv文件都有两列,第一列是文件名,第二列是标签。我在使用数据集时,把train数据,test数据,val数据分别都保存到对应的标签下。

处理后的目录结构如下:

数据资源-MiniImageNet数据集解析及分享
数据资源-MiniImageNet数据集解析及分享

具体处理代码:

import csv
import os

from PIL import Image

train_csv_path="D:/Desktop/mini-imagenet/mini-imagenet/train.csv"
val_csv_path="D:/MMatx/Desktop/mini-imagenet/mini-imagenet/val.csv"
test_csv_path="D:/MMatx/Desktop/mini-imagenet/mini-imagenet/test.csv"

train_label={}
val_label={}
test_label={}
with open(train_csv_path) as csvfile:
    csv_reader=csv.reader(csvfile)
    birth_header=next(csv_reader)
    for row in csv_reader:
        train_label[row[0]]=row[1]

with open(val_csv_path) as csvfile:
    csv_reader=csv.reader(csvfile)
    birth_header=next(csv_reader)
    for row in csv_reader:
        val_label[row[0]]=row[1]

with open(test_csv_path) as csvfile:
    csv_reader=csv.reader(csvfile)
    birth_header=next(csv_reader)
    for row in csv_reader:
        test_label[row[0]]=row[1]

img_path="D:/Desktop/mini-imagenet/mini-imagenet/images"
new_img_path="D:/Desktop/mini-imagenet/mini-imagenet/ok"
for png in os.listdir(img_path):
    path = img_path+ '/' + png
    im=Image.open(path)
    if(png in train_label.keys()):
        tmp=train_label[png]
        temp_path=new_img_path+'/train'+'/'+tmp
        if(os.path.exists(temp_path)==False):
            os.makedirs(temp_path)
        t=temp_path+'/'+png
        im.save(t)
        # with open(temp_path, 'wb') as f:
        #     f.write(path)

    elif(png in val_label.keys()):
        tmp = train_label[png]
        temp_path = new_img_path + '/val' + '/' + tmp
        if (os.path.exists(temp_path) == False):
            os.makedirs(temp_path)
        t = temp_path + '/' + png
        im.save(t)

    elif(png in test_label.keys()):
        tmp = train_label[png]
        temp_path = new_img_path + '/test' + '/' + tmp
        if (os.path.exists(temp_path) == False):
            os.makedirs(temp_path)
        t = temp_path + '/' + png
        im.save(t)

涉及到的python知识:

1、python独写csv文件

使用python I/O读取csv文件是按照行读取,每一行都是一个List列表,可以通过使用List列表带获取每一行每一列的元素

2、python判断文件/目录是否存在

(1)判断文件是否存在:os.path.exists(path)

(2)新建一个目录:os.makedirs(path)

3、将图片保存在新的文件夹

使用 fromPIL import  Image

img=Image.open(path)

img.save(new_path)

4、python中自带的glob支持文件的通配检索

小结
2021-04-17 原文

数据资源-MiniImageNet数据集解析及分享的相关文章

数据资源-CIFAR10数据集解析及分享

AI研习图书馆,发现不一样的世界 CIFAR-10数据集解析 简介 CIFAR-10和CIFAR-100是来自于80 million张小型图片的数据集,图片收集者是Alex Krizhevsky, V ...

数据资源-ImageNet数据集解析及分享

AI研习图书馆,发现不一样的世界 ILSVRC2012数据解析 简介 ILSVRC2012数据集,即大名鼎鼎ImageNet2012竞赛的数据集,在图像分类数据集中属于最常用的跑分数据集和预训练数据集 ...

数据资源-深度学习与数据挖掘数据集

AI研习图书馆,发现不一样的世界 深度学习与数据挖掘数据资源 前言 数据整理是算法研究工作的重要基础,本文主要搜集整理了一些数据采集网站和常用数据集下载网址. 数据资源 一.常用数据收集网站 1.Pu ...

收藏:盘点机器学习的顶级数据资源TOP 8,如何做好深度学习,少些弯路少些坑?

公众号后台回复:管理1904,免费下载本月推荐精品管理类图书 公众号后台回复:人文历史1904,免费下载本月推荐精品人文历史类图书 加入"ICT销售和大客户联盟"(微信ID:ICT ...

分享一个宝藏网站,视频解析、资源搜索、实习工具通通都有

该网站可以说是全网资源站点最全的一个网站,而且都是一些大家工作中经常会用到的,实用的网站. 该网站集合了常用站点.视频直播.资源搜索.软件游戏.阅读漫画.音乐动听.实用工具.学习教育.办公素材等各类常 ...

【进口经验分享】上海海运进口咖啡粉胶囊清关流程和进口资质解析

胶囊咖啡是将咖啡豆先研磨成咖啡粉,再装进铝质胶囊的,杜绝了普通咖啡豆或者咖啡粉接触空气后变酸,氧化等问题.每次做出来的咖啡都很香,那是因为胶囊很好的保存了咖啡的新鲜度,可以这么说,每一杯都保留了咖啡豆 ...

【进口经验分享】宁波进口咖啡粉胶囊清关流程和进口资质解析

胶囊咖啡是将咖啡豆先研磨成咖啡粉,再装进铝质胶囊的,杜绝了普通咖啡豆或者咖啡粉接触空气后变酸,氧化等问题.每次做出来的咖啡都很香,那是因为胶囊很好的保存了咖啡的新鲜度,可以这么说,每一杯都保留了咖啡豆 ...

【进口经验分享】金华进口咖啡粉胶囊清关流程和进口资质解析

[进口经验分享]金华进口咖啡粉胶囊清关流程和进口资质解析 胶囊咖啡是将咖啡豆先研磨成咖啡粉,再装进铝质胶囊的,杜绝了普通咖啡豆或者咖啡粉接触空气后变酸,氧化等问题.每次做出来的咖啡都很香,那是因为胶囊 ...

【进口经验分享】进口日本咖啡粉胶囊清关流程和进口资质解析

胶囊咖啡是将咖啡豆先研磨成咖啡粉,再装进铝质胶囊的,杜绝了普通咖啡豆或者咖啡粉接触空气后变酸,氧化等问题.每次做出来的咖啡都很香,那是因为胶囊很好的保存了咖啡的新鲜度,可以这么说,每一杯都保留了咖啡豆 ...