flickr使用教程

微信知识库flickr数据集

-flickr数据字段 -标注 -数据集 -字段

flickr数据字段

提要
和都市有关的数据正日益增多,且涉及到了人们生活的各个方面。而都市研究者们正在实验从非正统都市数据内里加深对我们都市的明白。但由于许多数据过于准确,每每涉及到隐私和数据持有者的焦点长处。在这样的配景下,龙瀛博士发起了一其中国范畴内的 1Km 网格标准的微观数据平台 SinoGrids ,提供指南和工具,帮忙大范围微观数据持有者将其数据汇总到 1Km 网格标准并上传到 SinoGrids 平台,进而形成一个 众筹 的中国底子数据平台 。等待列位的参与和贡献。
标准上来说, 1km 是既可以或许开展都市间地区分析也可以或许进行都市内部研究的标准。同时, SinoGrids 将以众包的情势进行数据开放,我们将网络上公开的要么学者贡献的数据(微博签到、 taxi 轨迹、交织口数目,公交站点的数、照片等)汇总到 1Km2 的范围上,然后在 SinoGrids 平台上进行公开。也就是说平台将会表现每个公里网格的微博总量、照片总量、公交站点等数据。同时, 平台上不停保持最多最全的指标和数据指南 ,方便民众使用。 有数据资源的人可以一方面使用我们的网格来贡献自己的微观数据 ,另一方面可以使用其进行地区分析、都市研究、计划咨询、公平参考等等, SinoGrids 将是一个民众的、开放的都市数据平台,盼望可以或许为大家的定量都市和地区研究工作提供全面而又透明的数据支持

数据欣赏 属性 1 Flickr 照片数目( Flickr 字段 属性 2 :道路交织口数目( Junctions 字段 属性 3 :一周内位置微博数目( Weibo 字段,盘算中 待增补的属性:农村住民点、人口、签到
数据 下载 (给数据使用者和提供者) 百度云链接:http://pan.baidu.com/share/link?shareid=4213510776&uk=4095287853 现在为开放下载,将来将转为:5KM标准自由下载,1KM标准VIP下载(BCL研究员和数据贡献者为VIP)

数据预备和上传 (给潜在的数据提供者) 请下载并阅读下面的详细指南(图文并茂),假如有任何问题,请联系Zhou Yulun(yulunmail@gmail.com) 详细指南(中文): http://www.beijingcitylab.com/app/download/10309044999/SinoGrid_Guildlines.docx?t=1415967111
Python代码(2个工具) http://www.beijingcitylab.com/app/download/10309670399/PythonCodes.rar?t=1415967111

关于我们
发起人:龙瀛,北京市计划院 志愿者:Zhou Yulun, Department of Geography andResource Management, The Chinese University of Hong Kong Chen Qingning, AssistantPlanner, Architecture Design and Research Institute of Tsinghua University 地图公布:程辉,北京市计划院 该数据在北都城市试验室BCL网站和CITYIF网站同步公布 BCL的网址http://www.beijingcitylab.com/projects-1/14-sinogrids/ CITYIF的网址http://www.cityif.com/interfaces/planner-interface/sino-grids/
数据欣赏 北京flickr

北京road junctions:

上海flickr:

上海road junctions


长江三峡flickr:










请搜索微信号“北都城市试验室BCL”关注。 Email:BeijingCityLab@gmail.com Emaillist: BCL@freelist.org 新浪微博:北都城市试验室BCL 微信号:beijingcitylab 网址: http://www.beijingcitylab.com

本文首发于微信订阅号《有三AI》

走向AI拍照最终之路 AVA数据集后年代与发展?​mp.weixin.qq.com

前面已经介绍过当今 最大的美学数据集AVA 以及AVA之前的数据集,AVA数据集的公布是2012年,离如今已经已往了5年,在机器学习迭代如此频繁的日子里,一定会出现新的数据集。

本文就略作介绍,也是数据集介绍的最后一篇文章。在预备好这些之后,就要开始真正的搞起了!

1, AADB【1】(Aesthetic with Attributes Database)

总的来说,AADB算是AVA数据集的一个增补。标注的方法,是请了5个人,最终的score取5个人的均匀值,共10000张图。除了标注分数外,也标注了11个属性。

与AVA数据集的区别重要在于:

a) AVA中包含了 许多非真实的拍照图,以及后期处置过的图 ,以是AVA中分数超越5分(满分为10分)的占据绝大多数。但是AADB中,则更多地思量了专业拍照者和普通照相者图的平衡,基本是1:1。

b) 由于标注者少,AADB专门去分析了标注者的标注同等性。间接反应出标注者的质量,也就是证实了标注者是具有很高的标注水准。结果具有了很高的同等性,是可靠的;

c) 关于图像属性,也就是气势派头的标注,AADB给AVA做了增补。

与AVA一样,AADB也标注了属性,那有什么差别呢?

那么,我们先回首一下AVA的14个属性,括号内是包含该属性的图的数目:Complementary Colors (949), Duotones (1,301), High Dynamic Range (396), Image Grain (840), Light on White (1,199), Long Exposure (845), Macro (1,698), Motion Blur (609), Negat!ive Image (959), Rule of Thirds (1,031), Shallow DOF (710), Silhouettes (1,389), Soft Focus (1,479), Vanishing Point (674).

然后我们看看AADB的11个属性。

1. “balancing element” – whether the image contains balanced elements;

2. “content” – whether the image has good/interesting content;

3. “color harmony” – whether the overall color of the image is harmonious;

4. “depth of field” – whether the image has shallow depth of field;

5. “lighting” – whether the image has good/interesting lighting;

6. “motion blur” – whether the image has motion blur;

7. “object emphasis” – whether the image emphasizes foreground objects;

8. “rule of thirds” – whether the photography follows rule of thirds;

9. “vivid color”–whether the photo has vivid color, not necessarily harmonious color;

10. “repetition” – whether the image has repetitive patterns;

11. “symmetry” – whether the photo has symmetric patterns.

撤除Shallow DOF,lighting,Rule of Thirds,Motion Blur之外,其他都是多出来的,举了例子如下:

这些属性的分布示比方下:

看看他们的标注表示图吧:

高分图:

低分图:

一样平常分图:

2, AADB之后,文【2】又提出了新的数据集

说了一下前两者的缺点:

AVA的重要缺点:许多图都被后期过。

AADB的重要缺点:基本上是原图,但是数据集太小,标注职员也太少。

而本文是从 flickr爬取的300多万 ,2004~2016年间的图,每一张图都包括:

number of views(阅读量), comments(评述), favorite list containing this photo(被嘻歡量), tit!le of the image and their description from the Flickr website.

均匀每一张图被访问过7000次。

这么多的图,显然不大概人工标注:因此接纳了上面的一些信息来做标注label

以被嘻歡量F(i),比上访问量V(i)的对数,来评估其美学质量,这可以说是一个很客观的指标了:

更具体的比较结果如下:

3, 后续的数据集的预测

类似于【2】的做法,在【3】中也出现了。

在看完三个数据集的介绍之后,想必大家内心也有了一个路线图。

(1) 最开始的时间:数据集比较小,大家只标注个高质量与低质量的二分类。

(2) 到后来,数据集增长,标注了详细的分数,还增长了属性。

(3) 到最新,数据集到百万级别,已经无法再做很过细的人工标注,在往无监视的方向。

随着拍照平台积聚的数据和用户的手动标注信息越来越多,相关的公司和团队在这个研究大将具有绝对压倒性的优势。

[1] Kong S, Shen X, Lin Z, et al. Photo Aesthetics Ranking Network with Attributes and Content Adaptation[J]. 2016:662-679.

[2] Schwarz K, Wieschollek P, Lensch H P A. Will People Like Your Image?[J]. 2016.

[3] Suchecki M, Trzcinski T. Understanding Aesthetics in Photography using Deep Convolutional Neural Networks[J]. 2017.

一、数据出处

COCO中图片资源均引用自Flickr图片网站

二、数据集创建目标

进行图像辨认练习,重要针对以下三个方向:

(1)object instances

(2)object keypoints

(3) image captions

每个方向均包含练习和验证集两个标注文件

三、标注体布局

三个方向均共享基本种类信息,包括info、image、license三个字段,而annotation字段则各不相同。

3.1 通用字段介绍

例:

例:

例:

3.2 变体字段介绍

  • annotation-Object Instance
  • iscrowd=0:表现这是一个单独的物体,表面用Polygon(多边形的点)表现,即segmentation字段用Polygon表现

    iscrowd=1:表现两个或多个没有离开的物体,表面用RLE编码表现,即segmention字段用RLE编码情势表现

  • annotation-Object keypoint
  • 相比于object Instance标注,增长了两个字段:Keypoints和num_keypoints

    keypoints是一个长度为3*k的数组,此中k是keypoints的总数目。

    keypoints[i][0] 和keypoints[i][1]为(x,y),keypoints[i][2]为标记位v

    v=0-重要点未标注,v=2-重要点已标注且不可见,v=3-重要点已标注且可见

    category字段:

    keypoints字段记载了重要点名字数组,skeleton定义了各个重要点之间的连接性(如手腕和肘)。keypoints的supercategory只标注了person 。

    Image Caption种类的标注相对于上面来说很easy,这里就略过不表了

    本文网址: http://www.diminga.com/w/20210169322_6688_126494614/home