DL之InceptionV2/V3:InceptionV2 & InceptionV3算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略-阿里云开发者社区

开发者社区> 一个处女座的程序猿> 正文

DL之InceptionV2/V3:InceptionV2 & InceptionV3算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

简介: DL之InceptionV2/V3:InceptionV2 & InceptionV3算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
+关注继续查看

目录


InceptionV2 & InceptionV3算法的简介(论文介绍)


InceptionV2 & InceptionV3算法的架构详解


1、卷积分解


2、Inception模块


3、Inception v2 & v3网络模块


4、对Auxiliary Classifier(辅助分类器)的考虑


5、标签平滑的模型正则化


6、Inception v3


InceptionV2 & InceptionV3算法的案例应用




相关文章

DL之GoogleNet:GoogleNet(InceptionV1)算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

DL之BN-Inception:BN-Inception算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

DL之InceptionV2/V3:InceptionV2 & InceptionV3算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

DL之InceptionV2/V3:InceptionV2 & InceptionV3算法的架构详解

DL之InceptionV4/ResNet:InceptionV4/Inception-ResNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略


InceptionV2 & InceptionV3算法的简介(论文介绍)


? ? ? InceptionV2 & InceptionV3是谷歌研究人员,在InceptionV1和BN-Inception网络模型基础上进行改进的。


摘要

? ? ?Convolutional networks are at the core of most stateof-the-art ?computer vision solutions for a wide variety of ?tasks. Since 2014 very deep convolutional networks started ?to become mainstream, yielding substantial gains in various ?benchmarks. Although increased model size and computational ?cost tend to translate to immediate quality gains ?for most tasks (as long as enough labeled data is provided ?for training), computational efficiency and low parameter ?count are still enabling factors for various use cases such as ?mobile vision and big-data scenarios. Here we are exploring ?ways to scale up networks in ways that aim at utilizing ?the added computation as efficiently as possible by suitably ?factorized convolutions and aggressive regularization. We ?benchmark our methods on the ILSVRC 2012 classification ?challenge validation set demonstrate substantial gains over ?the state of the art: 21.2% top-1 and 5.6% top-5 error for ?single frame evaluation using a network with a computational ?cost of 5 billion multiply-adds per inference and with ?using less than 25 million parameters. With an ensemble of ?4 models and multi-crop evaluation, we report 3.5% top-5 ?error and 17.3% top-1 error.

? ? ?卷积网络是最先进的计算机视觉解决方案的核心,可用于各种各样的任务。自2014年以来,非常深的卷积网络开始成为主流,在各种基准中产生了实质性的收益。尽管增加的模型大小和计算成本往往会转化为大多数任务的即时质量收益(只要为训练提供足够的标记数据),计算效率和低参数计数仍然是各种用例(如移动视觉和大数据场景。在这里,我们正在探索扩大网络的方法,旨在通过适当的因子分解卷积和积极的正则化,尽可能有效地利用增加的计算。我们在ILSVRC 2012分类挑战验证集上对我们的方法进行了基准测试,结果表明,与最新技术相比,单帧评估的21.2%Top-1和5.6%Top-5错误显著增加,使用的网络计算成本为每次推理增加50亿,并且使用少于2500万个参数。综合4个模型和多作物评估,我们报告了3.5% top-5 错误 and 17.3% top-1 错误。

结论

? ? ? ?We have provided several design principles to scale up ?convolutional networks and studied them in the context of ?the Inception architecture. This guidance can lead to high ?performance vision networks that have a relatively modest ?computation cost compared to simpler, more monolithic ?architectures. Our highest quality version of Inception-v3 ?reaches 21.2%, top-1 and 5.6% top-5 error for single crop ?evaluation on the ILSVR 2012 classification, setting a new ?state of the art. This is achieved with relatively modest ?(2.5×) increase in computational cost compared to the network ?described in Ioffe et al [7]. Still our solution uses ?much less computation than the best published results based ?on denser networks: our model outperforms the results of ?He et al [6] – cutting the top-5 (top-1) error by 25% (14%) ?relative, respectively – while being six times cheaper computationally ?and using at least five times less parameters ?(estimated). Our ensemble of four Inception-v3 models ?reaches 3.5% with multi-crop evaluation reaches 3.5% top5 ?error which represents an over 25% reduction to the best ?published results and is almost half of the error of ILSVRC ?2014 winining GoogLeNet ensemble. ?

? ? ? ?我们提供了几个扩展卷积网络的设计原则,并在初始体系结构的上下文中对它们进行了研究。与更简单、更单一的体系结构相比,这种指导可以导致具有相对较低计算成本的高性能视觉网络。在ILSVR 2012分类的单作物评估中,我们最高质量版本的Inception-v3达到21.2%, top-1 and 5.6% top-5 错误,创造了新的技术水平。与Ioffe等人所述的网络相比,这是通过相对适度(2.5倍)的计算成本增加实现的。尽管如此,我们的解决方案使用的计算量比基于更密集网络的最佳公布结果要少得多:我们的模型比He等人的计算结果要好得多——分别将前5(前1)个错误相对减少了 top-5 (top-1) 错误 by 25% (14%),同时计算成本低了6倍,并且至少使用了参数(估计)减少5倍。我们的四个初始-v3模型的集合达到3.5%,多作物评估达到3.5% top5的错误,这意味着最佳公布结果减少了25%以上,几乎是ILSVRC 2014冠军 GoogLeNet 集合误差的一半。

? ? ? ?We have also demonstrated that high quality results can ?be reached with receptive field resolution as low as 79×79. ?This might prove to be helpful in systems for detecting relatively ?small objects. We have studied how factorizing convolutions ?and aggressive dimension reductions inside neural ?network can result in networks with relatively low computational ?cost while maintaining high quality. The combination ?of lower parameter count and additional regularization with ?batch-normalized auxiliary classifiers and label-smoothing ?allows for training high quality networks on relatively modest ?sized training sets.

? ? ? ?我们还证明了接收场分辨率低至79×79可以获得高质量的结果。这可能被证明有助于系统检测相对较小的物体。我们研究了在保持高质量的同时,神经网络中的因子分解卷积和积极的降维是如何产生计算成本相对较低的网络的。将较低的参数计数和额外的正则化与批标准化辅助分类器和标签平滑相结合,可以在相对较小的训练集上训练高质量的网络。



论文

Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon Shlens, Zbigniew Wojna.

Rethinking the Inception Architecture for Computer Vision

https://arxiv.org/abs/1512.00567



InceptionV2 & InceptionV3算法的架构详解


DL之InceptionV2/V3:InceptionV2 & InceptionV3算法的架构详解


image.png





InceptionV2 & InceptionV3算法的案例应用


TF之DD:实现输出Inception模型内的某个卷积层或者所有卷积层的形状

TF之DD:利用Inception模型+GD算法生成原始的Deep Dream图片

TF之DD:利用Inception模型+GD算法生成更大尺寸的Deep Dream精美图片

TF之DD:利用Inception模型+GD算法生成更高质量的Deep Dream高质量图片

TF之DD:利用Inception模型+GD算法——五个架构设计思路

TF之DD:利用Inception模型+GD算法生成带背景的大尺寸、高质量的Deep Dream图片



?


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Soundslice – 美妙乐谱!Web 技术高大上的应用
  Web 技术的不断发展让我们能够开发各种好玩的功能。这里给大家分享一个使用 HTML5 技术实现的在线乐谱,可以播放的哦,也可以选择一个片段进行循环播放。赶紧来体验一下:) 您可能感兴趣的相关文章 10大流行的 Metro UI 风格 Bootstrap 主题 推荐35款精致的 CS...
746 0
网上各种短网址算法应用的初步详细汇总
看过新浪的短连接服务,发现后面主要有6个字符串组成,于是第一个想到的就是原来公司写的一个游戏激活码规则,也就是下面的算法2,26个大写字母 26小写字母,10个数字,随机生成6个然后插入数据库对应一个id,短连接跳转的时候,根据字符串查询到对应id,即可实现相应的跳转!不过2的62次方,不知...
2121 0
想将算法进一步开发吗?手把手教你搭建基于CNN模型的Flask Web应用
想将算法进一步开发应用产品吗?本文手把手教你搭建基于CNN模型的Flask Web应用,算是抛砖引玉了。感兴趣的读者可以将自己的算法开发成其他类型的应用产品,说不定下一个人工智能创业公司Boss就是你哦!
4810 0
任务调度:时间轮算法经典案例解析及应用实现
平时大家的工作中应该会遇到较多需要在某个时间点执行某个任务,比如对运维来说,定时数据库的备份,日志和监控信息的抓取;比如业务系统,某个时间点给某个人群用户发放优惠券,甚至从操作系统角度,人机交互进程、视频播放的实时进程、批处理的后台进程等进程间的调度。。。 所以如何将这些任务高效、精准的调度?是任务调度系统中最重要的命题,当然在业务系统中一个完善的任务调度系统是很复杂的,需要具备能调度、可视化管理、过程可追溯、结果可分析、持久化、高可用等特性,这篇文章主要讨论任务调度逻辑,其余的内容我们后面文章探讨。
68 0
ML之DR之SVD:SVD算法相关论文、算法过程、代码实现、案例应用之详细攻略
ML之DR之SVD:SVD算法相关论文、算法过程、代码实现、案例应用之详细攻略
16 0
ML之SVM:SVM算法的简介、应用、经典案例之详细攻略(一)
ML之SVM:SVM算法的简介、应用、经典案例之详细攻略
21 0
+关注
一个处女座的程序猿
国内互联网圈知名博主、人工智能领域优秀创作者,全球最大中文IT社区博客专家、CSDN开发者联盟生态成员、中国开源社区专家、华为云社区专家、51CTO社区专家、Python社区专家等,曾受邀采访和评审十多次。仅在国内的CSDN平台,博客文章浏览量超过2500万,拥有超过57万的粉丝。
1701
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载
http://www.vxiaotou.com