学习笔记TF032,没有天赋
分类:技术

Google Inception Net,ILSVRC 2014比赛第一名。控制计算量、参数量,分类性能非常好。V1,top-5错误率6.67%,22层,15亿次浮点运算,500万参数(AlexNet 6000万)。V1降低参数量目的,参数越多模型越庞大,需数据量越大,高质量数据昂贵;参数越多,耗费计算资源越大。模型层数更深,表达能力更强,去除最后全连接层,用全局平均池化层(图片尺寸变1x1),参数大减,模型训练更快,减轻过拟合(《Network in Network》论文),Inception Module提高参数利用效率,大网络中小网络。增加分支网络,NIN级联卷积层、NLPConv层。一般,卷积层增加输出通道数,提升表达能力,计算量增大、过拟合,每个输出通道对应一个滤波器,同一滤波器共享参数,只能提取一类特征。NIN,输出通道组保信息。MLPConv,普通卷积层,接1x1卷积、ReLU激活函数。

氚云tERP产品介绍

图片 1

Inception Module结构,4个分支。第一分支,输入1x1卷积。1x1卷积,跨通道组织信息,提高网络表达能力,输出通道升维、降维。4个分支都用1x1卷积,低成本跨通道特征变换。第二分支,1x1卷积,3x3卷积,两次特征变换。第三分支,1x1卷积,5x5卷积。第四分支,3x3最大池化,1x1卷积。1x1卷积性价比高,小计算量,特征变换、非线性化。4个分支后聚合操作合并(输出通道数聚合)。Inception Module 包含3种不同尺寸卷积、1个最大池化,增加不同尺度适应性。网络深度、宽度高效扩充,提升准确率,不过拟合。

 

有些人,自己什么都不干,什么都不想付出,面对别人的成绩就一个劲地说:“你运气太好了!”或者说:“你在这方面有天赋,不错!”好像别人的成绩都是天上掉下来的馅饼,刚好砸到了别人,自己运气不好,所以没砸到自己。

Inception Net,找到最优稀疏结构单元(Inception Module)。Hebbian原理,神经反射活动持续、重复,神经元连接稳定性持久提升,两个神经元细胞距离近,参与对方重复、持续兴奋,代谢变化成为使对方兴奋细胞。一起发射神经元会连在一起(Cells that fire together,wire together),学习过程刺激使神经元间突触强度增加。《Provable Bounds for Learning Some Deep Representations》,很大很稀疏神经网络表达数据集概率分布,网络最佳构筑方法是逐层构筑。上层高度相关(correlated)节点聚类,每个小簇(cluster)连接一起。相关性高节点连接一起。

目录

看别人弄的手工珠珠纸巾筒挺漂亮的,想要尝试一下,却不敢多买,怕自己搞不来,因为同事搞过,大半年了还没成型。同事看我犹豫,就信誓旦旦地说:“你肯定没问题的,你手那么巧。”我说:“那可不一定,这个要看兴趣!”她接着说:“我觉得这个真的要看天赋,有些人手巧,有些人手笨,手笨的真的做不来,就像我,一旦放下几天,再拿起来就忘记怎么做了!”俗话说,笨鸟先飞,手笨就要多努力,如果自认为手笨还不勤快点动手,那就是兴趣的问题。万事开头难,谁开头都会有困难,有没有天赋并不取决于你开头的难易,而是在那条道上能到达怎样的顶峰,是成绩辉煌的程度。

图片数据,临近区域数据相关性高,相邻像素点卷积连接一起。多个卷积核,同一空间位置,不同通道卷积核输出结果,相关性极高。稍大一点卷积(3x3、5x5),连接节点相关性高,适当用大尺寸卷积,增加多样性(diversity)。Inception Module 4分支,不同尺寸(1x1、3x3、5x5)小型卷积,连接相关性很高节点。

1概览3

我用毛线勾出来许多小玩意,包括小玩偶、毛毯、花朵、帽子等等,所以同事都说我手巧。也许,我确实有这方面的天赋,比较容易上手,但是一直支撑我走下来的并不是天赋,而是兴趣,也是兴趣让我的作品越来越多、越来越新鲜。为了钩编,我缩短了午睡的时间,当别人都在午休时,毛线在我指间飞快地穿梭;为了钩编,我杜绝了一切闲聊,当别人悠闲地漫步在乡间的小路上时,我在研究着图解,准备开始新作;为了钩编,我几乎不刷朋友圈,当别人在围观各种娱乐绯闻时,我两手在机械地挽着毛线。在不断的尝试中,我也有过很多的返工和半成品,我的编织之路并没有因为手巧而一帆风顺。别人都只看到我不断出新的作品,这背后的付出却因为没看见而忽视了。以为别人的成功都是因为聪明,因为天赋,这种错误的认识其实埋没了很多人才。

Inception Module,1x1卷积比例(输出通道数占比)最高,3x3、5x5卷积稍低。整个网络,多个Inception Module堆叠。靠后Inception Module卷积空间集中度渐降低,捕获更大面积特征,捕捉更高阶抽象特征。靠后Inception Module,3x3、5x5大面积卷积核占比(输出通道数)更多。

2功能简介4

我跟同事同时开始学的ps,我把课程学完了以后,还自己购买课程去学,而她只断断续续地学,至今都能把课程学完。我们都不是学来挣钱的,都是想着以后自己修图的,同样的动机,为什么差别那么大?因为兴趣让我付出了更多,我一学起来就没完没了,有时候一下班就开始P图,P到晚上11点,直到肩膀受不住了才收敛了一些。

Inception Net 22层,最后一层输出,中间节点分类效果好。使用辅助分类节点(auxiliary classifiers),中间层输出作分类,按较小权重(0.3)加到最终分类结果。相当模型融合,给网络增加反向传播梯度信号,提供额外正则化。

2.1产品功能架构4

我记得,同事买过一副丝带花,买的时候想着买回来试试,反正又不贵,我鼓励她说:“你弄不来的话,我们一起来弄!”丝带花买回来以后,她看了一下教学视频,说有点难,等有空再弄,结果那次以后就束之高阁了。半途而废,可以理解,毕竟谁都害怕困难,也都有惰性,但是还没开始就认输了,我觉得这就真的不能说没有天赋。

Google Inception Net家族:2014年9月《Going Deeper with Convolutions》Inception V1,top-5错误率6.67%。2015年2月《Batch Normalization:Accelerating Deep Network Trainign by Reducing Internal Covariate》Inception V2,top-5错误率4.8%。2015年12月《Rethinking the Inception Architecture ofr Computer Vision》Inception V3,top-5错误率3.5%。2016年2月《Inception-v4,Inception-ResNet and the Impact of Residual Connections on Learning》Inception V4,top-5错误率3.08%。

2.2销售模组4

有些事,别人做得特别好,自己却做不来,先不要说自己没有天赋,也不要说自己手笨,先问问自己:我真的努力了吗?我真的做不来吗?如果一遇到困难,你就开始怀疑自己的天赋,那么你终究会一事无成。1%的天赋,是尽到99%的努力以后的事情。如果你不曾努力过,就算在这方面有天赋,你也发现不了。

Inception V2,用两个3x3卷积代替5x5大卷积,降低参数量,减轻过拟合,提出Batch Normalization方法。BN,非常有效正则化方法,让大型卷积网络训练速度加快很多倍,收敛后分类准确率大幅提高。BN 对每个mini-batch数据内部标准化(normalization)处理,输出规范化到N(0,1)正态分布,减少Internal Covariate Shift(内部神经元分布改变)。传统深度神经网络,每层输入分布变化,只能用很小学习速率。每层BN 学习速率增大很多倍,迭代次数只需原来的1/14,训练时间缩短。BN正则化作用,减少或者取消Dropout,简化网络结构。

2.3库存模组5

一个69岁的老头,穿着舞蹈服在钢管上穿梭来穿梭去,如果不说,你绝对看不出来他是个近70岁的老头子。他已经练了四年钢管舞,他说,他喜欢钢管舞,他想让生活丰富起来,也想让身体健康点,少让儿女操心,所以他不怕别人笑话他一把年纪还“卖弄风骚”。69岁的老年人,骨头应该都脆了,柔韧度更无法跟年轻人相比,“天赋”更无从说起,但是兴趣让他有所成就,他上过多次节目,他还坦言自己想参加比赛,当别人提到老年组时,他说:“要参加就参加少年组,跟年轻人比赛才有意思!”

增大学习速率,加快学习衰减速度,适用BN规范化数据,去除Dropout,减轻L2正则,去除LRN,更彻底shuffle训练样本,减少数据增强过程数据光学畸变(BN训练更快,样本被训练次数更少,更真实样本对训练有帮助)。

2.4采购模组6

年轻的时候应该多培养点兴趣爱好,这样退休以后生活才能有所寄托。连退休的七旬老人都在为丰富生活而努力学习钢管舞,你还好意思拿天赋说事吗?

Inception V3,引入Factorization into small convolutions思想,较大二维卷积拆成两个较小一维卷积,节约大量参数,加速运算,减轻过拟合,增加一层蜚线性,扩展模型表达能力。非对称卷积结构拆分,比对称拆分相同小卷积核效果更明显,处理更多、更丰富空间特征,增加特征多样性。

2.5财务模组6

优化Inception Module结构,35x35,17x17,8x8。分支中使用分支,8x8结构,Network In Network In Network。V3结合微软ResNet。

2.6人事模组7

使用tf.contrib.slim辅助设计42层Inception V3 网络。

3产品展示8

Inception V3 网络结构
类型 kernel尺寸/步长(或注释) 输入尺寸
卷积 3x3/2 299x299x3
卷积 3x3/1 149x149x32
卷积 3x3/1 147x147x32
池化 3x3/2 147x147x64
卷积 3x3/1 73x73x64
卷积 3x3/2 71x71x80
卷积 3x3/1 35x35x192
Inception模块组 3个InceptionModule 35x35x288
Inception模块组 5个InceptionModule 17x17x768
Inception模块组 3个InceptionModule 8x8x1280
池化 8x8 8x8x2048
线性 logits 1x1x2048
Softmax 分类输出 1x1x1000

3.1产品主页面(PC端)8

定义简单函数trunc_normal,产生截断正态分布。

3.2产品主页面(手机端)9

定义函数inception_v3_arg_scope,生成网络常用函数默认参数,卷积激活函数、权重初始化方式、标准化器。设置L2正则weight_decay默认值0.00004,标准差stddev默认值0.1,参数batch_norm_var_collection默认值moving_vars 。

3.3销售模组业务流程9

定义batch normalization参数字典,定义衰减系数decay 0.997,epsilon 0.001,updates_collections为tf.GraphKeys.UPADTE_OPS,字典variables_collections中beta、gamma设None,moving_mean、moving_variance设batch_norm_var_collection。

3.4销售模组快照(PC端)10

slim.agr_scope,函数参数自动赋默认值。with slim.arg_scope([slim.conv2d, slim.fully_connected], weights_regularizer=slim.l2_regularizer(weight_decay)) ,对[slim.conv2d, slim.fully_connected]两个函数参数自动赋值,参数weights_regularizer值默认设为slim.l2_regularizer(weight_decay)。不需要每次重复设置参数,只需要修改时设置。

3.5销售模组快照(手机端)11

嵌套一个slim.arg_scope,卷积层生成函数slim.conv2d参数赋默认值,权重初始化器weights_initializer设trunc_normal(stddev),激活函数设ReLU,标准化器设slim.batch_norm,标准化器参数设batch_norm_params,返回定义好的scope。

3.6库存模组业务关联逻辑11

定义函数inception_v3_base,生成Inception V3网络卷积。参数inputs 输入图片数据tensor,scope 函数默认参数环境。定义字典表end_points ,保存关键节点。slim.agr_scope,设置slim.conv2d、slim.max_pool2d、slim_avg_pool2d函数参数默认值,stride设1,padding设VALID。非Inception Module卷积层,slim.conv2d创建卷积层,第一参数输入tensor,第二参数输出通道数,第三参数卷积核尺寸,第四参数步长stride ,第五参数padding模式。第一卷积层输出通道数32,卷积核尺寸3x3,步长 2,padding模式VALID。

3.7库存模组快照(PC端)12

非Inception Module卷积层,主要用3x3小卷积核。Factorization into small convolutions思想, 用两个1维卷积模拟大尺寸2维卷积,减少参数量,增加非线性。1x1卷积,低成本跨通道特征组合。第一卷积层步长2,其余卷积层步长1。池化层尺寸3x3、步长2重叠最大池化。网络输入数据惊寸299x299x3,经过3个步长2层,尺寸缩小为35x35x192,空间尺寸大降低,输出通道增加很多。一共5个卷积层,2个池化层,实现输入图片数据尺寸压缩,抽象图片特征。

3.8库存模组快照(移动端)12

本文由奥门金沙网址发布于技术,转载请注明出处:学习笔记TF032,没有天赋

上一篇:没有了 下一篇:没有了
猜你喜欢
热门排行
精彩图文