CrazyJums

局部响应归一化层（Local Response Normalization）本篇博客参考自：https://www.jianshu.com/p/c014f81242e7 局部响应归一化层简称LRN，是在深度学习中提高准确度的技术方法。一般是在激活、池化后进行的一种处理方法，因在Alexnet中运用到，故做一下整理。 为什么要引入LRN层？首先要引入一个神经生物学的概念：侧抑制（lateral inhibitio），即指被激活的神经元抑制相邻的神经元。归一化（normaliazation）的目的就是“抑制”,LRN就是借鉴这种侧抑制来实现局部抑制，尤其是我们使用RELU的时候，这种“侧抑制”很有效 ，因而在alexnet里使用有较好的效果。 归一化有什么好处？1.归一化有助于快速收敛；2.对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。【补充：神经网络学习过程本质就是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另外一方面，一旦每批训练数据的分布各不相同(batch 梯度下降 ...

关于深度学习和机器学习，他们有如下几点不同之处： 1 特征提取方面 机器学习必须通过人工特征提取之后，才能进行后续的识别等操作 深度学习则不同，深度学习深刻网络框架可以不需要人工进行特征提取，而是通过网络自动进行提取，那么深度学习就显得更加强大了 2 数据量和计算性能方面 算法代表机器学习： 素朴贝叶斯 决策树… 深度学习 神经网络 写在最后欢迎大家关注鄙人的公众号【麦田里的守望者zhg】，让我们一起成长，谢谢。

1 SSPNet论文出处SSPNet（Spatial Pyramid Pooling Network），中文名字是空间金字塔池化网络SSPNet论文出自《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition》一篇较好的解读SSPNet的博客 1.1 为什么会提出SSPNetSSPNet的中文名称是空间金字塔池化网络，SSPNet的提出，是为了解决R-CNN遇到的一个拼劲问题，也就是R-CNN在候选区提取时，每张图片都需要经过一次CNN，运行速度很慢。如果你有2000张图片的话，那么你需要经过2000次CNN网络，这样的计算速度是非常慢的。 在了解SSPNet之前，让我们先了解一下R-CNN的工作原理，才能对其进行改进。 SSPNet完美解决上述R-CNN遗留的两个问题: R-CNN在生成了候选区域后，需要对每个区域进行统一尺寸的压缩或放大，当候选集的长与宽差别较大时强行压缩至比例为1:1时会使图像产生变形和丢失图像的原始特征 R-CNN生成了多个候选集后需要全部输入到CN ...

一篇让你很容易理解什么是梯度下降的博客 0 什么是梯度下降 梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景：一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方走，同理，如果我们的目标是上山，也就是爬到山顶，那么此时应该是朝着最陡峭的方向往上走。然后每走一段距离，都反复采用同一个方法，最后就能成功的抵达山谷。我们同时可以假设这座山最陡峭的地方是无法通过肉眼立马观察出来的，而是需要一个复杂的工具来测量，同时，这个人此时正好拥有测量出最陡峭方向的能力。所以，此人每走一段距离，都需要一段时间来测量所在位置最陡峭的方向，这是比较耗时的。那么为了在太阳下山之前到达山底，就要尽可能的减少测量方向的次数。这是一个两难的选择，如果测量的频繁，可以保证下山的方向是绝对正确的，但又非常耗时，如果测量的过少，又有偏离轨道的 ...

1 卷积神经网络 一篇很好的关于理解卷积神经网络的博客（博客中的filter助手表示的是卷积核的意思）一篇关于如何搭建CNN的博客知乎回答：能否对卷积神经网络工作原理做一个直观的解释？机器视角：长文揭秘图像处理和卷积神经网络架构|该文原文定义：卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。 它包括卷积层(convolutional layer)和池化层(pooling layer) 1.1 卷积神经网络的结构：卷积神经网络的结构包括： 输入层（input，输入一张全尺寸的黑白或彩色图像） 卷积层（filter，对ROI(region of interest)进行特征提取，一个CNN可以有很多的卷积核也可以有很多的卷积层） 池化层（pooling，可选，目的是减少上层的输入参数） 输出层（也叫全连接层FC，该层可以用来对图像进行分类和识别操作） 下面这张图是CNN的结构图： 人工神经网络和卷积神经网络的对比： 左 ...

123- [测试](#测试)### <a id="测试">测试</a> 测试测试 写在最后欢迎大家关注鄙人的公众号【麦田里的守望者zhg】，让我们一起成长，谢谢。

1 图像的高频和低频成分 形象一点说：亮度或灰度变化激烈的地方对应高频成分，如边缘；变化不大的地方对于低频成分，如大片色块区画个直方图，大块区域是低频，小块或离散的是高频把图像看成二维函数，变化剧烈的地方就对应高频，反之低频。举个通俗易懂的例子：一幅图象，你戴上眼镜，盯紧了一个地方看到的是高频分量摘掉眼镜，眯起眼睛，模模糊糊看到的就是低频分量。 图像的高低频是对图像各个位置之间强度变化的一种度量方法.低频分量:主要对整副图像的强度的综合度量.高频分量:主要是对图像边缘和轮廓的度量.如果一副图像的各个位置的强度大小相等,则图像只存在低频分量,从图像的频谱图上看,只有一个主峰,且位于频率为零的位置.如果一副图像的各个位置的强度变化剧烈,则图像不仅存在低频分量,同时也存在多种高频分量,从图像的频谱上看,不仅有一个主峰,同时也存在多个旁峰.以上的现象可以通过对傅里叶变换的公式分析得出.以下所说的积分是对x进行的.exp(-jwx)的数值变化是均匀的,如果对exp(-jwx)进行积分,则积分值为零.如果对exp(-jwx)乘以一个加权函数f(x),则在对f(x)exp(-jwx)进行积分,积分值 ...

1.总结最近几天一直在玩hexo个人博客，因为一直就想弄一个这样的博客平台，一个是为了兴趣，还有一个就是为了找工作的时候能够让面试官觉得自己很牛逼（这里涉及到社会学知识点，下次有机会我们再谈），所以就花了一点时间，弄了一下，也发现了一些坑，这里和大家一起分享一下。 2.开始搭建hexo平台2.1 前提因为hexo是一个基于node.js开发的一个博客平台，可以将Markdown文件也就是以.md为扩展名的文件生成为静态文件，然后在自动将其部署到整个系统的其他固定页面（比如：tags,archives等）中。我们还可以将其部署到GitHub上，这样就实现了可以通过互联网访问的目的了，我们最终的目的也就是通过互联网访问。 安装git 建议大家的所有操作都在git控制台进行操作，git控制台的类似Linux的命令，但不是所有Linux命令都支持，基本命令都已使用，真的很好用。力荐 安装node.js大家安装提示进行安装就可以，安装完成之后，我们才可以进行下面的操作 2.2 通过npm(node package manager)安装hexo npm install -g hexo-cli或 ...

1.《智能交通图像识别系统的研究》from1.1人工神经网络进行字符识别 主要有两种方法:一种方法是先对待识别字符进行特征提取,然后用所获得的特征来训练神经网络分类器。这种网络的识别效果与字符特征的提取有关,而字符的特征提取往往比较耗时。因此,字符特征的提取就成为研究的关键。文献四中使用由6个多层感知器构成的神经网络来进行车牌字符识别,在特征提取上提出二值线性变换方法以减少输入特征向量,另外改善网络结构以提高识别速度。另一种方法则充分利用神经网络的特点,直接把待处理图像输入网络,由网络自动实现特征提取直至识别。这种网络互连较多、待处理信息量大。 神经网络在并行非线性处理及大容量计算方面存在着巨大潜力,且神经元状态是二值的 1.2图像预处理 预处理相当于对获取的原始图像数据进行整理加工、去伪存真的过程。由于原始图像信号中存在着许多噪声和畸变,一般要进行滤波、平滑、增强、复原、提取边缘、图像分割等预处理,以便提高图像质量,并为下一步特征提取提供必要的基础。 决策分类根据具体问题的性质,提出一个反映分类好坏的标准,从而找到最符合这一标准的分类方一法。 从数学观点来看,决策分类就是找出决 ...

1.video demo这是一个视频demo，hexo可以通过GitHub实现视频播放功能，下面这段视频的Markdown代码如下所示： 123<video id="video" controls="" preload="none" poster="https://jums.club/images/article/IMG_2987.JPG" width="720" height="480"> <source id="mp4" src="https://jums.club/images/article/videos/123.mp4" type="video/mp4"></video> 2.注意 在GitHub上的视频必须是小于20M的视频才可以，可以使用视频压缩技术对视频进行压缩 3.引用B站上的视频下面的视频的引用代码如下所示： 1<i ...