ziyubiti

　　深度学习发展迅速，资源庞大繁杂，如下资源若深入掌握，则可以入门了。
　　１、课程
　　　 - Maching Learning，Andrew Ng
　　　 - CS231n，Convolutional Neural Networks for Visual Recognition
　　　 - CS224d，Deep Learning for Natural Language Processing
　　2、框架
　　　 - keras
　　　 - Tensorflow

　　YOLO对实时视频的目标检测非常快，可达45FPS。这主要得益于其精妙的设计，对整体图片进行操作，相比R-CNN等大大降低了运算量。
　　YOLO的设计思想：
　　1、将图片划分为S*S的grid cell小网格，每个小网格给出B个bounding box判决，每个边界盒判决包括5个信息，（x，y，w，h，object_prb）,x/y为box的中心坐标，w、h为box的长宽，object_prob为box内存在物体的概率Pr（Object）。
　　2、每个小网格给出有物体存在时的C个分类的条件概率，Pr（Class|Object），从而可以得到整体图片中各个小网格内的各分类概率，Pr（Class）=Pr（Class|Object）* Pr（Object）,设置合适判决门限，高于判决门限的就是识别出的目标分类。
　　3、根据各个小网格中的已识别目标分类，及对应的边界盒信息，可以计算出各个目标的整个分割区域位置信息，坐标、长宽等，从而在图像或视频中标记出来。
　　
　　YOLO demo中，S=7，B=2，C=20，则网络最终输出7*7*（2*5+20）=1470，如下图：
　
　
　　
　　YOLO paper地址：https://www.arxiv.org/pdf/1506.02640v5.pdf
　　youtube上有作者在CVPR2016上的论文演讲视频：
　　

　　YOLO(You Only Look Once)是一个开源实时目标检测方案，可以对摄像头的实时视频进行目标检测与定位，其特点为： 　　
　　1、 简单的统一模型，采用回归方法，比R-CNN等快，比其它实时系统的精度高； 　　
　　2、 对图片进行全局预测，而不像R-CNN局部容易误判背景，背景误判降低一半。
　　3、 学习的是目标物体的更通用表征，比DPM（deformable parts models）和R-CNN有更低的预测准确度，尤其是一些其它输入，如绘画、动画之类。
　　4、 精度比状态图系统要低，尤其是小物品，主要原因是系统设计为快速识别定位，以时间换精度。

　　各种神经网络架构层出不穷，比如DCIGN, BiLSTM, DCGAN等，Fjodor Van Veen总结了近几年来流行的神经网络各架构，易于直观理解。
　　原文地址为：http://www.asimovinstitute.org/neural-network-zoo/
　　总结如下：
　　

　　成交量是市场行情变化的一个重要指标，量在价先，价格的变化必然首先通过成交量的变化体现出来。根据价格与成交量的数据变化趋势，从而选择合适的存量房交易时机，从而尽可能减小市场风险。
　　因建委网站每天会公布存量房交易量，那么我们就可以做个小爬虫，每天自动抓取其数据，从而可以观察其变化趋势，例如日线、周线、月线等。
　　设计思路如下：
　　1、数据库中建立三个表，分别存储每日、每周、每月的存量房成交量数据；
　　2、后台每天自动运行爬虫程序，抓取数据存入数据库；
　　3、前端从数据库读取数据，绘制图形曲线，便于可视化观察趋势。
　　
　　完整代码见我的github，图形结果如下：
　　
　　
　　
　　
　　对于北京市场而言，可以看出：
　　1、日成交量在800以上，属于上涨趋势；1200以上，属于快速上涨趋势；400以下，属于下跌趋势；400-800之间，平稳趋势。
　　2、周成交量在4000以上，属于上涨趋势；6000以上，属于快速上涨趋势；2000以下，属于下跌趋势；2000-4000之间，平稳趋势。
　　3、月成交量在15000以上，属于上涨趋势；20000以上，属于快速上涨趋势；10000以下，属于下跌趋势；10000-15000之间，平稳趋势。

　　CNN的经典结构始于1998年的LeNet，成于2012年历史性的AlexNet，从此大盛于图像相关领域，主要包括：
　　1、LeNet，1998年
　　2、AlexNet，2012年
　　3、ZF-net，2013年
　　4、GoogleNet，2014年
　　5、VGG，2014年
　　6、ResNet，2015年

　　当使用多层更深的隐藏层全连接网络时，参数量会变得非常巨大，达到数十亿量级；而采用CNN结构，则可以层间共享权重，极大减小待训练的参数量；同时可采用二维卷积，保留图像的空间结构信息；采用池化层，进一步减少参数计算。
　　一般来说，提高泛化能力的方法主要有： 正则化、增加神经网络层数、改变激活函数与代价函数、使用好的权重初始化技术、人为扩展训练集、弃权技术。
　　下面以MNIST为例，结合CNN、Pooling、Fc结构，通过不同的网络结构变化，给这些参数优化理论一个直观的验证结果。

　　GoogleNet的创新之处，在于引入了Inception Module，其采用了并行结构，如下：
　　
　　
　　其中1*1 conv的作用：
　　简单说，是特征降维，是feature pooling，filter space的transform。这种跨特征层的级联结构，可以有助于不同特征层间的空间信息交互。论文中语:”This cascaded cross channel parameteric pooling structure allows complex and learnable interactions of cross channel information”。
　　这篇文章的解释：http://iamaaditya.github.io/2016/03/one-by-one-convolution/
　　youtube上的1x1 Convolutions/inception相关视频，如下：
　　
　　

　　深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。