基于集成学习改进的卷积神经网络 手写字符识别

基于CNN的手写字符识别

研究意义

感言

在此之前呢，我想说几句感言

机器学习是一个很大很深很难的领域，我自认为难以触及皮毛

在这次学习过程中触及了数十个崭新陌生的概念，最终通过查找文献，不断学习，才稍懂

最开始立题的时候认为不是那么难，但后来开始做的时候，理解然后搭建神经网络，面对各种参数调节的时候才知道难度远超我想象

 虽然网上有这样大量的代码 ，但是如果不明白其中的原理，没有亲力亲为去实践，是没办法真正去懂的，没办法去调参的，更别谈改进

因为我作为一个本科生去做这些事情，并没有经过规范的学习，

所以我对某些概念的理解，所说的话，很可能会出错，希望老师能够提出来，我也能够学习和改正

国际前沿，国内，没人这么做过， 国外，极少人这么做过，我相信我所研究的内容，在这次比赛中，就学术水平及领域探索来说，是较高的

意义

字符识别能够将字符高速、快效的输入到计算机系统，提高处理效率，因而具有重要的研究价值。

工作

这次搭建了BP神经网络和卷积神经网络，并不断调整参数，对算法进行改进，对手写字符进行了简单识别

研究相关

三个领域及其关系

人工智能

 不是讲给老师一个人听，所以我会大概地讲一下机器学习大部分人，可能认为人工智能  ->  机器人统治地球现实是，在现在，不可能，到目前为止没有一家公司或组织敢说，他们的机器拥有真正的感情，真正会为自己考虑 

 再者，有一个组织OpenAI就是为了防止这一类事情出现而生的，你所考虑的，他们都会考虑 

机器学习

 机器学习学习如何去做四则运算题比如最开始一个蠢材    什么都不知道告诉他什么是数字，什么是个位百位千位  (计算机通过编码实现)然后就给他10000道习题让他做，一小批一小批去练习，然后对照答案自己(或者外力)算一下答案的误差，根据误差去调整自己的想法和思路蠢材最可能开始会完全做错，不断做错，不断反思积累经验最终，他可以无限提高准确率到1，成为计算天才 

深度学习

使用深层神经网络进行的机器学习

集成学习

通过组合多个子学习器，通过一定的组合策略，得到一个更加优秀的强学习器，的一种机器学习算法

http://www.cnblogs.com/pinard/p/6131423.html

研究相关理论

BP神经网络

CNN

目前公认的最优的图像识别模型，没有之一

模式识别

其他应用

Alpha go初代、master、zero

相关实践技术

TensorFlow

TensorFlow 库多强大，但太多太泛学习成本很高，

Keras

编写一段时间过后，因为文档太杂，并且抽象概念以及操作太多，有点力不从心

转向Keras

研究结果

BP-NN

使用Keras搭建简单BP神经网络

搭建简单CNN

 TensorFlow 库多强大，但太多太泛学习成本很高，没有继续下去97.5%左右

mnist 95.1%

单一CNN

缘由

使用keras   继续，抽象层次非常高，使用也很方便

搭建CNN并进行改进

tf mnist 97.6%

keras mnist  99.1% 其他的各种途径没有得到数据集(Datang)

组合CNN

多CNN模型

mnist  99.41%

如何组合 -> 后续

其他字符集

考虑尝试中科院的英文字符和中文字符数据集(CASIA)，但四处寻找数据集失败，故只做mnist，并不断提高mnist精度。

算法改进

Bagging -- 集成学习

原因及理由

 单一模型具有局限性 

 任何一种模型，都有其缺陷    多模型补充趋近完美一个计算天才去算10000道四则运算题，很大某一道题可能会犯错，那么他就只能算是趋近完美但如果十个计算天才一起去做这10000道题，每道题由多数人投票决定，那么，最终的效果必定是更优秀的 

启发

某一次，听到别人提到多分类器投票，并且mnist分类达到100%，(听人说的，真伪待辨)

 虽然是很简单的思想，但其所带来的效果令人惊叹，正在撰写论文，打算发中文核心或者ei 

组合策略1

 思路1 组合概率分类某一img(1)的最终各label(10×概率)概率分布n种分类器(不同参数可获得同多个一种分类器)得到n×10个概率值，取最高概率值所属的label(去掉最高值，去掉最低值，取平均值)

实现

误差率0.9%  -> 0.6%      识别率 99.1%   ->  99.4%

因为单个模型就已经足够优秀，故最终反应在识别率上的数字不是十分明显

当单一模型不是很优秀时，组合模型效果会十分明显

组合策略2

思路2 组合投票分类n种分类器，此种已经有人做出来，n种结果投票最多的label为最终label

组合策略3

基于学习

Harmonica

 目前最优的调参方法之一，因为时间有限，我无法具体应用到上面去 

拉锁算法、决策树，另外一种很深的理论

ResNet

何恺明 2015

2017 ICCV国际计算机视觉顶级会议再次包揽两项最佳论文奖

一种更高级更先进的卷积神经网络，具有更好的效果

Alpha Go Zero

DenseNet

黄高博士 康奈尔大学 2016

CVPR2017最佳论文

基于ResNet改进的更高级卷积神经网络

自己根据别人的代码尝试搭建

收敛速度极慢

Adam、PReLU、DropOut、Regularization、Batch Normalization，  相比这些来说，都是不足为道的，最多只能算是参数调节中的一种