大数据应用的发展
从最开始的 Google 在搜索引擎中开始使用大数据技术，到现在无处不在的各种人工智能应用
伴随着大数据技术的发展，大数据应用也从曲高和寡走到了今天的遍地开花
历史也许由天才开启，但终究还是由人民创造，作为大数据时代的参与者，我们正在创造历史
大数据应用的搜索引擎时代
Google
大数据的鼻祖
它存储着全世界几乎所有可访问的网页，数目可能超过万亿规模，全部存储起来大约需要数万块磁盘。
为了将这些文件存储起来，Google 开发了 GFS（Google 文件系统），将数千台服务器上的数万块磁盘统一管理起来，<br>然后当作一个文件系统，统一存储所有这些网页文件。<br>
Yahoo
在 Google 之前，世界上最知名的搜索引擎是 Yahoo
Google 凭借自己的大数据技术和 PageRank 算法，使搜索引擎的搜索体验得到了质的飞跃，人们纷纷弃 Yahoo 而转投 Google。<br>所以当 Google 发表了自己的 GFS 和 MapReduce 论文后，Yahoo 应该是最早关注这些论文的公司。<br>
Doug Cutting 率先根据 Google 论文做了 Hadoop，于是 Yahoo 就把 Doug Cutting 挖了过去，专职开发 Hadoop。<br>可是 Yahoo 和 Doug Cutting 的蜜月也没有持续多久，Doug Cutting 不堪 Yahoo 的内部斗争，<br>跳槽到专职做 Hadoop 商业化的公司 Cloudera，而 Yahoo 则投资了 Cloudera 的竞争对手 HortonWorks<br>
优雅的美感
顶尖的公司和顶尖的高手一样，做事有一种优雅的美感。<br>你可以看 Google 一路走来，从搜索引擎、Gmail、地图、Android、无人驾驶，每一步都将人类的技术边界推向更高的高度。<br>而差一点的公司即使也曾经获得过显赫的地位，但是一旦失去做事的美感和节奏感，在这个快速变革的时代，陨落得比流星还快。<br>
大数据应用的数据仓库时代
曾经我们在进行数据分析与统计时，仅仅局限于数据库，在数据库的计算环境中对数据库中的数据表进行统计分析。<br>并且受数据量和计算能力的限制，我们只能对最重要的数据进行统计和分析。<br>这里所谓最重要的数据，通常指的都是给老板看的数据和财务相关的数据。<br>
而 Hive 可以在 Hadoop 上进行 SQL 操作，实现数据统计与分析。<br>也就是说，我们可以用更低廉的价格获得比以往多得多的数据存储与计算能力。<br>我们可以把运行日志、应用采集数据、数据库数据放到一起进行计算分析，获得以前无法得到的数据结果，企业的数据仓库也随之呈指数级膨胀。<br>
不仅是老板，公司中每个普通员工比如产品经理、运营人员、工程师，只要有数据访问权限，都可以提出分析需求，从大数据仓库中获得自己想要了解的数据分析结果。
在数据仓库时代，只要有数据，几乎就一定要进行统计分析，如果数据规模比较大，<br>我们就会想到要用 Hadoop 大数据技术，这也是 Hadoop 在这个时期发展特别快的一个原因。<br>
大数据应用的数据挖掘时代
大数据一旦进入更多的企业，我们就会对大数据提出更多期望，除了数据统计，我们还希望发掘出更多数据的价值，大数据随之进入数据挖掘时代
应用场景
买尿不湿的人通常也会买啤酒，于是精明的商家就把这两样商品放在一起，以促进销售
利用人和人之间的关系推荐商品
如果两个人购买的商品有很多都是类似甚至相同的，不管这两个人天南海北相隔多远，<br>他们一定有某种关系，比如可能有差不多的教育背景、经济收入、兴趣爱好。<br>
根据这种关系，可以进行关联推荐，让他们看到自己感兴趣的商品。
大数据还可以将每个人身上的不同特性挖掘出来，打上各种各样的标签
用于人际关系挖掘
“六度分隔理论”，它认为世界上两个互不认识的人，只需要很少的中间人就能把他们联系起来。
Facebook 研究了十几亿用户的数据，试图找到关联两个陌生人之间的数字，答案是惊人的 3.57。
大数据应用的机器学习时代
数据中蕴藏着规律，这个规律是所有数据都遵循的，过去发生的事情遵循这个规律，将来要发生的事情也遵循这个规律。<br>一旦找到了这个规律，对于正在发生的事情，就可以按照这个规律进行预测。<br>
过去
受数据采集、存储、计算能力的限制，只能通过抽样的方式获取小部分数据，无法得到完整的、全局的、细节的规律。
现在
有了大数据，可以把全部的历史数据都收集起来，统计其规律，进而预测正在发生的事情
这就是机器学习
AlphaGo
把历史上人类围棋对弈的棋谱数据都存储起来，针对每一种盘面记录如何落子可以得到更高的赢面。
语音聊天机器人
把人聊天的对话数据都收集起来，记录每一次对话的上下文，如果上一句是问今天过得怎么样，那么下一句该如何应对，通过机器学习可以统计出来。
Siri、天猫精灵、小爱同学
人工智能 AI
将人类活动产生的数据，通过机器学习得到统计规律，进而可以模拟人的行为，使机器表现出人类特有的智能，这就是人工智能 AI。
总结
大数据从搜索引擎到机器学习，发展思路其实是一脉相承的，就是想发现数据中的规律并为我们所用。
数据中蕴藏着价值已经是众所周知的事情了，那么如何从这些庞大的数据中发掘出我们想要的知识价值，<br>这正是大数据技术目前正在解决的事情，包括大数据存储与计算，也包括大数据分析、挖掘、机器学习等应用。<br>
