数据时代，我们已经踏入了DT时代。

当我在思考问题的时候，总是问自己三个问题：

  • 首先是为什么（Why），为什么是大数据，为什么需要大数据？

  • 其次是什么（What），什么是大数据？

  • 最后是怎么（How），如何去处理、去利用大数据？

作为一个IT理工男，而且对于多数的技术从业者，很多时候我会去看怎么去处理大数据，有怎样的技术去实现它等等如此，对于技术本身的狂热，比如总是从我要去学spark、去学hadoop、去搞JStrom等等，多数时间忘记了数据其本质的存在，学习怎么处理本身我觉得没有什么问题，但是我觉得我们更要去思考其背后的价值。我来谈谈对此的理解。

**为什么是大数据，为什么需要大数据？

**

曾经听过，最能回答这个问题的答案是这样的。因为大数据可以做到我们曾经无法做到的事情，就是这么简单。

每一个时代的革新技术，都是因为可以做到曾经无法做到的事情而成为时代的代名词。工业时代，机器的力量可以让人类更快速的发展，生活变得便捷、出行变得方便，彻底改变我们日出而耕，日落而息的生活，物质得到了极度的繁荣。信息互联网时代，人与人之间被拉近，一个虚拟世界的出现，貌似一切都近了，我们可以随意的言语，足不出户一切资源都可以获取。

之前的世界，满足的是人类整体的物质、交流（精神）的需求。而数据时代最大的革命在于个性化的需求。马斯洛的需求模型中的最高层次就是实现自我的理想精神最求。数据时代我们所有的需求都可以是个性化的，都是不同的。人类喜欢团体群居，这可以带来安全感，但是又同时我们需要个体化的安静、思考和生活。我们希望对于每个人都有个体化的医疗、出行、旅行等等。而这一切都是建立在几千年的数据之上的。这应该是人类发展到这个阶段，我认为是自然而然达到的阶段。

整个数据生态链可以简单是分为这样阶段：

  • 收集数据

  • 存储数据

  • 分析数据

在上一个时代，这三件事我们也在做了，但是收集的技术有限，数据的积累还没到大的阶段，分析能力还达不到。然后数据时代，这一切都开始变得成熟，从而达到真正的大的阶段。

所以大数据时代带来的是三个字：个性化。国家之间的个性化，企业间的个性化，家庭间的个性化，甚至个体（每个人）之间的个性化。

**什么是大数据？

**

有人说大数据就是数据量很大，有人说大数据是数据维度很多等等，这样的观点都没错。我认为大数据是世间一切可以检测数据的统称，它不仅仅是对于互联网而言的，而是对于这个世界万物而言的。简单来说就是大、复杂、变化剧烈。大数据是一种思想，也就是我们的工作生活等各个方面都可以用数据来说话，用数据的思维来思考这个世界。

大数据一直都是存在的，只是在以前我们没有能力去收集这么多的数据，更加没有能力去处理这么多的数据。有科技的不断发展，我们开始不断的收集数据，这是信息时代干的事，各种各样的数据被收集了，其中许许多多的数据都不被我们所用，因为上个时代我们没能力去做。于是又在科技不断发展之下，出现了云计算，分布式计算。突然发现处理这些数据变得可能了，这就好像发现了一个巨大的已存的金库。

如何去处理、去利用大数据？

知道为什么需要大数据，知道什么是大数据，但是如果无法处理利用它，那么也没什么用。这就好像美味的河豚鱼在你面前游来游去，却不知道这么处理，你也只好流着口水干看着了。

其实大数据的概念很早就有了，数据时代解决的最大问题就是我们可以有能力去处理了，数据的积累也到达一定的量级了，收集工具（手机，穿戴设备。。）普及了。

数据在不断变大，摆在我们面前的依然是三个问题：收集，存储，分析。

我们需要更加精准的收集工具，甚至每个独立个体的所有数据。现在的数据来源大多来自我们在互联网上的各种浏览点击的记录，这种数据还是有片面性的。工业上需要每种机器的数据，人们需要有个体身体、行为数据等等。

我们需要更大的存储，存储需要是分布式，可扩展的，易用而又耐用的。

我们需要更强大的分析工具，现有的分析工具Hadoop，Spark，Stream等等。可能这些工具都还远远不够。

智能

大数据带来的另一个巨大的力量就是人工智能，这可能是未来人类社会变革的巨大推力。我觉得人工智能的各种技术，2016年AlphaGo的惊艳世界，什么神经网络、蒙特卡洛搜索树等等我们都开始关注，确实很厉害。其实光有技术就像是一个人只要皮囊，而大数据确是血液、是知识的载体，有了这么多的数据人工智能才能学习，精华，就像灌满的血液的人，开始慢慢的成长。

**危机

** 大数据带来的最大的危机就是隐私的问题。我们的数据被采集，被存储，被分析，这之中最大的危机就在于我们的所有信息其实都是被暴露出去了。很多时候我们都是无能为力的，即使了解到了这个情况。

我们的数据存储在任何地方，不管他们声称是多么安全，其实都是有风险的，都有可能被数据的持有者滥用的。所以未来如何保护数据的安全不被滥用这也是一个具有巨大潜力的方向。

在未来，我畅想每个人都可以自己掌控所有关于自己的数据，一个属于自己的数据仓库，其他公司政府可以来分析，但是需要我们的授权。这就好像是银行一样，数据也是一种资产。我们浏览，采集的数据不是存在某个企业，而是存在我们个人数据银行仓库中，而数据银行就是帮我们管理的。

结语

每个时代都有利有弊的地方，辩证的去看待它。大数据也不是很神秘的东西，这个时代人人都需要有大数据的思维，一方面需要保护自己，另一方面，去用平和的心态来迎接这个时代。就像在双城记中说的：这是最好的时代，这是最坏的时代。其实每个时代都一样不是吗？我觉得这个时代，作为技术人员，掌握技术很重要，但是多多思考问题背后的本质也是挺重要的。