大数据技术，就是从各种类型的数据中心快速获得有价值信息的技术。
大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用和大数据安全等）

大数据采集技术

数据是通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化（或称之为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本。
大数据采集技般分为大数据智能感知层、基础支持层

大数据预处理技术

主要完成对已接收数据的抽取和清洗等操作。

  • 抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转换为单一的或者便于处理的构型，以达到快速分析处理的目的

  • 清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据

    大数据存储及管理技术

    大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。

    大数据分析及挖掘技术

    大数据分析技术：改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘和图挖掘等新型数据挖掘技术；突破基于对象的数据连接和相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析和情感语义分析等面向领域的大数据技术
    数据挖掘就是从大量的、不完全的、有噪声的、模糊的和随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程
    从挖掘任务和挖掘方法的角度，着重突破：

  • 可视化分析

  • 数据挖掘算法
  • 预测性分析
  • 语义引擎
  • 数据质量和数据管理

    大数据展现和应用技术