第5期：大数据基本概念

2019-08-12

与传统数据相比，大数据的资源性特征尤为突出，成为各国重视开发大数据的依据。在移动网络、云计算和其他技术的支持下，大数据迅猛发展，分析数据的技术不断创新，数据革命悄然发生。

大数据发展已经步入技术不断成熟、发展愈加快速的阶段，几乎所有行业或多或少都会受到大数据的影响。

随着互联网科技的不断进步，由数据到大数据的转型，成功开启了一个新时代。大数据这一概念的形成，有三个标志性事件：

大数据时代，任何微小的数据都可能产生不可思议的价值。大数据有4个特点为：Volume、Variety、Velocity、Value，一般称之为4V。

随着数据获取和挖掘技术的日益完善，数据呈现出前所未有的升级和活力，企业运用数据创造价值的方式也在多样化，同时对企业决策过程产生了深远而重要的影响。

随着人类活动的进一步扩展，数据规模会急剧膨胀，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的各行业累积的数据量越来越大，数据类型也越来越多、越来越复杂。

依据产生数据主体的不同，将数据的来源划分为：少量企业应用产生的数据、大量人产生的数据、巨量机器产生的数据。

如此海量的数据中，仅有20%左右属于结构化数据，80%的数据属于广泛存在于社交网络、物联网、电子商务等领域的非结构化数据。

大数据本身是一个现象而不是一种技术，伴随着大数据的采集、传输、处理和应用的相关技术就是大数据处理技术。

海量数据从原始数据源到产生价值，期间会经过存储、清洗、挖掘、分析等多个环节。所以，在大数据的发展过程中，计算速度是非常关键的因素。

大数据的采集通常采用多个数据库来接收终端数据，包括智能硬件端、多种传感器端、网页端、移动APP应用端等，并且可以使用数据库进行简单的处理工作。

现实世界中数据大体上都是不完整的，无法直接进行数据挖掘，为了提高数据挖掘的质量，产生了数据预处理技术。

数据挖掘是创建模型的一组试探法和计算方法。通过对提供的数据进行分析，查找特定类型的模式和趋势，最终创建模型。