大数据的基本概念
大数据定义
-广义定义（哲学）：指将物理世界映射并提炼为数字世界，并发现其中的数据特征，从而做出提高效率的决策。
-狭义（技术）：通过捕获、存储和分析从大量数据中提取价值的新技术架构。
数据水平
主要数据来源
- 传统企业数据：包括CRM用户数据、ERP数据、库存数据、HR数据、财务数据等。
- 机器和传感器数据：包括设备日志、智能仪表、工业传感器、环境传感器、摄像头等。
-社交数据：包括用户行为记录、访问记录、UGC内容、反馈数据等。
数据类型
[按结构]
- 结构化数据：以关系数据库表形式管理的数据，如企业ERP、OA、HR数据。
- 非结构化数据：数据结构不完整或不规则，没有预定义的数据模型，不方便用数据库中的二维逻辑表（如Word、PDF、PPT等）表示的数据，格式如照片、视频）。
- 半结构化数据：具有底层固定结构模式的非关系数据，例如日志文件、XML文档、JSON文档、电子邮件等。
[取决于访问频率]
- 冷数据：不经常访问、对业务或应用不太重要的数据（备份数据、日志数据等）。
- 热点数据：经常访问且对您的业务或应用程序至关重要的数据，例如用户和设备状态信息、浏览和交易行为。
- 温数据：访问频率适中且对业务或应用程序具有一定重要性的数据。
数据价值挖掘
大数据的特征（5“v”）
大数据与传统数据的比较
大数据、云计算、人工智能
-云计算注重资源分配和利用，着力实现计算设备的资源虚拟化，从而实现更高效的资源利用。
-大数据是指对大规模数据的高效处理，主要是处理海量数据。
——云计算为大数据提供了强大的工具，大数据为云计算提供了数据特征支撑。
——大数据和云计算为人工智能提供强大的数据存储和计算能力，提供人工智能所需的大量数据。
大数据的发展与演变
数据开发阶段
-开始阶段：
*数据库发明后，数据管理的复杂度显着降低。每一层都开始生成数据，并将其记录在数据库中。
*现阶段的数据主要是结构化数据。数据的生成方式也是被动的。
- 转型阶段：
*出现于互联网2.0时代。互联网2.0的一个重要标志是用户生成内容。
*随着互联网和移动通信设备的普及，人们开始使用博客、Facebook、微博、QQ空间等社交网络，大量数据正在积极产生。
-加速阶段：
* 是万物互联、数字化转型阶段。随着物联网的发展，各种认知层节点（传感器、摄像头等）开始自动生成大量数据，实现从物理世界到数字世界的映射。
大数据应用的三个主要阶段
大数据面临的挑战
1、需求不明确
业务部门需求不明确，企业处于观望状态，担心投资回报。
2.数据岛
政府机构和企业内部数据碎片化，相互之间无法链接或整合，无法实现数据的价值。
3. 数据丢失
对于企业来说，存储数据的成本很高，导致大量有价值的历史数据被丢弃，数据资产丢失。
4. 数据质量差
企业忽视大数据的预处理阶段，导致数据处理不规范，影响数据准确性和可用性。
5、数据安全风险
安全威胁每天都在增加，使得保护您的系统和数据变得越来越困难。
6.隐私保护
有关隐私权保护的法律法规日趋严格，企业必须进行合规审核，合理合法地收集和使用数据。
7、缺乏人才
大数据相关人才的缺乏正在阻碍大数据技术和市场的发展。
大数据未来趋势
——资本化：大数据价值不断提升，成为企业和社会层面重要的战略资源和无形资产。
-智能：大数据变得更加智能，可以自动处理和分析数据，提高数据处理的效率和质量。
-个性化：大数据更加关注用户需求，实现个性化服务和定制化产品。
- 可视化：大数据更注重数据可视化，通过图表、报表等方式将数据呈现给用户，让用户直观地了解数据。
-安全性：大数据将更加注重数据安全，采取更严格的数据保护措施，确保数据安全和隐私。
大数据产业链
价值链
产业链
核心价值领域
应用领域
大数据关键技术
技术的演变
加工工艺
技术堆栈
数据湖
-数据湖是一种存储自然/原始格式的集中式存储库。数据湖通常是存储企业内所有数据的单个存储。
-数据湖允许您存储任何规模的所有结构化、半结构化和非结构化数据。
-数据湖是一个不断发展、可扩展的基础设施，用于大数据存储、处理和分析。
- 数据湖以数据为导向，能够对任何来源、任何速度、任何规模、任何类型的数据进行完整的摄取、完整的存储、多模式处理和完整的生命周期管理。
-数据湖通过与各种外部异构数据源的交互集成来支持各种企业级应用程序。
湖库一体化
来源@freshdateclassroom
版权声明：本文转载于网络，版权归作者所有。如有侵权，请联系本站编辑删除。
