大数据概念 大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和 处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化 能力的海量、高增长率和多样化的信息资产。 按顺序给出数据存储单位：bit、Byte、 KB、MB、GB、TB、PB、EB、ZB、YB、 BB、NB、DB。 1Byte = 8bit 1K = 1024Byte 1MB = 102
原创
2022-04-28 08:48:35
392阅读
1.5 全书概览本书将较为全面地描述大数据分析的模型、技术、实现与应用。其中第2～7章介绍大数据分析模型，包括关联分析模型、分类分析模型、聚类分析模型、结构分析模型和文本分析模型；第8～11章介绍大数据分析相关的技术，包括大数据预处理、特征选择和降维方法、面向大数据的数据仓库和大数据分析算法。第12～14章介绍三种用于实现大数据分析算法的平台，分别是大数据计算平台、流式计算平台和大图计
转载
2024-01-11 13:30:27
65阅读
大数据的概念在维克托的《大数据时代》一书中提到，书中大数据指不用随机分析法，而采用所有数据进行分析处理。书中的三个思想就是：数据不是随机样本，而是全部数据;数据不是精确性，而是混杂性;数据间不是因果关系，而是相关关系。那么大数据的应用框架是这样的呢? 随着信息社会的发展，数据在不断地增长，而且是超几何的增长。特别是在浏览器端产生的数据，万亿用户的浏览数据如何进行存储和分析计算，这就是Goog
转载
2023-10-24 13:10:38
43阅读
前言：model对于数仓是最核心的东西，数据模型是数据组织和存储方法，模型的好坏，决定了数仓能支撑企业业务多久。为什么大多数企业，数仓都要重建，这不仅仅是业务拓展、发展迅速，很大一部分是因为模型建的很烂。01. 基本概念维度建模，是数据仓库大师Ralph Kimball提出的，是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型，构建的数据模型为分析需求服务，因
转载
2023-08-08 12:04:39
91阅读
何为大数据建模，我们从3个W（什么、为什么、如何）出发来详解下大数据建模。一、什么是数据建模（what）数据建模指的是对现实世界各类数据的抽象组织，确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。（个人认为，数据建模就是将现实数据关系、类别按照一套完整的方法论有映射到数据仓库里，将数据有序的、结构化存储在数据仓库里面）二、为什么要进行数据建模（why）性能：我们可以更快地查询到想要
转载
2023-09-02 17:00:06
231阅读
本文学习来源于《数据挖掘理论与技术》（电子工业出版社）数据挖掘概述数据挖掘方法可以是基于数学理论的，也可以是非数学的；可以是演绎的，也可以是归纳的。
原创
2017-03-12 17:52:02
94阅读
聊聊HDFS 大数据大数据，先解决存数据的问题，那不得不说hdfs，干什么用的呢，就是负责数据的存储。号称hadoop的大本营，即hadoop分布式文件系统。hdfs架构分为3个部分：nameNode（nn）：用于存储文件的元数据，元数据是什么举个例子：比如文件名，文件目录结构，文件的一些属性（生产时间，副本数量，文件权限）......，以及每个文件的块列表和块所在的dataNode等（一会
转载
2021-02-02 20:53:23
319阅读
2评论
机器学习AI算法工程 ：datayx随着信息通讯技术的不断发展，各行各业都产生了海量的数据，与此同时，一门新的学科应运而生—— 数据挖掘。数据挖掘是从大量数据（包括文本数据）中挖掘出隐含的、先前未知的、对决策有潜在价值的信 息、知识和关联关系，并基于这些信息和相应规则建立可用于决策支持与优化分析的模型，提供可支持预测 性决策的方法和工具。此外，数据挖...
转载
2022-11-03 14:47:13
107阅读
1、统计学理论1.1 大数定量定义： 指大量重复某一实验时，最后的频率会无限接近于事件的概率 数据的样本量越大，我们预测和计算的概率就越准确 数据的样本量越小，我们预测和计算的概率就越可能失效举例： 某产品用户还只有几百人，就用一个模型来预测用户的流失。数据量太小导致用上面模型都很难预测准确 样本量不足时，得出的预测结果是无序的，混乱的解决方法：主客观结合：深入业务，从用户的视角思考问题，广泛收集
转载
2023-09-27 17:11:02
237阅读
⭐⭐个人主页?哆啦A梦撩代码?欢迎关注??⭐️留言?
原创
精选
2024-05-12 12:31:30
234阅读
大数据时代 |数据分析方法及理论详解1 数据分析前，我们需要思考像一场战役的总指挥影响着整个战役的胜败一样，数据分析师的思想对于整体分析思路，甚至分析结果都有着关键性的作用。2 分析问题和解决问题的思路| 数据分析方法及理论详解">定义问题(重要步骤之一)：1)首先，要搞清楚问题的实质，准确、...
转载
2018-02-24 10:29:00
121阅读
2评论
1.这些分析所采用数据的来源是什么？（1）交易软件产生的交易数据（2）移动通讯设备记录的数据（3）人为数据2.大数据的呈现方式有哪些？大数据采用可视化的呈现方式；分为：指标值图形化，指标关系图形化，时间和空间可视化。3.大数据的特点是什么？结合大数据应用案例，分析大数据对思维方式有何影响?大数据有四个特点：Volume（大量）、Variety（多样）、Velocity（高速）、Valu
转载
2024-04-10 11:20:28
32阅读
Hadoop概述Hadoop体系也是一个计算框架，在这个框架下，可以使用一种简单的编程模式，通过多台计算机构成的集群，分布式处理大数据集。Hadoop是可扩展的，它可以方便地从单一服务器扩展到数千台服务器，每台服务器进行本地计算和存储。大数据培训机构除了依赖于硬件交付的高可用性，软件库本身也提供数据保护，并可以在应用层做失败处理，从而在计算机集群的顶层提供高可用服务。Hadoop核心生态圈组件如图
转载
2023-11-26 12:41:06
44阅读
第一讲、环境部署 1.Python是一种面向对象的解释型计算机程序设计语言 2.语言特征：编译性语言、解释性语言（python平台兼容性）、动态语言、静态语言、强数据类型（仅能强制转换类型安全的语言）、弱数据类型（一个变量可赋予不同数据类型的值） 3.python环境部署：网址www.python.org 选择的最低版本不小于3.5 配置完成python3环境后，配置IDE的工具，推荐vscode
转载
2024-06-20 05:02:37
54阅读
⭐简单说两句⭐
✨ 正在努力的小叮当~
? 超级爱分享，分享各种有趣干货！
?? 提供：模拟面试 | 简历诊断 | 独家简历模板
? 感谢关注，关注了你就是我的超级粉丝啦！
? 以下内容仅对你可见~
<font color='#20afdf'>作者：</font>小叮当撩代码，CSDN后端领域新星创作者 |阿里云专家博主
<font color='#f00f6d'
原创
2024-05-06 23:07:44
51阅读
本文仅供学术交流，如有侵权，请留言联系小编进行删除。 1、 请说明什么是Apache Kafka？ Apache Kafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和重复的日志服务。
转载
2022-05-31 22:52:19
30阅读
欢迎关注博客主页：https://blog.csdn.net/u013411339欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的面试部分补充。
原创
2021-09-03 15:29:05
179阅读
