存储日志数据集（HDFS）数据仓库构建（Hive）数据分区表构建数据预处理 （Spark计算引擎）-使用Zeppelin进行写SQL订单指标分
原创
2023-04-23 12:24:09
841阅读
大数据项目实战之电信大数据项目生产日志->kafka采集->kafka API的控制台展示 ->HBASE（创建命名空间，创建表）
原创
2022-01-28 10:42:51
2089阅读
大数据项目实战第六章 数据可视化学习目标掌握 Sqoop 数据迁移工具的迁移工具的使用 熟悉关系型数据库 MySQL 掌握 SSM JavaEE 开发框架的整合及应用 掌握 ECharts 前端框架的使用本篇将应用 Sqoop 将 Hive 中的表数据导出到关系型数据库 MySQL 中，方便后续进行数据可视化处理，使抽象的数据转化为图形化表示，便于非技术人员的决策和分析。一、数据迁移（1）创建关系
以大数据项目为主线，技术理论与项目实践相结合，按照大数据项目的开发流程逐步推进，本文主要讲解项目的需求分析、架构设计以及离线和实时数据流程设计，然后提前规划好大数据项目需要的集群，按照项目的实现逻辑，结合具体的技术组件详细讲解整个大数据项目的开发流程。一、项目需求分析需求分析是基础，需求分析贯穿整个项目的始终，是对客户需求的深入了解。整个项
原创
2022-09-26 16:11:00
746阅读
大数据架构介绍
一般企业大数据架构图
LAMBDA架构介绍（了解）大概思路：将大数据系统构建为多个层次，三层架构：批处理层、实时处理层、服务层
大数据团队组织结构数据平台负责人数据平台架构师大数据开发（ETL开发、数仓开发）深度学习/AI工程师BI
思考题、从零开始组建公司的大数据集群如何确认集群规模？假设每台服务器8T硬盘使用Apache/CDH/HDP版本？服务器使用物理机还是云主机大数据服
原创
2022-01-07 16:01:45
1077阅读
从零学起大数据-Java篇-第一周学习内容分享(2)本章重点1. 控制台的输入（scanner的使用）2. 运算符1.1控制台的输入（scanner的使用）1 导入scanner类（导包） imput java.util.Scanner; 2.创建Scanner对象 Scanner input = new Scanner（System.in） 3输入之前通常需要【提示语句】：通过输出语句打印在控制
转载
2023-09-20 10:16:08
101阅读
系统项目的git仓库的地址是：GitHub - 2462612540/BigData: This project is a warehouse of personal big data technology, which involves hadoop Spark Flink zookeeper Scala... and other technology-related content. Th
原创
2023-03-21 09:00:39
395阅读
大数据的基本概念大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强大的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费大量的时间和金钱。大数据主要解决两个主要问题海量数据的存储 : 例如分布式存储文件系统 : HDFS海
。数据量如此巨大，除了要满足用户的实时查询和展示之外，还需要定时定期的对已有数据进行离线的分析处理。例如，当日话单，月度话单，季度话单，年度话单
原创
2023-03-21 09:02:35
234阅读
数据字典是结构化分析的一个重要输出。数据字典的条目不包括( )。
A.外部实体
B.数据流
C.数据项
D.基本加工
参考答案：A
省发改委昨日传来消息，为进一步推动数据资源开放共享流通，强化数据资源在各领域应用，省发改委组织实施促进大数据发展重大工程，旨在有效促进数据要素流通，创造新的增长点。上述重大工程将以数据流引领技术流、物质流、资金流、人才流，推动生产要素的网络化共享、集约化整合、协作化开发和高效化利用。重点支持的领域包括大数据示范应用，譬如，开展社会治理大数据应用，在企业监管、环境治理、食品安全等领域，推动政府部门、
随着信息技术的迅猛发展，大数据项目在各行各业的应用日益广泛。然而，大数据项目由于其复杂性和不确定性，往往伴随着诸多风险。本文将通过分析一个具体的大数据项目风险管理案例，探讨如何在软考中应对类似项目的风险挑战。
项目背景与目标
某电商企业为了提升用户体验和精准营销，决定启动一个大数据分析项目。该项目旨在通过收集、整合和分析用户行为数据，为企业提供更精准的营销策略。项目的成功实施对于企业的市场竞
摘要常用推荐算法分类基于人口统计学的推荐与用户画像基于内容的推荐与特征工程基于协同过滤的推荐基于协同过滤与基于内容的推荐算法的区别：协同过滤分为近邻的协同过滤：包括了两种的：基于用户的协同过滤的算法 还有是基于的物品的协同过滤的算法协同过滤还有一种是的基于模型的协同过滤：包括三种：奇异值分解、 潜在语义分析 、支持向量机。基于近邻的推荐和基于模型的推荐区别：——基于近邻的推荐是在预测时直接使用已有
原创
2023-03-21 09:21:22
192阅读
实时推荐系统的设计
原创
2023-05-19 12:08:23
664阅读
上节我们已经成功配置并启动了hadoop集群，1台namenode节点，2台datanode节点，接下来我们就利用hadoop大杀器，使用HDFS和Mapreduce1、测试HDFS的功能我们先上传一个文件到HDFS，先查看software目录里面有我们之前配置java的jdk包，我们就上传这个文件，输入hadoop可以查看帮助信息，看到有fs我们再输入hadoop fs，可以看到有很多命令可用，
转载
2023-10-03 11:41:30
65阅读
# Spark 大数据项目科普
在当今数据驱动的时代，处理和分析大规模数据集的能力成为了企业竞争力的关键。而 Apache Spark 作为一种极具影响力的大数据处理框架，凭借其高速的计算能力和丰富的生态系统，得到了广泛的应用。本文将介绍 Spark 大数据项目的基本概念，并结合代码示例解析其核心功能。
## 什么是 Apache Spark？
Apache Spark 是一个开源的大数据处
数据/大数据项目的核心是人、其次是工具平台。
大数据相关领域，包括数据治理（数据接入、数据标准化、数据资产、数据服务）和数据应用（数据建模、全文检索、可视化看板、大语言模型、知识图谱（族谱关系、同场景关系等）、图片分类（环保、病理等））
# 大数据项目实战之用户行为分析HBase数据表操作
## 整体流程
首先，让我们来看一下这个项目的整体流程。我们需要完成以下步骤：
```mermaid
flowchart TD
A(创建HBase表) --> B(向HBase表中插入数据)
B --> C(从HBase表中读取数据)
```
## 详细步骤及代码示例
### 1. 创建HBase表
首先，我们需要创
在使用BigData大约8年以上之后，我遇到了大量的项目。 Esp Apa
原创
2022-06-25 00:24:03
480阅读
1.重新清洗数据目标：将数据按照年月日的结构，将相同日期的数据整理到一个文件。现有历史数据，一类数据在一个文件中。这个文件中包含了多天、多月、甚至多年的数据。生产系统中需要将这些数据分区存储，即一天一个分区。当天的数据放在当天的分区中。要实现这个功能需要将数据进行拆分。遍历数据中的每一条数据，判断每条数据的所属日期（数据中包含日期格式的数据），将相同日期的数据存放在一个文件中，文件名...
原创
2021-12-29 14:09:40
217阅读
