存储日志数据集（HDFS）数据仓库构建（Hive）数据分区表构建数据预处理 （Spark计算引擎）-使用Zeppelin进行写SQL订单指标分
原创
2023-04-23 12:24:09
841阅读
大数据项目实战之电信大数据项目生产日志->kafka采集->kafka API的控制台展示 ->HBASE（创建命名空间，创建表）
原创
2022-01-28 10:42:51
2089阅读
大数据项目实战第六章 数据可视化学习目标掌握 Sqoop 数据迁移工具的迁移工具的使用 熟悉关系型数据库 MySQL 掌握 SSM JavaEE 开发框架的整合及应用 掌握 ECharts 前端框架的使用本篇将应用 Sqoop 将 Hive 中的表数据导出到关系型数据库 MySQL 中，方便后续进行数据可视化处理，使抽象的数据转化为图形化表示，便于非技术人员的决策和分析。一、数据迁移（1）创建关系
https://how2j.cn/另外，还有实验楼https://www.shiyanlou.com/
原创
2022-10-13 09:43:08
71阅读
介绍：&emsp本次项目是基于企业大数据经典案例项目（大数据日志分析），全方位、全流程讲解大数据项目的业务分析、技术选型、架构设计、集群规划、安装部署、整合继承与开发和web可视化交互设计。一、业务需求 （一）捕获用户浏览日志信息 （二）实时分析前20名流量最高的新闻话题 （三）实时统计当前线上已曝光的新闻话题&
原创
2019-01-09 19:49:27
2940阅读
从零学起大数据-Java篇-第一周学习内容分享(2)本章重点1. 控制台的输入（scanner的使用）2. 运算符1.1控制台的输入（scanner的使用）1 导入scanner类（导包） imput java.util.Scanner; 2.创建Scanner对象 Scanner input = new Scanner（System.in） 3输入之前通常需要【提示语句】：通过输出语句打印在控制
转载
2023-09-20 10:16:08
101阅读
系统项目的git仓库的地址是：GitHub - 2462612540/BigData: This project is a warehouse of personal big data technology, which involves hadoop Spark Flink zookeeper Scala... and other technology-related content. Th
原创
2023-03-21 09:00:39
395阅读
大数据的基本概念大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强大的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费大量的时间和金钱。大数据主要解决两个主要问题海量数据的存储 : 例如分布式存储文件系统 : HDFS海
数据字典是结构化分析的一个重要输出。数据字典的条目不包括( )。
A.外部实体
B.数据流
C.数据项
D.基本加工
参考答案：A
省发改委昨日传来消息，为进一步推动数据资源开放共享流通，强化数据资源在各领域应用，省发改委组织实施促进大数据发展重大工程，旨在有效促进数据要素流通，创造新的增长点。上述重大工程将以数据流引领技术流、物质流、资金流、人才流，推动生产要素的网络化共享、集约化整合、协作化开发和高效化利用。重点支持的领域包括大数据示范应用，譬如，开展社会治理大数据应用，在企业监管、环境治理、食品安全等领域，推动政府部门、
摘要常用推荐算法分类基于人口统计学的推荐与用户画像基于内容的推荐与特征工程基于协同过滤的推荐基于协同过滤与基于内容的推荐算法的区别：协同过滤分为近邻的协同过滤：包括了两种的：基于用户的协同过滤的算法 还有是基于的物品的协同过滤的算法协同过滤还有一种是的基于模型的协同过滤：包括三种：奇异值分解、 潜在语义分析 、支持向量机。基于近邻的推荐和基于模型的推荐区别：——基于近邻的推荐是在预测时直接使用已有
原创
2023-03-21 09:21:22
192阅读
https://neptune.ai/这个网站提供一个最轻量级的实验管理工具，适合任何工作流。与此同时，还会有玩kaggle的大牛在上面发表文章，分享自己在比赛中中的经验。下面列举两个为例，更多适合自己的文章自行查找：Image Segmentation: Tips and Tricks from 39 Kaggle CompetitionsText Classificatio
原创
2022-07-14 12:21:45
59阅读
上节我们已经成功配置并启动了hadoop集群，1台namenode节点，2台datanode节点，接下来我们就利用hadoop大杀器，使用HDFS和Mapreduce1、测试HDFS的功能我们先上传一个文件到HDFS，先查看software目录里面有我们之前配置java的jdk包，我们就上传这个文件，输入hadoop可以查看帮助信息，看到有fs我们再输入hadoop fs，可以看到有很多命令可用，
转载
2023-10-03 11:41:30
65阅读
实时推荐系统的设计
原创
2023-05-19 12:08:23
664阅读
# Spark 大数据项目科普
在当今数据驱动的时代，处理和分析大规模数据集的能力成为了企业竞争力的关键。而 Apache Spark 作为一种极具影响力的大数据处理框架，凭借其高速的计算能力和丰富的生态系统，得到了广泛的应用。本文将介绍 Spark 大数据项目的基本概念，并结合代码示例解析其核心功能。
## 什么是 Apache Spark？
Apache Spark 是一个开源的大数据处
数据/大数据项目的核心是人、其次是工具平台。
大数据相关领域，包括数据治理（数据接入、数据标准化、数据资产、数据服务）和数据应用（数据建模、全文检索、可视化看板、大语言模型、知识图谱（族谱关系、同场景关系等）、图片分类（环保、病理等））
在使用BigData大约8年以上之后，我遇到了大量的项目。 Esp Apa
原创
2022-06-25 00:24:03
480阅读
1.重新清洗数据目标：将数据按照年月日的结构，将相同日期的数据整理到一个文件。现有历史数据，一类数据在一个文件中。这个文件中包含了多天、多月、甚至多年的数据。生产系统中需要将这些数据分区存储，即一天一个分区。当天的数据放在当天的分区中。要实现这个功能需要将数据进行拆分。遍历数据中的每一条数据，判断每条数据的所属日期（数据中包含日期格式的数据），将相同日期的数据存放在一个文件中，文件名...
原创
2021-12-29 14:09:40
217阅读
学习实现步骤监督学习模型评估策略监督学习模型求解算法...
原创
2023-03-21 09:21:45
103阅读
摘要推荐系统的对象人们解决如何从大量信息中找到自己感兴趣的信息。推荐系统是信息过载所采用的措施，面对海量的数据信息从中快速推荐出符合用户特点的物品。解决一些人的“选择。解决如何让自己生产的信息脱颖而出，受到大众的喜爱。推荐系统的目的推荐系统的应用推荐系统的基本思想推荐系统的数据分析推荐系统的分类推荐算法简介基于人口统计学的推荐基于内容的推荐 基于协同过滤的推荐混合推荐推荐系统的评测指标
原创
2023-03-21 09:21:53
311阅读
