存储日志数据集（HDFS）数据仓库构建（Hive）数据分区表构建数据预处理 （Spark计算引擎）-使用Zeppelin进行写SQL订单指标分
原创
2023-04-23 12:24:09
902阅读
大数据项目实战之电信大数据项目生产日志->kafka采集->kafka API的控制台展示 ->HBASE（创建命名空间，创建表）
原创
2022-01-28 10:42:51
2149阅读
大数据项目实战第六章 数据可视化学习目标掌握 Sqoop 数据迁移工具的迁移工具的使用 熟悉关系型数据库 MySQL 掌握 SSM JavaEE 开发框架的整合及应用 掌握 ECharts 前端框架的使用本篇将应用 Sqoop 将 Hive 中的表数据导出到关系型数据库 MySQL 中，方便后续进行数据可视化处理，使抽象的数据转化为图形化表示，便于非技术人员的决策和分析。一、数据迁移（1）创建关系
转载
2023-11-09 08:40:47
188阅读
摘 要科技进步的飞速发展引起人们日常生活的巨大变化，电子信息技术的飞速发展使得电子信息技术的各个领域的应用水平得到普及和应用。信息时代的到来已成为不可阻挡的时尚潮流，人类发展的历史正进入一个新时代。在现实运用中，应用软件的工作规则和开发步骤，采用Java技术建设基于大数据技术的创业推荐系统 。本设计主要实现集人性化、高效率、便捷等优点于一身的基于大数据技术的创业推荐系统 ，完成轮播图、公
从零学起大数据-Java篇-第一周学习内容分享(2)本章重点1. 控制台的输入（scanner的使用）2. 运算符1.1控制台的输入（scanner的使用）1 导入scanner类（导包） imput java.util.Scanner; 2.创建Scanner对象 Scanner input = new Scanner（System.in） 3输入之前通常需要【提示语句】：通过输出语句打印在控制
转载
2023-09-20 10:16:08
113阅读
系统项目的git仓库的地址是：GitHub - 2462612540/BigData: This project is a warehouse of personal big data technology, which involves hadoop Spark Flink zookeeper Scala... and other technology-related content. Th
原创
2023-03-21 09:00:39
398阅读
数据字典是结构化分析的一个重要输出。数据字典的条目不包括( )。
A.外部实体
B.数据流
C.数据项
D.基本加工
参考答案：A
转载
2023-11-08 23:30:45
119阅读
1、增加admin删除逻辑 点击红色×按钮进行单个删除 前端代码：<%@ page contentType="text/html;charset=UTF-8" language="java" %>
<%@ taglib uri="http://java.sun.com/js
省发改委昨日传来消息，为进一步推动数据资源开放共享流通，强化数据资源在各领域应用，省发改委组织实施促进大数据发展重大工程，旨在有效促进数据要素流通，创造新的增长点。上述重大工程将以数据流引领技术流、物质流、资金流、人才流，推动生产要素的网络化共享、集约化整合、协作化开发和高效化利用。重点支持的领域包括大数据示范应用，譬如，开展社会治理大数据应用，在企业监管、环境治理、食品安全等领域，推动政府部门、
转载
2023-11-16 22:40:28
90阅读
很多企业都已经看到了大数据的前景，都想做大数据，但是想要做一个成功的大数据项目并不简单，下面科多大数据和大家一起了解下成功的方法。 1 失败大数据案例的特征 根据在美国做了15年的大数据项目、产品研发和管理，以及其它一些相关的数据分析的工作经验，了解到的其它的做的比较成功的和失败的项目，跟大家做一个经验分享。基本上大数据项目失败的特征
上节我们已经成功配置并启动了hadoop集群，1台namenode节点，2台datanode节点，接下来我们就利用hadoop大杀器，使用HDFS和Mapreduce1、测试HDFS的功能我们先上传一个文件到HDFS，先查看software目录里面有我们之前配置java的jdk包，我们就上传这个文件，输入hadoop可以查看帮助信息，看到有fs我们再输入hadoop fs，可以看到有很多命令可用，
转载
2023-10-03 11:41:30
89阅读
# Spark 大数据项目科普
在当今数据驱动的时代，处理和分析大规模数据集的能力成为了企业竞争力的关键。而 Apache Spark 作为一种极具影响力的大数据处理框架，凭借其高速的计算能力和丰富的生态系统，得到了广泛的应用。本文将介绍 Spark 大数据项目的基本概念，并结合代码示例解析其核心功能。
## 什么是 Apache Spark？
Apache Spark 是一个开源的大数据处
原创
2024-09-06 03:21:54
78阅读
数据/大数据项目的核心是人、其次是工具平台。
大数据相关领域，包括数据治理（数据接入、数据标准化、数据资产、数据服务）和数据应用（数据建模、全文检索、可视化看板、大语言模型、知识图谱（族谱关系、同场景关系等）、图片分类（环保、病理等））
原创
2023-12-27 10:23:26
125阅读
在使用BigData大约8年以上之后，我遇到了大量的项目。 Esp Apa
原创
2022-06-25 00:24:03
495阅读
1.重新清洗数据目标：将数据按照年月日的结构，将相同日期的数据整理到一个文件。现有历史数据，一类数据在一个文件中。这个文件中包含了多天、多月、甚至多年的数据。生产系统中需要将这些数据分区存储，即一天一个分区。当天的数据放在当天的分区中。要实现这个功能需要将数据进行拆分。遍历数据中的每一条数据，判断每条数据的所属日期（数据中包含日期格式的数据），将相同日期的数据存放在一个文件中，文件名...
原创
2021-12-29 14:09:40
230阅读
本项目是基于Spark MLLib的大数据电商推荐系统项目，使用了scala语言和java语言。基于python语言的推荐系统项目会另外写一篇博客。在阅读本博客以前，需要有以下基础：1.linux的基本命令2.至少有高中及以上的数学基础。3.至少有java se基础，会scala语言和Java
EE更佳(Jave EE非必需，但是可以帮助你更快理解项目的架构)。4.有github账户，并且至少知道git clone，fork，branch的概念。5。有网络基础，至少知道服务器端和客户端的区别。6.有大数据基础，最好会Hadoop,HDFS,MapReduce,Sqoop,HBase,Hive,Spark，Storm。7.有mysql数据库基础，至少会最基本的增删改查。
原创
2018-12-02 23:57:37
10000+阅读
点赞
大数据架构介绍
一般企业大数据架构图
LAMBDA架构介绍（了解）大概思路：将大数据系统构建为多个层次，三层架构：批处理层、实时处理层、服务层
大数据团队组织结构数据平台负责人数据平台架构师大数据开发（ETL开发、数仓开发）深度学习/AI工程师BI
思考题、从零开始组建公司的大数据集群如何确认集群规模？假设每台服务器8T硬盘使用Apache/CDH/HDP版本？服务器使用物理机还是云主机大数据服
原创
2022-01-07 16:01:45
1156阅读
1. 准备数据链接：https://pan.baidu.com/s/1Lzb5sYvJS7Z2RUupV306gw 提取码：pm16 复制这段内容后打开百度网盘手机App，操作更方便哦2. 离线数据入库2.1 将数据上传到linux上传至 /workspace/telecom/datas2.2 创建数据库与表数据库创建create database telecom;...
原创
2021-12-29 14:09:40
261阅读
1. 准备数据链接：https://pan.baidu.com/s/1Lzb5sYvJS7Z2RUupV306gw 提取码：pm16 复制这段内容后打开百度网盘手机App，操作更方便哦2. 离线数据入库2.1 将数据上传到linux上传至 /workspace/telecom/datas2.2 创建数据库与表数据库创建create database telecom;...
原创
2022-02-16 16:42:59
358阅读
目标:写个hiveJDBC脚本,将分区完成的数据加载到hive表中package com.czxy.telecom.mapreduce;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStatu...
原创
2022-02-16 16:46:34
254阅读
