实现了海量物联数据的高性能、低成本的存储。
作者：何佳瑞小 T 导读： 在万物互联的时代，大到企业数字化转型、数字城市建设，小到和生活息息相关的家居生活、智能驾驶、运动健康等，都离不开智能物理设备广泛的连接和互通。AIoT 是人工智能和 IoT 技术的融合，通过物联设备网产生、收集来自不同维度的、海量的数据存储于云端、边缘端和设备端再通过海量数据分析引擎，以
转载
2024-05-07 18:41:13
50阅读
在自己的行业待久了之后，就想着看看别的行业是怎么玩大数据的。行业的不同，落实到数据模型和技术手段就会有不一样。本着探索的精神，我每隔一段时间就想着搜罗一下不同的应用。互联网总有一些喜欢分享的朋友，我最喜欢去找灵感和案例的地方，是在infoQ.当然国内的极客邦，CSDN也不错，甚至有些应用已经属于前端黑科技。总有看不完的新鲜应用，所以一个一个的去淘吧，有感觉就满足了。今天看到 InfoQ 上一个利用
转载
2024-03-28 09:23:52
54阅读
1、键盘录入（目前只需掌握如何使用） a：导包 import java.util.Scanner; b：创建键盘录入对象 Scanner sc = new Scanner(System.in); c：调用方法接收键盘录入的数据 sc.nextInt() 接收一
转载
2024-06-23 13:39:58
63阅读
实验任务这篇博客是我们一个学期作业，记录在这里，只是方便我写作和一些解决过程的记录。具体实验步骤参考：http://dblab.xmu.edu.cn/post/7499/ 任务如下：本地数据集上传到数据仓库Hive；Hive数据分析Hive、MySql、HBase数据互导；利用Python/R进行数据可视化分析；利用Apriori基于关联规则的购物篮分析。 本地数据集上传到数据仓库Hive实验数据
转载
2023-07-20 17:51:44
379阅读
RTBDA概述当被分解到其最简单的形式时，大数据分析包括两部分，以便将自身与数据仓库和商业智能进行区分：实时行动分布式，并行处理大数据分析能够解决处理大量无关且不能存放在一个单一的服务器或数据库的数据集所带来的普遍的挑战问题。而这个问题可以通过使用分布式并行处理分布在多个服务器的大型数据集得以解决，每台服务器处理并行数据的一部分。大数据分析可以与结构化和非结构化数据工作，因为它并不需要一个特定的结
转载
2023-12-19 09:42:05
146阅读
目录 一、Hive做离线批处理1、实现步骤①、启动hadoop，启动hive②、在hive下创建weblog库，并使用③、 创建外部表管理数据④、为总表添加当天分区数据⑤、建立数据清洗表，用于清洗出业务所需的字段。⑥、业务处理⑦、创建业务表并插入数据⑧、从清洗表查询得到当天的统计指标，插入到业务表中⑨、利用Sqoop工具从HDFS上将数据导入到Mysql数据库中二、Hive的占位符与文件
OLTP与OLAP数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。OL
转载
2024-05-01 22:57:28
97阅读
#2018-07-19#1.同步集群时间2.数据导入flume使用 flume 收集 nginx 服务器的日志到 hdfs （1）配置代理[root@master1 ~]# vim /etc/flume/conf/flume.conf添加：# #配置Agenta1.sources
原创
2022-02-16 14:45:06
747阅读
背景自google发布3篇GFS,BigTable,MapReduce已过去近20年之久，市面上针对大数据治理方案也层出不穷，但大数据实时依旧是一项很难得技术。其主要表现在如下方面：（1）需求实现很难。对数据使用的用户持续增长，用户需求复杂多变，而这种复杂的需求实现又局限于目前的大数据生态，几乎没有某一个组件能解决几乎所有用户需求场景，依旧需要灵活的组合各大数据组件来实现。（2）实时存储很难。随着
转载
2024-03-04 17:23:23
91阅读
大数据分析六种方法：数字和趋势、维度分解、用户分群、转化漏斗、行为轨迹、留存分析。看数字及趋势是最基础进行展示相关数据管理信息的方法，对于谁符合一定的行为或背景资料，分类处理用户。 大数据分析方法如下： 一、数字和趋势 看数字、看趋势是最基础进行展示相关数据管理信息的方式。在数据分析中，教师可以同时通过直观的数字或趋势图表，迅速发展了解例如市场的走势、
转载
2023-10-26 22:27:36
50阅读
#2018-07-19#1.同步集群时间2.数据导入flume使用 flume 收集 nginx 服务器的日志到 hdfs （1）配置代理[root@master1 ~]# vim /etc/flume/conf/flume.conf添加：# #配置Agenta1.sources = r1a1.sinks = k1a1.channels = c1# # 配...
原创
2021-06-04 19:20:01
560阅读
# Spark大数据实战教程
## 1. 介绍
本文将指导你如何在Spark中进行大数据实战。Spark是一个快速的、通用的大数据处理引擎，适用于大规模数据处理、机器学习和图形计算等场景。在本教程中，我们将介绍Spark的基本概念和使用方法，并通过一个具体的实例来展示如何使用Spark进行大数据实战。
## 2. 整体流程
下面是完成本次实战的整体流程，我们将使用一个示例数据集来进行分析和
原创
2024-01-05 04:11:46
138阅读
摘要： 本文讲解一个完整的企业级大数据项目实战，实时|离线统计分析用户的搜索话题，并用酷炫的前端界面展示出来。这些指标对网站的精准营销、运营都有极大帮助。前言：本文是一个完整的大数据项目实战，实时|离线统计分析用户的搜索话题，并用酷炫的前端界面展示出来。这些指标对网站的精准营销、运营都有极大帮助。架构大致是按照企业标准来的，从日志的采集、转化处理、实时计算、JAVA后台开发、WEB前端展示，一条完
转载
2024-07-31 19:16:40
118阅读
HDFS简介与配置及SSH免密登录HDFS简介实验准备配置HDFS格式化hadoop手动启动：jps验证：网页验证：设置SSH免密登录操作步骤：测试免密登录：结语 HDFS简介HDFS（Hadoop Distributed File System）Hadoop分布式文件系统，是针对谷歌文件系统GFS（Google File System）的开源实现，它是Hadoop两大核心组成部分之一，提供了在
转载
2023-11-06 14:37:13
117阅读
前 言在这个五句话不离大数据和 AI 的时代，让我们来看看它们给我们带来了什么，以下是麻省理工科技年度科技评论近 5 年来评选出的“全球十大突破性技术”，我们为每一年挑选了一项作为例子：2014 年，脑部图谱（Brain Mapping）2015 年，基因互联网（Internet of DNA）2016 年，分享型机器人（Robots That Teach Each Other）2017 年，
原创
2021-04-02 16:58:27
231阅读
# Java大数据实现预测性维护检测
随着工业4.0的时代到来，预测性维护（Predictive Maintenance, PdM）成为了设备管理和维护的重要手段。通过对设备数据的分析，可以提前发现潜在问题，降低故障和停机时间。使用Java和大数据技术来实现预测性维护检测，能够高效处理海量数据，实现实时监测和预测。下面，我们将通过一个简单的示例和代码来说明这一过程。
## 1. 数据收集
首
一、实验目的深入理解HDFS工作原理和编程思想使用HDFS的Java接口进行文件的读写使用HDFS的Java接口进行之上传文件使用HDFS的Java接口进行之删除文件二、实验内容HDFS的Java API接口进行文件的读写操作HDFS的Java API接口进行之上传文件操作HDFS的Java API接口进行之删除文件操作三、实验步骤（一）HDFS-JAVA接口之读取文件我们要深入探索Hadoop的
转载
2023-11-30 06:18:46
180阅读
介绍概述 Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执行模型（streaming execution model），能够支持流处理和批处理两种应用类型。由于流处理和批处理所提供的SLA(服务等级协议)是完全不相同， 流处理一般需要支持低延迟、Exactly-once
转载
2024-01-08 13:39:01
71阅读
JRDW(JD Realtime Data Warehouse)是京东大数据部为了解决公司越来越广泛的实时业务需求，而推出的一整套技术解决方案，包括数据的实时接入、实时解析、实时传输、实时计算和实时查询等技术环节。通过JRDW来解决实时业务开发中各环节的技术难点，在流程上统一业务开发需求，使业务方只专注于业务开发，不用过多关心技术上的问题，极大地降低了实时业务开发的技术难度。源起京东大数据部早在2
转载
2024-01-05 20:11:55
94阅读
文章目录一、实验目的二、实验平台三、实验内容和要求（1） 向 HDFS 中上传任意文本文件，如果指定的文件在 HDFS 中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件（2） 从 HDFS 中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名（3） 将 HDFS 中指定文件的内容输出到终端中（4） 显示 HDFS 中指定的文件的读写权限、大小、创建时间、路径等
转载
2023-10-03 11:40:22
136阅读
