今天再对树莓派相关的知识做一些整理，非常重要。因为我在这上面，出了一些莫名其妙的bug,后来才反应过来是什么问题。权限相关的树莓派安装的时候，正常情况下我们会拿到一个镜像的压缩文件。这个时候应该怎么做？千万在图像化界面里面点击提取到当前文件夹，正确的做法应该是在root权限下对这个压缩文件进行解压。必须是root权限下。因为我发现，如果不在root权限下解压，在后面你极有可能会遇到莫名其妙的bug
如何实现Hadoop VM Docker
作为一名经验丰富的开发者，你的任务是教会一位刚入行的小白如何实现"Hadoop VM Docker"。下面是整个过程的步骤：
1. 安装Docker
2. 下载Hadoop镜像
3. 创建Docker容器
4. 配置Hadoop集群
5. 启动Hadoop集群
接下来，让我们来一步一步地介绍每一个步骤的具体操作和代码。
### 1. 安装Docke
原创
2023-12-12 11:43:48
36阅读
最近一段时间不论互联网还是传统行业，凡是涉及信息技术范畴的圈子几乎都在讨论微服务架构。近期也看到各大技术社区开始组织一些沙龙和论坛来分享Spring Cloud的相关实施经验，这对于最近正在整理Spring Cloud相关套件内容与实例应用的我而言，还是有不少激励的。目前，Spring Cloud在国内的知名度并不高，在前阵子的求职过程中，与一些互联网公司的架构师、技术VP或者CTO在交流时，有
大数据主要解决： 大数据的特点： nameNode就像是目录 相当于实实在在的数据 辅助nameNode工作。HDFS负责文件的存储 YARN： 节点=服务器/电脑 整个集群资源的老大： 整个集群中单个节点的老大：
原创
2022-11-21 06:58:13
229阅读
环境：ubuntu14.04下面以３台机器为例，讲解安装过程1) 准备3台机器，一台作为nameNode，命名为master，两台作为dataNode，命名为slave01, slave02。强调命名是为了方便管理，其实命名无所谓。如果已命名为其它名称，可通过编辑/etc/hostname进行更改。2) 为所有主从节点配置静态ip，因为主从节点间需要相互访问，如果ip
转载
2024-07-23 10:24:03
21阅读
如何把自己的项目部署在腾讯云服务器上,别人可以访问原理其实就是：把自己的项目放到云服务器上用tomcat运行，把tomcat端口号改成80，别人就能通过ip+项目名+index。jsp界面访问了 那什么是云服务器，说白了就是一台联网了的电脑 但是他没有实体是虚拟的 看不见摸不着 好了,闲话不多说直接进入正题第一步,申请云服务器(我这里申请的腾讯云学生套餐10元首次 其他云都有类似的活动)网站直接搜
搭建一个Spark与Hadoop集群
概述
在大数据处理中，Spark和Hadoop是两个非常重要的框架。Spark是一个快速、通用的大数据处理引擎，而Hadoop是一个分布式存储和计算框架。搭建一个Spark与Hadoop集群可以提供高性能的数据处理和存储能力。
本文将介绍如何搭建一个基于Spark和Hadoop的集群，并提供了相关的代码示例。
准备工作
在开始搭建之前，需要准备以下物品：
原创
2024-02-14 06:23:00
27阅读
# 实现虚拟机hadoop和hive文件丢失的处理方法
作为一名经验丰富的开发者，我将教你如何处理虚拟机中hadoop和hive文件丢失的问题。首先，我们需要了解整个处理流程，然后逐步进行操作。
## 处理流程
```mermaid
flowchart TD
A(检查文件丢失情况) --> B(检查hadoop文件是否丢失)
B --> C{是否丢失}
C --是--
原创
2024-06-16 04:26:33
50阅读
0.前提有三台机器：10.0.1.31 为Hadoop NameNode节点机器。 10.1.1.36为Hadoop DataNode节点机器
原创
2022-10-18 20:45:50
533阅读
0.前提有三台机器：10.0.1.31 为Hadoop NameNode节点机器。
10.1.1.36为Hadoop DataNode节点机器。
10.1.111.13为非Hadoop机器。眼下查到的资料里面显示HDFS NFS GateWay的挂载方式为：
參考：https://hadoop.apache.org/docs/r2.7.2/hadoop-project-
转载
2017-07-17 16:41:00
242阅读
2评论
FROM: http://developer.51cto.com/art/201401/426591.htm Spark内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。
转载
2023-10-30 18:54:50
40阅读
淘宝用户购买数据挖掘（关联分析）–Python一 关联分析关联分析通过寻找最能够解释数据变量之间关系的规则，来找出大量多元数据集中有用的关联规则，他是从大量数据中发现多种数据之间关系的一种方法。其典型案例是“啤酒和尿布”的捆绑销售，即买了尿布的用户还会同时买啤酒。1 相关概念项集： 若干个项的集合；频繁项集： 支持度大于等于最小支持度的项集；支持度（support）： 某个商品或商品组合出现的次数
转载
2023-11-21 14:32:53
85阅读
文章目录1. 压缩1.1 Hodoop压缩1.2 Map输出阶段压缩1.3 Reduce输出阶段压缩2. 存储2.1 文件存储格式2.2 主流文件存储格式对比3. 压缩和存储结合 1. 压缩1.1 Hodoop压缩详见 Hadoop（十二）—— Hadoop压缩1.2 Map输出阶段压缩开启map输出阶段压缩，可以减少job中map和Reduce task间数据传输量。具体配置如下：开启hive
转载
2023-07-12 19:01:30
280阅读
文章目录1. 压缩1.1 Hodoop压缩1.2 Map输出阶段压缩1.3 Reduce输出阶段压缩2. 存储2.1 文件存储格式2.2 主流文件存储格式对比3. 压缩和存储结合1. 压缩1.1 Hodoop压缩详见 Hadoop（十二）—— Hadoop压缩1.2 Map输出阶段压缩开启map输出阶段压缩，可以减少job中map和Reduce task间数据传输量。具体配置如下：...
原创
2024-04-22 11:00:54
6阅读
大数据框架目录大数据框架一、Hodoop四大组件：HDFS/MapReduce/YARN/Common二、Zookeeper三、Hive四、Spark五、ETL六、ngnix七、Redis八、Oracle十一、Jsp/node.js/JQueryEcharts一、hadoop hadoop 的四大组件： HDFS：
转载
2023-09-14 13:38:12
267阅读
Hodoop1.x 到 Hadoop2.x1、Hadoop 1.x 存在的问题：– HDFS存在的问题 • NameNode单点故障，难以应用于在线场景• NameNode压力过大，且内存受限，影响系统扩展性– MapReduce存在的问题 • JobTracker访问压力大，影响系统扩展性•难以支持除MapReduce之外的计算框架，比如Spark、Storm等 2、Hadoop 1.
转载
2024-05-31 19:12:07
72阅读
HDFS_04_Hadoop集群命令持续更新大数据文章…1. Hadoop集群命令对于 Hodoop 集群的命令，你不可能完全记住，所以主要记得常用的（put、get、mkdir、rm …）即可！ 遇到了要使用其他命令的情况，学会百度，学会去看官网文档就行了。1.1 命令分类1.1.1 Hadoop FSFS relates to a generic file system which can p
转载
2023-07-12 15:45:28
98阅读
一.hadoop前置环境: hadoop3.0+CDH6.1 这里默认已经在linux环境配置好; 如何安装hodoop不在本次范围内; 注意：此时集群没有开启Kerberos认证我的环境: win10 + IDEA2019.3+jdk8二.准备环境: 1.获取fs.defaultFS链接 在core-site.xml里面 这个等下配置在application.propties里面 2.下载win
转载
2024-03-18 15:56:06
96阅读
一，Hadoop 开源的分布式计算平台，核心是分布式文件系统”HDFS(Hodoop Distributed Filesystem )“和分布式计算模型：MapReduce。HDFS: 进行大数据存储，分布式文件系统，具有高容错性特点，因此可以设计部署再低廉的硬件设施上面，通过提高吞吐率来访问数据，适合拥有超大数据集的应用MapReduce： 进行大数据运算，在存储了大量数据的基础上，如何将这些数
转载
2023-07-18 11:46:02
55阅读
大数据技术——HadoopHadoop概述Hadoop 运行环境搭建1.Hadoop概述1.1Hodoop是什么？1）Hadoop 是一个由Apache基金会所开发的分布式系统基础框架。2）主要功能是处理海量数据的存储和海量数据的分析计算问题。3）在广义上来说，Hadoop并不是单指一个技术和工具，它代表一个更广泛的概念——Hadoop生态圈。1.2Hadoop发展历史（了解）创始人：Doug C
转载
2023-09-13 22:57:31
15阅读
