hdfs：分布式文件系统有目录结构，顶层目录是： /,存的是文件，把文件存入hdfs后，会把这个文件进行切块并且进行备份，切块大小和备份的数量有客户决定。存文件的叫datanode，记录文件的切块信息的叫namenodeHdfs的安装准备四台linux服务器先在hdp-01上进行下面操作配置域名映射vim /etc/hosts主机名：hdp-01 对应的ip地址：192.1
转载
2024-06-20 19:39:08
447阅读
问题 在Windows 2019上使用远程桌面远程到 Windows 2008 服务器时遇到“发生身份验证错误。（代码：0x80004005）”。在Windows 2008上使用远程桌面远程到 Windows 2019 服务器时也是一样。环境 服务器 Windows 2019 目标服务器 Windows 2008 r2原因 2019和2008服务器不支持相同级别的加密。 在2019 加固过程中，会
配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:
1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.
转载
2024-09-29 10:51:37
75阅读
其实，这是一个懒人去研究的东西，因为如果冬天喜欢去实验室或者机房，不呆在宿舍或者家里，就没有远程的问题了，但是，总有不巧的时候，这个时候你就只有在远程命令行里去看一切和操作一切了。远程操作的第一步从配置ssh远程访问集群开始：通过ssh远程访问集群 有2个前提：集群中需要有机器在公网路由配置了DHCP转发配置了DHCP转发的机器需要开启了SSH服务，SSH的服务端口是22 例如，我一般是将
转载
2024-10-13 18:46:27
142阅读
一. 背景 大数据相关的所有建设 依托于 大数据的基础设施. 基础设施一定包含了集群平台的搭建 . 目前市场上常用的有三种方式做集群平台的搭建; 第一种为使用原生的apache (hadoop,hive,spark)等相关大数据软件构建集群平台 . 这种方式相对比较灵活, 好控制,但是在选择各个大
InterDatanodeProtocolInterDatanodeProtocol是Datanode与Datanode之间的接口，主要用于租约恢复操作，具有的方法如下图所示
4. InterDatanodeProtocol方法.png
只有initReplicaRecovery()和updateReplicaUnderRecovery()两个方法。客户端打开一个文
通过shell命令访问HDFS1 操作命令1.1 创建文件夹1.2 列出指定的文件和目录1.3 上传文件1.4 下载文件1.5 查看文件1.6 删除目录或文件1.7 文件或文件夹的复制、移动1.8 count统计1.9 显示占用的磁盘空间大小2 管理命令2.1 安全模式相关2.2 快照3 其他命令 HDFS shell大致可以分为操作命令、管理命令、其他命令三类。注意：当命令以“$”开头时，当前
转载
2023-08-08 08:24:55
121阅读
之前提交运行spark程序，都是通过spark-submit提交运行的。 但是能不能再IDEA中就执行submit运行程序呢， 以前用过一种方式，就是通过远程ssh访问(远程ssh可以通过JSch实现)，通过liunx命令去执行，但是这个显然不是我期望的。我的spark程序都是提交给yarn运行的，如果程序直接与yarn通信，按spark-submit源码中的提交方式去做，是不是也能实现呢。修改写
转载
2023-07-12 23:46:46
131阅读
No.1. SSH（Secure Shell）安全外壳协议建立在应用层基础上的安全协议可靠，专为远程登录会话和其他网络服务提供安全性的协议有效防止远程管理过程中的信息泄漏问题SSH客户端适用于多种平台SSH服务器端几乎支持所有Unix平台 No.2. 服务器安装SSH服务（一般默认已安装）安装命令：yum -y install openssh-serve
转载
2024-04-26 12:52:17
66阅读
# 使用Spring Boot连接Redis（不设置密码）
在现代的应用程序开发中，Redis作为一种高性能的Key-Value存储解决方案，被广泛用于缓存、消息队列等场景。对于刚入行的小白来说，连接Redis虽然听起来复杂，但实际流程并不繁琐。本文将详细介绍如何在Spring Boot项目中连接Redis，而不设置密码。
## 整体流程
在连接Redis之前，我们需要了解整个流程。下面是实
原创
2024-08-16 07:11:35
43阅读
介绍如何迁移Flink任务到实时计算 Flink 中来。内容主要分为以下几部分： 如何迁移 多 jar 配置文件 state 复用 通常用户在线下主要使用 Flink run，这会造成一些问题，比如：同一个配置因版本而变化；无法快速切换不同版本；无法从之前的作业恢复。那么如何从线下迁移到线上呢？本文将通过下面四部分来向大家介绍。一、如何迁移：从 Flink run 到流计算平台如下图的线下命令
转载
2024-03-19 10:52:20
100阅读
我们知道在windows下面我们可以用远程桌面连接来控制其它电脑，
但linux 远程桌面连接?
不过在说怎样连接之前还是要先明确一个概念，为什么我标题没有用linux中的远程桌面连接呢，
这是因为Linux下面的桌面，也就是我们所说的X Window ，只是linux下的一个应用程序而已，
所以linux中的远程连接就分为shell和X
转载
2024-07-11 07:56:43
44阅读
一、Dubbo框架简介1、框架依赖 图例说明：1)图中小方块 Protocol, Cluster, Proxy, Service, Container, Registry, Monitor 代表层或模块，蓝色的表示与业务有交互，绿色的表示只对 Dubbo 内部交互。2)图中背景方块 Consumer, Provider, Registry, Monitor 代表部署逻辑拓扑节
转载
2024-03-14 08:35:07
46阅读
一. HDFS简介全称 Hadoop Distributed File System, Hadoop分布式文件系统。 根据Google的GFS论文，由Doug Cutting使用JAVA开发的开源项目。HDFS是Hadoop项目的一部分。为Hadoop提供底层的数据存储，满足上次各种实际应用使用（如Map/Reduce）。HDFS是典型的的Master/Slave集群架构，由一个NameNode和
转载
2024-04-19 16:41:27
473阅读
# 使用Docker搭建Spark集群连接远程HDFS
在大数据处理领域，Apache Spark 以其强大的计算能力和出色的性能，越来越受到开发者的青睐。而Hadoop分布式文件系统（HDFS）则为数据的存储和管理提供了高效的解决方案。将Spark与HDFS结合，可以充分发挥它们的优势。在本文中，我们将通过Docker搭建一个Spark集群，并使其能够连接到远程HDFS。
## 环境准备
虚拟现实设备自从去年至今，一直是消费电子领域炙手可热的产品，特别是在Oculus被Facebook以高大20亿美金收购后，几乎所有科技巨头均开始涉及VR领域，国内各类型的VR眼镜（头盔）公司也如雨后春笋般的进入人们视野中，这些公司中除了少数有独立显示屏外，绝大部分都以手机作为媒介，这可以更进一步降低价格，从而推动VR产品快速进入市场。值得一提的是，国内已经有公司推出了不仅带有独立显示屏，还带手机
JAVA jdbc thin远程连接并操作Oracle数据库 测试环境 数据库：linux 下Oracle_11g_R2 编码工具：Eclipse 编码平台：Win7(未安装Oracle数据库，也没安装ODBC驱动)JDK：jdk-6u14-windows-i586 备注：想学oracle的同学，建议在Linux、Unix平台下进行学习，如果觉得安装麻烦，可以加全国软件性能测试交流群
目录一、idea远程debug原理二、创建一个springboot工程三、IDEA远程调试配置 四、服务端开始debug模式 五、idea启动远程调用六、启动远程调试参数解释 一、idea远程debug原理远程调试，需要调试服务器上的程序时，远程调试就显得非常有用。JAVA 支持调试功能，本身提供了一个简单的调试工具JDB，支持设置断点及线程级的调试同时，不同的JVM
转载
2023-09-01 16:01:09
102阅读
# 使用Spring Boot实现Redis Demo
## 概述
在本篇文章中，我将向你展示如何使用Spring Boot实现一个简单的Redis demo。这个demo将演示如何在Spring Boot应用程序中使用Redis进行数据存储和检索。
## 步骤概览
下面的表格展示了实现这个demo的步骤概览。
| 步骤 | 描述 |
| --- | --- |
| 步骤 1 | 添加Red
原创
2024-01-12 20:25:13
25阅读
HDFS 文章目录HDFS1、Shell 操作上传下载直接操作(和Linux命令功能一样)2、API 操作准备工作文件上传文件下载修改文件名称删除文件和目录文件详情查看文件和文件夹判断修改参数方法参数优先级 1、Shell 操作上传-moveFromLocal：从本地剪切粘贴到 HDFS
hadoop fs -moveFromLocal 本地文件 HDFS目录-copyFromLocal：从
转载
2023-08-18 22:13:42
866阅读
