一、Dubbo框架简介1、框架依赖 图例说明：1)图中小方块 Protocol, Cluster, Proxy, Service, Container, Registry, Monitor 代表层或模块，蓝色的表示与业务有交互，绿色的表示只对 Dubbo 内部交互。2)图中背景方块 Consumer, Provider, Registry, Monitor 代表部署逻辑拓扑节
转载
2024-03-14 08:35:07
46阅读
hdfs：分布式文件系统有目录结构，顶层目录是： /,存的是文件，把文件存入hdfs后，会把这个文件进行切块并且进行备份，切块大小和备份的数量有客户决定。存文件的叫datanode，记录文件的切块信息的叫namenodeHdfs的安装准备四台linux服务器先在hdp-01上进行下面操作配置域名映射vim /etc/hosts主机名：hdp-01 对应的ip地址：192.1
转载
2024-06-20 19:39:08
447阅读
问题 在Windows 2019上使用远程桌面远程到 Windows 2008 服务器时遇到“发生身份验证错误。（代码：0x80004005）”。在Windows 2008上使用远程桌面远程到 Windows 2019 服务器时也是一样。环境 服务器 Windows 2019 目标服务器 Windows 2008 r2原因 2019和2008服务器不支持相同级别的加密。 在2019 加固过程中，会
配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:
1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.
转载
2024-09-29 10:51:37
75阅读
一. 背景 大数据相关的所有建设 依托于 大数据的基础设施. 基础设施一定包含了集群平台的搭建 . 目前市场上常用的有三种方式做集群平台的搭建; 第一种为使用原生的apache (hadoop,hive,spark)等相关大数据软件构建集群平台 . 这种方式相对比较灵活, 好控制,但是在选择各个大
其实，这是一个懒人去研究的东西，因为如果冬天喜欢去实验室或者机房，不呆在宿舍或者家里，就没有远程的问题了，但是，总有不巧的时候，这个时候你就只有在远程命令行里去看一切和操作一切了。远程操作的第一步从配置ssh远程访问集群开始：通过ssh远程访问集群 有2个前提：集群中需要有机器在公网路由配置了DHCP转发配置了DHCP转发的机器需要开启了SSH服务，SSH的服务端口是22 例如，我一般是将
转载
2024-10-13 18:46:27
142阅读
InterDatanodeProtocolInterDatanodeProtocol是Datanode与Datanode之间的接口，主要用于租约恢复操作，具有的方法如下图所示
4. InterDatanodeProtocol方法.png
只有initReplicaRecovery()和updateReplicaUnderRecovery()两个方法。客户端打开一个文
目录前言构建依赖集成逻辑pom配置文件 主要逻辑测试说明前言FastDFS用于构建文件和图片服务器是非常方便的，当前FastDFS的作者余大只提供了java调用的方式以及相关Api，玩C语言的朋友可以去找找资料，有相关的资料但是不是很全面。要了解单服务器部署fdfs的可以看我的上一篇文章，下面还会构建集群和集成DHT，废话不多说，进入本篇的正题——SpringBoot中如何集
转载
2024-04-12 13:08:42
0阅读
通过shell命令访问HDFS1 操作命令1.1 创建文件夹1.2 列出指定的文件和目录1.3 上传文件1.4 下载文件1.5 查看文件1.6 删除目录或文件1.7 文件或文件夹的复制、移动1.8 count统计1.9 显示占用的磁盘空间大小2 管理命令2.1 安全模式相关2.2 快照3 其他命令 HDFS shell大致可以分为操作命令、管理命令、其他命令三类。注意：当命令以“$”开头时，当前
转载
2023-08-08 08:24:55
121阅读
一.hadoop前置环境: hadoop3.0+CDH6.1 这里默认已经在linux环境配置好; 如何安装hodoop不在本次范围内; 注意：此时集群没有开启Kerberos认证我的环境: win10 + IDEA2019.3+jdk8二.准备环境: 1.获取fs.defaultFS链接 在core-site.xml里面 这个等下配置在application.propties里面 2.下载win
转载
2024-03-18 15:56:06
96阅读
之前提交运行spark程序，都是通过spark-submit提交运行的。 但是能不能再IDEA中就执行submit运行程序呢， 以前用过一种方式，就是通过远程ssh访问(远程ssh可以通过JSch实现)，通过liunx命令去执行，但是这个显然不是我期望的。我的spark程序都是提交给yarn运行的，如果程序直接与yarn通信，按spark-submit源码中的提交方式去做，是不是也能实现呢。修改写
转载
2023-07-12 23:46:46
131阅读
No.1. SSH（Secure Shell）安全外壳协议建立在应用层基础上的安全协议可靠，专为远程登录会话和其他网络服务提供安全性的协议有效防止远程管理过程中的信息泄漏问题SSH客户端适用于多种平台SSH服务器端几乎支持所有Unix平台 No.2. 服务器安装SSH服务（一般默认已安装）安装命令：yum -y install openssh-serve
转载
2024-04-26 12:52:17
66阅读
介绍如何迁移Flink任务到实时计算 Flink 中来。内容主要分为以下几部分： 如何迁移 多 jar 配置文件 state 复用 通常用户在线下主要使用 Flink run，这会造成一些问题，比如：同一个配置因版本而变化；无法快速切换不同版本；无法从之前的作业恢复。那么如何从线下迁移到线上呢？本文将通过下面四部分来向大家介绍。一、如何迁移：从 Flink run 到流计算平台如下图的线下命令
转载
2024-03-19 10:52:20
100阅读
我们知道在windows下面我们可以用远程桌面连接来控制其它电脑，
但linux 远程桌面连接?
不过在说怎样连接之前还是要先明确一个概念，为什么我标题没有用linux中的远程桌面连接呢，
这是因为Linux下面的桌面，也就是我们所说的X Window ，只是linux下的一个应用程序而已，
所以linux中的远程连接就分为shell和X
转载
2024-07-11 07:56:43
44阅读
（1）在Spring Boot/Spring Cloud项目中添加以下依赖： <!-- Apache Hadoop -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactI
转载
2024-04-19 18:17:25
49阅读
前言记录springboot集成hadoop3.2.4版本，并且调用HDFS的相关接口，这里就不展示springboot工程的建立了，这个你们自己去建工程很多教程。一、springboot配置文件修改1.1 pom文件修改<!-- hadoop依赖 -->
<dependency>
<groupId>org.apache.
转载
2023-07-28 13:25:13
304阅读
一. HDFS简介全称 Hadoop Distributed File System, Hadoop分布式文件系统。 根据Google的GFS论文，由Doug Cutting使用JAVA开发的开源项目。HDFS是Hadoop项目的一部分。为Hadoop提供底层的数据存储，满足上次各种实际应用使用（如Map/Reduce）。HDFS是典型的的Master/Slave集群架构，由一个NameNode和
转载
2024-04-19 16:41:27
473阅读
# 使用Docker搭建Spark集群连接远程HDFS
在大数据处理领域，Apache Spark 以其强大的计算能力和出色的性能，越来越受到开发者的青睐。而Hadoop分布式文件系统（HDFS）则为数据的存储和管理提供了高效的解决方案。将Spark与HDFS结合，可以充分发挥它们的优势。在本文中，我们将通过Docker搭建一个Spark集群，并使其能够连接到远程HDFS。
## 环境准备
虚拟现实设备自从去年至今，一直是消费电子领域炙手可热的产品，特别是在Oculus被Facebook以高大20亿美金收购后，几乎所有科技巨头均开始涉及VR领域，国内各类型的VR眼镜（头盔）公司也如雨后春笋般的进入人们视野中，这些公司中除了少数有独立显示屏外，绝大部分都以手机作为媒介，这可以更进一步降低价格，从而推动VR产品快速进入市场。值得一提的是，国内已经有公司推出了不仅带有独立显示屏，还带手机
JAVA jdbc thin远程连接并操作Oracle数据库 测试环境 数据库：linux 下Oracle_11g_R2 编码工具：Eclipse 编码平台：Win7(未安装Oracle数据库，也没安装ODBC驱动)JDK：jdk-6u14-windows-i586 备注：想学oracle的同学，建议在Linux、Unix平台下进行学习，如果觉得安装麻烦，可以加全国软件性能测试交流群
