配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:
1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.
转载
2024-09-29 10:51:37
75阅读
hdfs：分布式文件系统有目录结构，顶层目录是： /,存的是文件，把文件存入hdfs后，会把这个文件进行切块并且进行备份，切块大小和备份的数量有客户决定。存文件的叫datanode，记录文件的切块信息的叫namenodeHdfs的安装准备四台linux服务器先在hdp-01上进行下面操作配置域名映射vim /etc/hosts主机名：hdp-01 对应的ip地址：192.1
转载
2024-06-20 19:39:08
447阅读
问题 在Windows 2019上使用远程桌面远程到 Windows 2008 服务器时遇到“发生身份验证错误。（代码：0x80004005）”。在Windows 2008上使用远程桌面远程到 Windows 2019 服务器时也是一样。环境 服务器 Windows 2019 目标服务器 Windows 2008 r2原因 2019和2008服务器不支持相同级别的加密。 在2019 加固过程中，会
一. 背景 大数据相关的所有建设 依托于 大数据的基础设施. 基础设施一定包含了集群平台的搭建 . 目前市场上常用的有三种方式做集群平台的搭建; 第一种为使用原生的apache (hadoop,hive,spark)等相关大数据软件构建集群平台 . 这种方式相对比较灵活, 好控制,但是在选择各个大
其实，这是一个懒人去研究的东西，因为如果冬天喜欢去实验室或者机房，不呆在宿舍或者家里，就没有远程的问题了，但是，总有不巧的时候，这个时候你就只有在远程命令行里去看一切和操作一切了。远程操作的第一步从配置ssh远程访问集群开始：通过ssh远程访问集群 有2个前提：集群中需要有机器在公网路由配置了DHCP转发配置了DHCP转发的机器需要开启了SSH服务，SSH的服务端口是22 例如，我一般是将
转载
2024-10-13 18:46:27
142阅读
InterDatanodeProtocolInterDatanodeProtocol是Datanode与Datanode之间的接口，主要用于租约恢复操作，具有的方法如下图所示
4. InterDatanodeProtocol方法.png
只有initReplicaRecovery()和updateReplicaUnderRecovery()两个方法。客户端打开一个文
通过shell命令访问HDFS1 操作命令1.1 创建文件夹1.2 列出指定的文件和目录1.3 上传文件1.4 下载文件1.5 查看文件1.6 删除目录或文件1.7 文件或文件夹的复制、移动1.8 count统计1.9 显示占用的磁盘空间大小2 管理命令2.1 安全模式相关2.2 快照3 其他命令 HDFS shell大致可以分为操作命令、管理命令、其他命令三类。注意：当命令以“$”开头时，当前
转载
2023-08-08 08:24:55
121阅读
之前提交运行spark程序，都是通过spark-submit提交运行的。 但是能不能再IDEA中就执行submit运行程序呢， 以前用过一种方式，就是通过远程ssh访问(远程ssh可以通过JSch实现)，通过liunx命令去执行，但是这个显然不是我期望的。我的spark程序都是提交给yarn运行的，如果程序直接与yarn通信，按spark-submit源码中的提交方式去做，是不是也能实现呢。修改写
转载
2023-07-12 23:46:46
131阅读
No.1. SSH（Secure Shell）安全外壳协议建立在应用层基础上的安全协议可靠，专为远程登录会话和其他网络服务提供安全性的协议有效防止远程管理过程中的信息泄漏问题SSH客户端适用于多种平台SSH服务器端几乎支持所有Unix平台 No.2. 服务器安装SSH服务（一般默认已安装）安装命令：yum -y install openssh-serve
转载
2024-04-26 12:52:17
66阅读
介绍如何迁移Flink任务到实时计算 Flink 中来。内容主要分为以下几部分： 如何迁移 多 jar 配置文件 state 复用 通常用户在线下主要使用 Flink run，这会造成一些问题，比如：同一个配置因版本而变化；无法快速切换不同版本；无法从之前的作业恢复。那么如何从线下迁移到线上呢？本文将通过下面四部分来向大家介绍。一、如何迁移：从 Flink run 到流计算平台如下图的线下命令
转载
2024-03-19 10:52:20
100阅读
Java与hadoop交互1、Configuration cfg=new Configuration(); 2、cfg.set(“fs.defaultFS”,“hdfs://ip地址:9000”); 3、获取文件系统：FileSystem fs=FileSystem.get(cfg); 1~3合起来的写法，与HDFS文件系统建立连接： FileSystem fs=FileSystem(new UR
转载
2024-04-22 10:22:02
78阅读
我们知道在windows下面我们可以用远程桌面连接来控制其它电脑，
但linux 远程桌面连接?
不过在说怎样连接之前还是要先明确一个概念，为什么我标题没有用linux中的远程桌面连接呢，
这是因为Linux下面的桌面，也就是我们所说的X Window ，只是linux下的一个应用程序而已，
所以linux中的远程连接就分为shell和X
转载
2024-07-11 07:56:43
44阅读
前言在Ambari平台上，启用了Kerberos之后，一些服务的Web UI，像Namenode:50070、Oozie Web UI、Storm UI、Solr Web UI等快速链接大部分都是需要Kerberos认证才可以继续使用的。像这种情况，就不能在Linux上进行操作了，需要在Windows上安装Kerberos客户端，再进行浏览器配置才可以访问Hadoop服务的Web UI界面。安装配
一、Dubbo框架简介1、框架依赖 图例说明：1)图中小方块 Protocol, Cluster, Proxy, Service, Container, Registry, Monitor 代表层或模块，蓝色的表示与业务有交互，绿色的表示只对 Dubbo 内部交互。2)图中背景方块 Consumer, Provider, Registry, Monitor 代表部署逻辑拓扑节
转载
2024-03-14 08:35:07
46阅读
一. HDFS简介全称 Hadoop Distributed File System, Hadoop分布式文件系统。 根据Google的GFS论文，由Doug Cutting使用JAVA开发的开源项目。HDFS是Hadoop项目的一部分。为Hadoop提供底层的数据存储，满足上次各种实际应用使用（如Map/Reduce）。HDFS是典型的的Master/Slave集群架构，由一个NameNode和
转载
2024-04-19 16:41:27
473阅读
1、hdfs的副本的配置
2、hadoop启动方式
3、大数据干什么的
4、hdfs-namenode工作机制
hadoop2.8.4
hadoopMapReduce
MapReduce的思想
对wordcount例子程序分析
1、hdfs的副本的配置修改hdfs-site.xml文件<!-- 注释配置数据块的冗余度，默认是3 -->
&
转载
2023-12-26 20:01:14
129阅读
# 使用Docker搭建Spark集群连接远程HDFS
在大数据处理领域，Apache Spark 以其强大的计算能力和出色的性能，越来越受到开发者的青睐。而Hadoop分布式文件系统（HDFS）则为数据的存储和管理提供了高效的解决方案。将Spark与HDFS结合，可以充分发挥它们的优势。在本文中，我们将通过Docker搭建一个Spark集群，并使其能够连接到远程HDFS。
## 环境准备
虚拟现实设备自从去年至今，一直是消费电子领域炙手可热的产品，特别是在Oculus被Facebook以高大20亿美金收购后，几乎所有科技巨头均开始涉及VR领域，国内各类型的VR眼镜（头盔）公司也如雨后春笋般的进入人们视野中，这些公司中除了少数有独立显示屏外，绝大部分都以手机作为媒介，这可以更进一步降低价格，从而推动VR产品快速进入市场。值得一提的是，国内已经有公司推出了不仅带有独立显示屏，还带手机
JAVA jdbc thin远程连接并操作Oracle数据库 测试环境 数据库：linux 下Oracle_11g_R2 编码工具：Eclipse 编码平台：Win7(未安装Oracle数据库，也没安装ODBC驱动)JDK：jdk-6u14-windows-i586 备注：想学oracle的同学，建议在Linux、Unix平台下进行学习，如果觉得安装麻烦，可以加全国软件性能测试交流群
plsql远程连接Oracle远程连接Oracle，比较麻烦，除了plsql，还需要下载一个本地轻量级客户端Instant Client。最近因工作需要所以自己亲自做了一个步骤，算是记录一下，未免以后用到。一、下载plsql 官网：plsql此处，一般建议和远程Oracle下载同一版本的，不过不一样也没有问题，只是建议，出于严谨，避免可能出现的问题。 1、下载plsql 选择合适自己的版本 下载完
转载
2024-05-10 20:39:48
1142阅读
