前言最近刚买了一个服务器，打算搭建一个个人的博客小站。初步设想目标如下： 1. 搭建过程简单，技术通用，并且有很多个性的主题和插件 2. 基于markdown语法 3. 可以方便的发布与管理博客 4. 可以基于gitlab管理博客，方便迁移与版本管理 5.希望尽可能小消耗服务性能 实现效果如下： 
转载
2024-03-03 10:33:14
41阅读
nginx+gateway+nacos集群gateway集群注册到注册中心集群启动网关服务，观察心跳日志需要注意几点：1、观察nacos集群节点列表2、观察nacos服务列表3、集群节点不稳定原因搭建完成 gateway集群注册到注册中心集群项目代码yml配置如下：spring:
profiles: dev
cloud:
nacos:
# 注册中心
discovery:
转载
2024-04-07 11:51:04
71阅读
摘要：gRPC已经是新一代微服务的标准RPC框架。对于实现来说，虽然可以用服务框架等手段来做到负载均衡，业界还没有针对gRPC的反向代理软件。NGINIX作为老牌负载均衡软件对gRPC进行了支持。本文作者简要介绍了NGINX这一特性。
NGINX将在1.13.10版本中包含grpc相关功能。这个版本支持NGINX代理gRPC TCP连接。可以用来：发布gRPC服务，包括未加密/加密的gRP
今天，就给大家带来一篇Flume采集Nginx日志到HDFS的文章，好了，不多说了，直接进入主题。一、下载大家可以到Apache官网下载：http://flume.apache.org/比如我下载的是apache-flume-1.7.0-bin.tar.gz二、配置1、解压输入如下命令进行解压tar -zxvf apache-flume-1.7.0-bin.
原创
2017-09-23 12:37:15
495阅读
今天，就给大家带来一篇Flume采集Nginx日志到HDFS的文章，好了，不多说了，直接进入主题。一、下载大家可以到Apache官网下载：http://flume.apache.org/比如我下载的是apache-flume-1.7.0-bin.tar.gz二、配置1、解压输入如下命令进行解压tar -zxvf apache-flume-1.7.0-bin.
原创
2022-04-22 15:41:41
455阅读
学习目标使用域名访问本地项目Nginx图片上传FastDFS实现图片上传1.使用域名访问本地项目1.1.统一环境我们现在访问页面使用的是：http://localhost:8080有没有什么问题？实际开发中，会有不同的环境：开发环境：自己的电脑测试环境：提供给测试人员使用的环境预发布环境：数据是和生成环境的数据一致，运行最新的项目代码进去测试生产环境：项目最终发布上线的环境如果不同环境使用不同的i
转载
2024-07-20 21:08:01
43阅读
防坑留言： 不但要能简单写出伪分布式，还要对其配置文件为什么这么写有一定理解才容易找出bug，分析原因，解决问题其实详细api官网是提供的，我这里简单介绍一下我用的HDFS结构NameNode:名字节点 1、 整个文件系统的管理节点。文件系统的文件目录树。
转载
2024-04-18 09:38:20
51阅读
分块：Block HDFS存储系统中，引入了文件系统的分块概念（block），块是存储的最小单位，HDFS定义其大小为64MB。与单磁盘文件系统相似，存储在 HDFS上的文件均存储为多个块，不同的是，如果某文件大小没有到达64MB，该文件也不会占据整个块空间。在分布式的HDFS集群上，Hadoop系统保证一个块存储在一个datanode上。 把File划分成Block，这个是物理上真真实实的进
转载
2024-05-02 22:41:42
54阅读
DataXceiverServer是Hadoop分布式文件系统HDFS的从节点--数据节点DataNode上的一个后台工作线程，它类似于一个小型的服务器，被用来接收数据读写请求，并为每个请求创建一个工作线程以进行请求的响应。那么，有以下几个问题： 1、DataXceiverServer是什么？  
转载
2024-08-23 13:32:08
69阅读
目录HDFS概述1.HDFS产出背景及定义2.HDFS优缺点HDFS优点HDFS缺点3. HDFS组成架构NameNode (nn)DataNodeClientSecondary NameNode4. HDFS文件块大小(面试) HDFS/Yarn/MapReduce概述==>HDFS概述1.HDFS产出背景及定义1). HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有数据的情
转载
2024-03-26 06:59:25
77阅读
四、hdfs的安全模式安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，当整个系统达到安全标准时，HDFS自动离开安全模式。如果HDFS出于安全模式下，则文件block不能进行任何的副本复制操作，因此达到最小
转载
2024-06-11 10:38:36
115阅读
目录1 HDFS的概述1.1 HDFS的概念1.2 HDFS优缺点1.2.1 优点1.2.2 缺点1.3 HDFS的架构1.4 block文件块的大小2 HDFS的shell客户端操作3 HDFS的java客户端操作3.1 HDFS客户端操作4 HDFS的数据流4.1 HDFS写数据流程4.2 HDFS读数据流程5 NameNode和Second NameNode的工作机制5.
转载
2024-02-25 07:52:39
182阅读
Hadoop可以处理不同数据格式（数据源）的数据，从文本文件到（非）关系型数据库，这很大程度上得益于Hadoop InputFormat的可扩展性设计，InputFormat层次结构图如下： InputFormat（org.apache.hadoop.mapreduce.InputFormat）被设计为一个抽象类，代码如下： public abstract clas
转载
2024-04-08 11:42:42
33阅读
#!/bin/bashexport JAVA_HOME=/data/jdk1.8.0_111export HADOOP_HOME=/data/hadoop-2.6.5export PATH=${JAVA_HOME}/bin:${HADO
原创
2022-10-28 11:59:43
156阅读
1. df的介绍和使用df 以磁盘分区为单位查看文件系统，可以获取硬盘被占用了多少空间，目前还剩下多少空间等信息。例如，我们使用df -h命令来查看磁盘信息， -h 选项为根据大小适当显示：1.1显示内容参数说明Filesystem：文件系统Size： 分区大小Used： 已使用容量Avail： 还可以使用的容量Use%： 已用百分比Mounted on： 挂载点1.2常用的一些命令使用df -h
转载
2024-03-26 08:24:46
72阅读
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览在HDFS中，有三种Recovery 1.Lease Recovery 2.Block Recovery 3.PipeLine Recovery以下将 一 一 讲解。一.Lease Recovery首先很有比要介绍一下Lease(租约)租约保证HDFS的一读多写机
转载
2024-04-26 11:51:12
115阅读
1. 问题描述：2. 问题分析：云主机连接不上本地IP解析错误云主机工作处于安全模式3. 解决方式：更改云主机名更改本地 hosts 文件使用 linux 命令强制退出安全模式Step 1) 下载 HDFS Explorer 软件安装包：百度云连接：https://pan.baidu.com/s/1tlJWHusCdeGRlhQsFrmMpA（提取码：f3ql）Step 2) 下载后，双击 HDF
转载
2024-03-22 09:38:47
231阅读
hadoop的两大核心之一 海量数据的存储(HDFS)什么是HDFS? hadoop distributed file system(hadoop分布式文件系统) 是一种允许文件通过网络在多台主机上分享的文件系统, 可让多机器上的多用户分享文件和存储空间. 特点: 1.通透性.让实际上是通过网络来访问
转载
2024-03-11 13:19:27
69阅读
ls命令 格式： hdfs dfs -ls 文件路径 作用：显示文件列表 例如：hdfs dfs -ls /lsr命令 格式：hdfs dfs -lsr URI 作用：在整个目录下递归执行ls, 与linux中ls -R类似 例如：hdfs dfs -lsr / (ps：使用此命令会提示，此有一个提示更换命令，是因为该命令已过时，可使用 -ls -R替换-lsr)mkdir命令 格式：hdfs d
转载
2024-03-15 08:44:19
153阅读
1. HDFS Federation产生背景在Hadoop 1.0中，HDFS的单NameNode设计带来诸多问题，包括单点故障、内存受限制约集群扩展性和缺乏隔离机制（不同业务使用同一个NameNode导致业务相互影响）等，为了解决这些问题，Hadoop 2.0引入了基于共享存储的HA解决方案和HDFS Federation，本文重点介绍HDFS Federation。HDFS Fede
转载
2024-05-14 07:04:52
49阅读
