最近接到一个客户反馈，说是服务器内存使用过高，总内存16G，使用top命令查看可用内存已经不足1G了。客户环境服务器为linux，部署了3个tomcat，每个tomcat均有大量的日志产生。让客户使用free -m检查一下此处有必要解释一下free命令返回的各个参数的意思（直接转了）。解释: total：是总的物理内存 used：使用中的内存&nbs
大部分数据库都支持多读，一般是使用行锁。写=插入（批量操作，id独立生成，不实用自增）、更新、删除读写分离之外，还有降级，还有缓存读写，延迟处理等。处理策略主要看用户场景，秒杀场景和普通场景又不一样。CAP原则一只能满足两样，所以要根据实际场景选择合适的处理策略 读在数据能力下是基本满足不了高并发场景的，所以一般会使用缓存，读频繁的可以考虑使用本地缓存，数据量稍大的可以使用远程缓存，量大
转载
2023-07-04 11:46:23
186阅读
VRRPVRRPVRRP基本概述虚拟路由冗余协议(Virtual Router Redundancy Protocol，简称VRRP)设备类型实际操作总结： VRRP局域网中的用户终端通常采用配置一个默认网关的形式访问外部网络，如果此时默认网关设备发生故障，将中断所有用户终端的网络访问，这很可能会给用户带来不可预计的损失，所以可以通过部署多个网关的方式来解决单点故障问题，那么如何让多个网关能够协
情景（面试题）有些时候，Redis实例需要装载大量用户在短时间内产生的数据。该怎么做？分析如果我们直接循环要插入的数据，每一条数据通过set方法插入数据库，这势必会消耗大量的网络连接和耗时。解决方法1.管道（pipe）就是把n个命令通过一个pipe发送到服务器端，服务器端处理完成以后再返回一个响应结果。而一条一条set需要n次请求n次处理n次响应，而管道只要一次请求n次处理一次响应。由此可以见，p
转载
2023-06-13 19:50:29
222阅读
HDFS读写删目录 &nb
转载
2024-04-16 20:41:06
25阅读
读取HDFS的整体流程图如下，下面根据此图对整个操作进行大致介绍 1.调用DistributedFileSystem.open(Path path, int b
转载
2023-08-18 22:30:52
104阅读
在HDFS客户端实现中，最重要也是最复杂的一部分就是文件的读写操作。打开文件 当客户端读取一个HDFS文件时，首先会调用DistributedFileSystem.open（）方法打开这个文件，open方法首先会调用DFSCklient.open()方法创建HDFS文件对应的DFSInputStream输入流对象，然后构建一个HDFSDataInputSream对象包装DFSInputStrea
转载
2023-10-19 12:02:38
134阅读
HDFS客户端的权限错误：Permission denied 搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。如果想看最终解决问题的方法拉到最后，如果想看我的问题解决思路请从上向下看）问题描述上传文
转载
2024-06-13 22:57:01
45阅读
hadoop装好后，文件系统中没有任何目录与文件1、 创建文件夹 hadoop fs -mkdir -p /hkx/learn 参数-p表示递归创建文件夹2、 浏览文件 hadoop fs -ls / 3、 上传本地文件到HDFS hadoop fs -put word.txt /hkx/learn 4、 查看文件 hadoop fs -cat /hkx/learn/wo
转载
2023-09-08 22:05:39
196阅读
在上节第四课中，我们介绍了使用java编程工具idea创建一个maven项目，来操作hadoop集群上的文件，这节我们介绍下怎么使用python开发工具pycharm来读、写和上传文件。我们介绍这2种方式的原因是，通过hadoop hive或spark等数据计算框架完成数据清洗后的数据是存储在HDFS上的，而爬虫和机器学习等程序在Python或java中容易实现，在Linux环境下编写Python
转载
2023-07-14 16:56:41
211阅读
本次实验相关信息如下:
操作系统:Ubuntu 14
Hadoop版本:2.4.0
Spark版本:1.4.0
运行前提是Hadoop与Spark均已正确安装配置
2、在Linux中生成一个文件test.txt，保存在/home/testjars/目录下
hadoop fs -put /
转载
2024-08-28 15:40:02
97阅读
一、 HDFS读文件流程 1、客户端通过FileSystem对象的open方法打开希望读取的文件，DistributedFileSystem对象通过RPC调用namenode，以确保文件起始位置。对于每个block，namenode返回存有该副本的datanode地址。这些datanode根据它们与客户端
转载
2023-07-29 14:07:59
151阅读
一、HDFS的概述 1、hdfs式文件系统，用于存储文件，通过统一的命名空间–目录树来定位文件。 2、它是分布式的，由很多服务器联合起实现其功能，集群中的服务器有各自的角色。 3、它的设计是一次写入，多次读出，且不支持文件的修改。 二、HDFS的优缺点 1、优点 （1）高容错性（一数据块存储，可以保存多个副本，容易实现负载均衡）。 （2）适合处理大量数据（支持GB、TB、PB级别的数
转载
2024-03-19 22:18:11
51阅读
在调试环境下，咱们用hadoop提供的shell接口测试增加删除查看，但是不利于复杂的逻辑编程查看文件内容www.xiaorui.cc用python访问hdfs是个很头疼的事情。。。。这个是pyhdfs的库 import pyhdfs
fs = pyhdfs.connect("192.168.1.1", 9000)
pyhdfs.get(fs, "/rui/111", "/var/111")
f
转载
2023-08-28 21:25:15
164阅读
刚刚接触Hadoop，对于里面的HDFS感觉思想就是分而治之再综合的过程，不过这个分布式文件系统还是蛮厉害的。现在介绍一下它的基本原理，通俗易懂。 一、HDFS的一些基本概念： 数据块（block）：大文件会被分割成多个block进行存储，block大小默认为64MB。每一个block会在多个datanode上存储多份副本，默认是3份。namenode：namenode负责管理文件目录、文件和
转载
2024-07-24 17:34:24
77阅读
# 实现频繁读取和删除Redis数据的步骤
## 简介
Redis是一种高性能的键值对存储数据库，可以用于缓存、消息队列等场景。在实际开发中，我们经常需要频繁地读取和删除Redis中的数据。本文将介绍如何使用Python语言来实现频繁读取和删除Redis数据的方法。
## 步骤
下面是实现频繁读取和删除Redis数据的步骤，我们将使用Python的redis库来完成。
```mermaid
原创
2023-11-12 03:54:33
75阅读
HDFS数据写入流程client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传；client请求第一个block该传输到哪些DataNode服务器上；NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如：A，B，C；client请求3台DataNode中的一台A上
转载
2024-06-25 20:53:54
13阅读
Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数注意：(1)只有Key-Value类型的RDD才有分区的，非Key-Value类型的RDD分区的值是None(2)每个RDD的分区ID范围：0~numPartitions-1，决定这
MapReduce的缺点：中间结果会借助磁盘传递，大量的Map-Reduced作业受限于IO 对延时要求较为苛刻的用例，比如：对流数据进行处理来做近实时分析在大型数据集上进行交互式分析Spark堆栈中的组件 spark的核心是RDD（弹性分布式数据集），一种通用的数据抽象，封装了基础的数据操作，如map，filter，reduce等。RDD提供数据共享的抽象，相比其他大数据处理框架，如Map
# SparkSQL读取HDFS
## 引言
Apache Spark是一个快速的、通用的集群计算系统，它提供了内置的SparkSQL模块，用于处理结构化数据。同时，Hadoop Distributed File System (HDFS)是一个可扩展的分布式文件系统，常用于存储和处理大规模数据。本文将详细介绍如何使用SparkSQL读取HDFS上的数据，并给出相应的代码示例。
## 前提条
原创
2024-01-18 08:17:55
323阅读
