转载
2023-06-29 10:56:48
68阅读
从上一篇文章(HDFS客户端文件写操作---概述)的示例代码中可以看到，先创建FileSytem类对象(其实这个对象就是DistributedFileSystem类对象，DistributedFileSystem类是FileSytem类的子类)，我们从FileSytem类的get函数开始，该函数有两个，代码如下：/** Returns the FileSystem for this URI's s
以下内容挺啰嗦的 包含三个部分事件背景（可以略过 我只是说一下为什么突然涉及这个问题基本解决法（可以举一反三获取IO流中的其他数据如何让它在streamlit中更美观地展示 （这个是记录教程的最终目的，仅供参考1. 事件背景在数据科学大多场景下，我们基本是在jupyter notebook上进行数据分析操作。很多信息我们都只是查看就足够而不需要读除来。 比如 DataFrame.info, 在ju
# Spark DataFrame 写入到 HDFS 的实践指南
Apache Spark 是一个开源的分布式计算系统，它提供了一个快速、通用和易于使用的大规模数据处理平台。在处理大规模数据时，Hadoop 分布式文件系统（HDFS）是一个常用的存储解决方案。本文将介绍如何使用 Spark DataFrame 将数据写入 HDFS，并展示相关的代码示例。
## Spark DataFrame
原创
2024-07-23 10:49:19
41阅读
# 使用Spark将数据写入HDFS的流程
## 介绍
在大数据领域，Apache Spark是一个非常流行的分布式数据处理框架，而Hadoop Distributed File System（HDFS）是Apache Hadoop的核心组件之一，用于存储和处理大规模数据集。本文将介绍如何使用Spark将数据写入HDFS。
## 整体流程
下面是将数据写入HDFS的整体流程：
| 步骤 |
原创
2024-01-24 11:02:04
387阅读
之前的Spark实时流处理的数据处理程序，要求把数据从kafka接收之后，分2路分别写入kafka和hdfs，写入kafka的部分之前已经有过总结，现在回过头来把之前的写入HDFS的地方重新总结一下，整个过程从头到尾有一个写入方式的优化，不过时间有点长啦，尽量描述完整( ˘ ³˘)♥。注意: 本文中使用的版本是spark2.2.1和2.6.0-cdh5.11.0背景在工作中，需要将从kafka收到
转载
2023-07-26 14:51:45
133阅读
本文将介绍如何使用Spark操作HBase的数据，实现列之间的计算，以特征值计算为例。特征值是指从原始数据中提取出来的具有代表性或判别性的数值，可以用于数据分析或机器学习等领域。本文将使用hbase-spark连接器，通过Spark RDD的方式，读取和写入HBase的表，实现对Sentinel-2卫星影像数据的特征值计算。主要内容如下：创建SparkSession和HBaseConfigurat
转载
2024-09-29 13:57:48
112阅读
前言操作系统：CentOS 7Java版本：1.8.0_221Flume版本：1.8.01. Kafka Channel使用场景配合Flume Source、Flume Sink使用，为Event的传输提供一种具有高可用的Channel配合Flume Source和拦截器interceptor使用，无Sink，用于将Flume搜集的Event传输到Kafka集群指定Topic中，便于Kafka消息
转载
2024-04-06 12:24:46
306阅读
高并发简单解决方案-redis缓存队列+mysql 批量入库+php离线整合
需求背景：有个调用统计日志存储和统计需求，要求存储到mysql中；存储数据高峰能达到日均千万，瓶颈在于直接入库并发太高，可能会把mysql干垮。
问题分析
思考：应用网站架构的衍化过程中，应用最新的框架和工具技术固然是最优选择；但是，如果能在现有的框架的基础上提出简单可依赖的解决方案
转载
2024-10-18 11:46:02
39阅读
# 为什么要把session写入redis?
在Web开发中，session是一种用来保存用户状态信息的机制。它是一种客户端-服务器端的交互方式，客户端在登录之后会获得一个sessionID，然后在后续的请求中带上这个sessionID来标识自己的身份。而session的存储方式有很多种，最常见的是存储在服务器的内存中。但是，随着用户量的增加和服务器的扩展，这种方式会造成一些问题。为了解决这些问
原创
2024-02-24 05:40:32
33阅读
## Linux Redis写到磁盘
Redis是一个开源的、内存中的数据结构存储系统，它支持多种数据结构，例如字符串、哈希、列表、集合、有序集合等。Redis的高性能和灵活的数据结构使其成为很多应用程序的首选。
然而，由于Redis是一个内存数据库，数据一般存储在内存中，这也使得数据容易丢失。为了解决这个问题，并确保数据持久化，Redis提供了两种方式：快照(snapshot)和日志(log
原创
2024-02-10 09:47:58
22阅读
Redis存储Offset（重点）获取redis连接从redis获取Offset（有或者无）更新Offset到redis在使用Redis连接的时候，注意一点，Connection连接无法被序列化，也就是说在Driver创建的连接，无法发送到Executor内部使用，需要在Executor内部创建单独的连接操作，才可以使用数据的累加或者计算操作，而且Driver负责维护Offset，此连接和Exec
Flume一、数据模型Flume的概念 flume是分布式的日志收集系统，它将各个服务器中的数据收集起来并送到指定的地方去，比如说送到图中的HDFS，简单来说flume就是收集日志的。Note：收集到的数据不一定直接到HDFS，还可以暂时存储到Kafka中，然后在存储到HDFS中。Event的概念 event的相关概念：flume的核心是把数据从数据源(source
在客户端进行操作清屏clear -- 清屏操作帮助help 命令名
help @组名退出quit
exit
<ESC>按键String 基本操作添加/修改单个数据
set key value -- 假如key已经存在，则会覆盖，如果无则加上
获取单个数据
get key -- key不存在返回nil
添加/修改多个数据
mset key1 value1 key2 value2 k
转载
2023-12-24 10:39:14
111阅读
1.需要一个log系统，以记录数据线上服务的每一个细节以便分析整个系统的运行，以便查错调试。
2.所有log都推送到redis的若干个队列。
原因：各种log收集系统，要么太复杂，要么不能同时适应windows和linxu，要么both。因此，用redis的队列是最好的。可以将一个log事件发送到不同的队列。
2.每一条log记录是一个log事
转载
2023-12-01 12:31:26
66阅读
geospatial 地理位置操作命令：命令描述geoadd添加地理位置的坐标geopos获取地理位置的坐标geodist计算两个位置之间的距离georadius根据用户给定的经纬度坐标来获取指定范围内的地理位置集合georadiusbymember根据储存在位置集合里面的某个地点获取指定范围内的地理位置集合geohash返回一个或多个位置对象的 geohash 值geoadd将指定的地理空间位置
转载
2024-05-15 11:06:18
40阅读
对象表示形式每门面向对象的语言至少都有一种获取对象的字符串表示形式的标准方式。Python 提供了两种方式repr() 以便于开发者理解的方式返回对象字符串表示形式str()以便于用户理解的方式返回对象的字符串表示形式。正如你所知，我们要实现 __repr__ 和 __str__ 特殊方法，为 repr()和 str() 提供支持。 再谈向量类为了说明用于生成对象表示形式的众多方法，我
转载
2024-06-04 14:05:30
50阅读
要将 Apache Flink 的处理结果写入 Redis，我们需要考虑一系列具体的问题和步骤。本文将详细记录这一过程，包括背景、错误现象、根因分析、解决方案、验证测试和预防优化。
## 问题背景
在现代数据处理架构中，Apache Flink 是一种强大的流处理框架，而 Redis 作为内存数据存储引擎，在低延迟和高可用性方面表现突出。将 Flink 的处理结果写入 Redis 能够为后续的数
高频Redis面试题:如何保证Redis和数据库数据一致性缓存用法如何更新缓存先更新缓存，再更新数据库先更新数据库，再更新缓存先删除缓存，再更新数据库延时双删（删除缓存，更新数据库，再延时删除缓存）先更新数据库，再删除缓存为了防止删除缓存失败，可以进行重试机制 缓存用法 问题：如果数据库中的某条数据放入缓存后，又马上被更新了，那我们应该如何更新缓存如何更新缓存先更新缓存，再更新数据库 缺点： 如
转载
2024-09-19 15:13:54
50阅读
# 从Redis读取数据并写入Hive的完整指南
在数据工程领域，将数据从一个存储系统迁移到另一个是常见的任务。今天，我们将学习如何从Redis读取数据并将其写入到Hive。这个过程可以分为几个关键步骤。以下是整个流程的概述以及每一步需要做的具体操作。
## 流程概述
以下是将数据从Redis写入Hive的主要步骤：
| 步骤 | 描述
原创
2024-10-20 07:51:28
77阅读
