一、Mysql的日志MySQL的配置文件：/etc/my.cnf 查看MySQL的数据目录：show variables like '%datadir%';1.1、错误日志（error log）记录mysql服务的启动、服务异常，用于解决服务器故障；查看日志：show variables like '%log_error%';1.2、二进制日志（bin log）默认开启，记录更改数据的语句，用于数
转载
2024-07-22 17:24:05
25阅读
1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。4）客户端以Packet为单位接收，先在本地缓...
原创
2021-08-07 09:58:55
422阅读
1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。4）客户端以Packet为单位接收，先在本地缓...
原创
2022-03-30 10:23:22
215阅读
先来说说其他一些非常有名的数据库工具，比如Navicat、Sqlyong、PL/SQL等。它们有非常多的优点，有一些功能让我们喜欢使用。然后我觉得有这些不足：Navicat 提供了每一种数据库工具，MySQL、PostgreSQL、MongoDB、MariaDB、SQL Server、Oracle、SQLite， 收费都很贵。Navicat Premium 支持各种数据，更贵；Navicat 快捷
转载
2023-12-18 11:33:00
46阅读
1.创建表：1.1表名和列名：一定要以字母开头一定在 1-30 个字符之间只能包含 A–Z, a–z, 0–9, _, $, 和 #一定不能和用户定义的其他对象重名一定不能是Oracle 的保留字一定要有CREATE TABLE权限而且需要一定的存储空间还要指定的，表名，列名，类型，以及大小（也就是尺寸）1.2创建表有直接可以直接创建表和子查询创建表：直接建表：create table
4,读和写 MapReduce读取输入数据以及写入数据支持多种数据格式。输入数据通常驻留在较大的文件中（通常是几十或者几百 GB 甚至更大）， MapReduce 处理数据的原理是将其分割成为块，这些块可以在多个计算机上并行处理，在 hadoopHadoop读取文件使用 FSDataInputStream 而不是用 DataInputStream 是因为 FSDataInputStr
转载
2023-08-14 15:16:41
136阅读
cmd 写的同时 python 可以读文件吗？这个问题涉及到了多个技术层面，包括进程间通信、文件锁、以及操作系统对文件访问的管理等。本文将通过版本对比、迁移指南、兼容性处理、实战案例、排错指南及生态扩展等多个结构，详细探讨如何在命令行（cmd）写入文件的同时，使用 Python 读取该文件。
## 版本对比
在分析 cmd 和 Python 之间的交互时，需要对不同 Python 版本和 cm
一.Hadoop的核心1.Hadoop是分布式文件系统，简称HDFS。2.Hadoop的最核心框架设计是HDFS和MapReduce，HDFS为海量的数据提供了分布式存储，MapReduce为海量数据提供了分布式计算。二.什么是HDFS1.HDFS的灵感是来源于Google的GFS论文。2.HDFS的特点： 1.易于扩展的分布式文件系统 2.运行
转载
2023-07-24 10:07:20
63阅读
写流程1.启动NN进程，提供分布式客户端2.客户端发送写请求，NN判断是否有权限，路径是否合法3.NN进程判断合法，返回允许上传文件4.客户端根
原创
2023-02-02 10:15:04
84阅读
# Hive 读时模式与写时模式的深入解析
## 引言
Apache Hive 是一个用于大规模数据仓库的软件，它能够使用户使用类 SQL 语言（HiveQL）来查询和分析存储在 Hadoop 分布式文件系统 (HDFS)中的结构化、半结构化和非结构化数据。在数据查询和处理过程中，Hive 提供了两种主要的访问模式：读时模式（Read Mode）和写时模式（Write Mode）。本文将详细介
# 如何在Java中同时添加读锁和写锁
在多线程编程中，读写锁（ReadWriteLock）是一种用于提高并发性能的同步机制。Java提供了`ReentrantReadWriteLock`类，这个类允许多个线程同时读取共享资源，但在写入资源时，它会对其他线程的读和写操作进行阻塞。本文将详细描述如何使用`ReentrantReadWriteLock`实现同时添加读锁和写锁。
## 流程步骤
在
一.概述读-读：并发不存在问题,不需要加锁写-写：并发存在问题,可能会造成脏写(一个事务没有写完,另一个事务也对相同的数据进行写),但是这种情况,任何一种隔离级别都不允许发生,在隔离级别的时候就解决了。读-写/写-读：会造成脏读,幻读,不可重复读的问题。每个数据厂商对它的支持也是不相同的
解决方案：
方案一：读操作利用MVCC,写进行加锁。方案二：读写都加锁。怎么加锁：数据库自己就进行加锁，不需要
转载
2022-02-01 21:33:00
545阅读
在对NameNode节点进行格式化时，调用了FSImage的saveFSImage()方法和FSEditLog.createEditLogFile()存储当前的元数据。Namenode主要维护两个文件，一个是fsimage，一个是editlog。fsimage ：保存了最新的元数据检查点，包含了整个HDFS文件系统的所有目录和文件的信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等；对于
转载
2024-06-18 08:41:16
12阅读
Hive读写文件机制1.SerDe是什么？SerDe是Hive中的一个概念，代表着“序列化/反序列化” （Serializer/Deserializer）。SerDe在Hive中是用来处理数据如何在Hive与底层存储系统（例如HDFS）之间进行转换的机制。在Hive中，数据通常以某种特定的格式存储在文件中，如文本文件、Parquet文件、ORC文件等。SerDe允许Hive将数据在内存和文件之间进
转载
2024-08-14 20:20:28
59阅读
数据源:可穿戴设备的实时数据分析。1.txt记录的是某一个用户的心跳周期数据，每一个数值表示一次心跳的周期，单位是秒。例如，0.8表示用户当时的心跳间隙是0.8秒。心跳间期按照顺序存储 MapReduce框架编写程序计算出总测量时间和平均心跳间期，即求和与求平均。请写出程序，并在实验报告中简单描述你的思路。具体源码如下：public class Heartbeat
{
//Map统计总测量
转载
2024-06-12 00:39:15
28阅读
一、mysql读写分离原理MYSQL所谓主从复制和MYSQL的读写分离两者有着紧密联系，首先部署主从复制，只有主从复制完了，才能在此基础上进行数据的读写分离。MySQL Proxy最强大的一项功能是实现“读写分离(Read/Write Splitting)”。简单来说，读写分离就是在主服务器上写，只在从服务器上读，基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELE
转载
2024-05-15 06:12:50
52阅读
最近总有这么几种情况：一、作业很简单，想用Latex敲，但是英语不过硬，用中文吧配中文环境就要配置半天。二、越来越多的朋友问我怎么搞中文输入，我也确实没啥帮助人家的好办法，所以只好自己研究研究怎么配置Latex中文环境了。先说环境编译：Ctex包（真的好用，省的配来配去。编辑器：Sublime Text 3（但是要安装一个插件：LatexTools）嗯，在安装ctex的时候就听说这家伙完全支持中文
这里面的三个函数openlog， syslog， closelog是一套系统日志写入接口。 首先系统里应该具有syslog等程序，ubuntu下可以apt-get install sysklogd安装。（这里选用的sysklogd， 还有rsyslog，syslog-ng等日志软件） 通常syslog守护进程读取三种格式的记录消息。此守护进程在启动时读一个配置文件。一般来说
转载
2024-08-02 19:57:35
10阅读
一、什么是读写分离？MySQL读写分离是指让master处理写操作，让slave处理读操作，非常适用于读操作量比较大的场景，可减轻master的压力。使用mysql-proxy实现mysql的读写分离，mysql-proxy实际上是作为后端mysql主从服务器的代理，它直接接受客户端的请求，对SQL语句进行分析，判断出是读操作还是写操作，然后分发至对应的mysql服务器上。二、为什么要读写分离？因
转载
2023-09-03 10:41:51
21阅读
## Spark读取ES数据时可以设定条数
### 1. 背景介绍
在使用Spark读取Elasticsearch（ES）数据时，有时候需要设定读取的数据条数，以便对大数据集进行分批处理或者进行性能测试等。本文将介绍如何在Spark中实现读取ES数据时设定条数的方法。
### 2. 实现步骤
下面是整个实现过程的步骤：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 |
原创
2023-11-25 11:48:24
49阅读
