虽然现今内存都很便宜了，但是相对廉价的硬盘来说，还是贵了非常多。而且redis使用的很多场景下，往往数据是TB级别甚至PB级别，而我们的服务器的内存容量只有GB级别。为此我们需要优化redis内存的使用，但是优化内存的使用的前提是知道内存都消耗再哪里了。为此本篇先从内存消耗入手分析。内存消耗理解内存，首先要知道内存都消耗再哪里了。内存监控Redis提供了命令info memory命令，统计内存消耗
转载
2023-08-25 11:33:52
146阅读
日志的介绍： 用于记录系统中发生的各种事件。记录的位置常见的有 ：控制台、磁盘文件等 日志作用：通过日志观察、分析项目的运行情况 (项目维护)通过日志分析用户的使用情况 (大数据分析) 日志的级别： 日志级别从低到高： TRACE、DEBUG、INFO、WARN、ERROR、FATAL 定义级别时，如果定义的是低级别，那么比他高的也会执行日志的解决方案有两种，一个是 Log4j+Commons-L
# 数据库主从同步方案
## 1. 简介
在大规模应用中，为了提高数据读取性能、提高可用性以及数据备份恢复，常常需要使用数据库主从同步方案。MySQL 提供了主从复制的功能，可以实现主数据库的数据自动同步到从数据库，从而达到读写分离以及数据备份的目的。
本文将详细介绍如何使用 MySQL 来实现数据库主从同步方案，并提供代码示例和图示来辅助说明。
## 2. 架构设计
### 2.1 主从
原创
2023-09-04 17:05:30
31阅读
本次操作的MySQL版本为5.5.40 for Linux (x86_64)。增量备份要确保打开了二进制日志，参考mysql的日志系统：1mysql> show variables like '%log_bin%';首先对pak数据库做一个完整备份：1$ mysqldump -h localhost -upak -ppwd -P3306 --master-data=2 --single-tr
转载
2023-10-07 20:45:18
54阅读
该系列本文是“Stairway系列：SQL Server索引的阶梯”的一部分索引是数据库设计的基础，并告诉开发人员使用数据库关于设计者的意图。不幸的是，当性能问题出现时，索引往往被添加为事后考虑。这里最后是一个简单的系列文章，应该使他们快速地使任何数据库专业人员“快速”第一级引入SQL Server索引：使SQL Server能够在最短的时间内找到和/或修改请求的数据的数据库对象，使用最少的系统资
转载
2024-03-21 22:00:42
44阅读
# 数据分析能力 TB级的实现指南
数据分析已经成为现代企业和个人决策的重要组成部分。随着数据的增长，尤其是TB级数据的普及，如何有效地进行数据分析已成了一个重大挑战。本文将为刚入行的小白提供一条完整的实现路径，包括所需步骤、代码示例以及说明。
## 步骤概述
以下是实现TB级数据分析的基本步骤：
| 步骤编号 | 步骤名称 | 描述
NFS文件系统NFS 文件系统： 网络文件系统是(Unix)系统和网络附加存储文件管理器常用的网络文件系统，允许多个客户端通过网络共享文件访问。他可用提供对共享二进制目录的访问，也可用于允许用户在统一工作组中从不同客户端访问，其文件NFS协议由多个版本：Linux支持版本4，版本3和版本2，而大多数系统管理员熟悉的是NFSv3。默认情况下，该协议并不安全，但是更
转载
2024-07-11 22:05:31
49阅读
本文主要介绍怎么使用ELK Stack帮助我们打造一个支撑起日产TB级的日志监控系统。
转载
2021-12-14 10:21:52
59阅读
来源：cnblogs.com/dengbangpang/p/12961593.html我们的解决方案我们的架构日志可视化本文主要介绍怎么使用 ELK Stack 帮助我们打造一个支撑起日产...
转载
2021-10-23 17:31:27
73阅读
用的技术手段之一是把数据库的数据导出成csv格式...
1TB是什么意思1TB，是一种电子储存单位，它高于GB，小于PB。当前主要用于计算机的储存、大型数据的储存等等。TB可以指：Terabyte，一种资讯计量单位，现今通常在标示网络硬盘总容量，或具有大容量的储存媒介之储存容量时使用。棒球术语-垒打数(Total Bases)坦帕湾(Tampa Bay)肺结核。Tb可以指：铽(化学符号是Tb)1TB=1024GB目前家用计算机存储信息的最大单位。存储器
转载
2023-11-23 19:46:32
164阅读
作者： cchouqiang 背景在国产化数据库替代过程中，有一项必不可少的任务就是数据迁移，我们常用的技术手段之一是把数据库的数据导出成csv格式的文件，然后将csv格式的文件导入的国产数据库中。
本文介绍的是从SAP数据库导出的TB级CSV文件加速导入到TiDB数据库中。从SAP数据库导出11T的单表，导入到TiDB数据库中；SAP导出的数据文件总共有4个csv文件，每个大小约2.6
转载
2021-09-06 11:16:05
26阅读
本文主要介绍怎么使用 ELK Stack 帮助我们打造一个支撑起日产 TB 级的日志监控系统。在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，业务排查需要业务等等。
转载
2021-07-13 15:30:33
72阅读
现在从事数据分析工作的人很多，每个人都有自己的分析思路，思维，会操作多种软件工具，能依据具体分析需求调动自己的数据思维，匹配最佳的分析方法，充分利用软件工具解决问题。那么大家有没有想过，数据分析能力有哪些等级层级呢？小兵找到几年前的一篇热门文章，大家看一看，可以对号入座，对标自己的工作，找准自己的位置，以便于规划未来技术精进路线。按照不同分析方法所能给人带来的智能程度，把数据分析能力划分为8个等级
转载
2023-10-19 05:46:43
99阅读
本文主要介绍怎么使用 ELK Stack 帮助我们打造一个支撑起日产 TB 级的日志监控系统。图片来自 Pexels在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，业务排查需要业务等等。然而在生产上跑着成百上千个服务，每个服务都只会简单的本地化存储，当需要日志协助排查问题时，很难找到日志所在的节点。也很难挖掘
原创
2020-10-31 21:09:10
220阅读
本文主要介绍怎么使用ELK Stack帮助我们打造一个支撑起日产TB级的日志监控系统。
转载
2021-06-21 17:59:34
84阅读
点击上方蓝色字体，选择“标星公众号”优质文章，第一时间送达关注公众号后台回复pay或mall获取实战项目资料+视频来源：非洲羚羊http://cnblogs.com/dengbangpa...
转载
2021-07-13 16:25:28
77阅读
# 如何实现“TB python”
## 流程图
```mermaid
pie
title 实现“TB python”步骤
"了解需求" : 20
"学习Python基础知识" : 30
"掌握Web开发框架" : 40
"编写代码实现功能" : 10
```
## 1. 了解需求
在开始实现“TB python”之前，首先要明确需求是什么。了解需求
原创
2023-10-12 03:51:17
54阅读
本文主要介绍怎么使用 ELK Stack 帮助我们打造一个支撑起日产 TB 级的日志监控系统。在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，业务排查需要业务等等。
然而在生产上跑着成百上千个服务，每个服务都只会简单的本地化存储，当需要日志协助排查问题时，很难找到日志所在的节点。也很难挖掘业务日志的数据价值。
转载
2021-06-20 13:49:46
27阅读
