Linux博客_推荐博文

02 03

数据同步中间件DataX

今天介绍一款不错的中间件：DataX当有项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作，所以并不能使用 SQL 来进行同步。当时的打算是通过mysqldump或者存储的方式来进行同步，但是尝试后发现这些方案都不切实际：mysqldump：不仅备份需要时间，同步也需要时间，而且在备份的过程，可能还会有数据产出（也就是说同步等于没同步）存储方式：这个效

MySQL

数据源

数据

推荐原创

wx6369307062d07 1天前

223 阅读

3 点赞

2 收藏

Martin Fowler发现所有成功的微服务都遵循了通用的模式 - Monolith First（单体优先）：几乎所有成功的微服务故事，都是从一个变得太大而被分解的单体开始的。几乎所有我听说过的从头开始构建为微服务系统的系统都以严重的麻烦告终。ZooKeeper简介ZooKeeper 是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均

zookeeper

kafka

消息队列

微服务

推荐原创

mooreyxia 2天前

183 阅读

02 02

#yyds干货盘点#

gcc后续——链接时的静态库和动态库

本篇文章是链接阶段静动态库的理解，</font>点击查看gcc四个阶段 @TOC1 . 库库：分为静态库和动态库(本质也是文件) 静态库：libXXXX.a 动态库：libXXXX.so检测linux所用库ldd 可执行程序，检测可执行程序被形成的时候依赖那些库</font>[yzq@VM-8-8-centos my]$ gcc -o testc test

动态库

静态库

bc

推荐原创

萌新的日常 2天前

233 阅读

TiDB Operator高可用配置

TiDB Operator 提供了自定义的调度器，该调度器通过指定的调度算法能在 host 层面保证 TiDB 服务的高可用。目前，TiDB 集群使用该调度器作为默认调度器，可通过 spec.schedulerName 配置项进行设置。本节重点介绍如何配置 TiDB 集群以容忍其他级别的故障，例如机架、可用区或 region。TiDB 是分布式数据库，它的高可用需要做到在任一个物理拓扑节点发生故障

高可用

Pod

数据

推荐原创

lqbyz 2天前

235 阅读

1 点赞

1 收藏

#yyds干货盘点#

DataX与Kettle，深度对比分析

1.前言开源的 ETL工具里面 DataX和 Kettle的人气一直高居不下，datax虽然比较年轻，但这两年发展势头很猛，不时就能听到身边的同事谈起。kettle作为老牌的 etl工具，诞生年限长，功能完善，特别是其开箱即用的数据转换算子，不得不令人叹服。因此，笔者决定对这两款工具进行深入的对比分析，有多深呢，到源码那种。2.DataXDataX 是阿里开源的离线数据同步工具/平台。DataX

数据源

数据转换

关系型数据库

推荐原创

wx6369307062d07 2天前

230 阅读

2 点赞

2 收藏

01 27

#yyds干货盘点#

Elasticsearch的性能优化

Elasticsearch的默认配置项是比较全面的，在不做太多配置的情况下可以使用es的全文检索，高亮显示，聚合，和数据的索引。但是在比较了解es的情况下，可以对很对配置进行优化。一、一般建议 1、不要返回太大的结果集 Es的本质是搜索引擎，所以它的工作机制是查询文件的匹配度，而不是像数据库那些的完全匹配，若需要使用类似于此的查询方式，请使用Scr

字段

数据

缓存

推荐原创

wx6369307062d07 8天前

554 阅读

2 点赞

2 收藏

01 21

Jenkins集成SonarQube实现代码质量检查

一、SonarQube简介 SonarQube 是一个开源平台，用于管理源代码的质量。Sonar 不只是一个质量数据报告工具，更是代码质量管理平台。支持Java、Python、C、C++、Go等多种语言。 SonarQube是一种自动代码审查工具，用于检测代码中的错误和代码异常，它集成到现有的工作流程，以便在项目分支

Jenkins

SonarQube

推荐原创

wx6325de70699f3 15天前

1270 阅读

01 20

54-Keepalive-基于VRRP技术的集群VIP漂移以及各种生产常见案例

VRRP：Virtual Router Redundancy Protocol虚拟路由冗余协议,解决静态网关单点风险物理层:路由器、三层交换机软件层:keepalivedVRRP 网络层硬件实现https://support.huawei.com/enterprise/zh/doc/EDOC1000141382/19258d72/basicconcepts-of-vrrpVRRP 相关术语虚拟路由

keepalived

通用高可用解决方案

VRRP

VIP漂移

推荐原创

mooreyxia 15天前

765 阅读

01 15

3. DRF进阶之DRF视图和常用功能

DRF视图和常用功能DRF视图DRF视图类介绍在DRF框架中提供了众多的通用视图基类与扩展类，以简化视图的编写。View：Django默认的视图基类，负责将视图连接到URL，HTTP请求方法的基本调度，之前写类视图一般都用这个。APIView：DRF提供的所有视图的基类，继承View并扩展，具备了身份认证、权限检查、流量控制等功能。GenericAPIView：对APIView更高层次的封装，例如

Django

DRF

推荐原创

alexhuiwang 21天前

405 阅读

01 13

#yyds干货盘点#

Thanos 配置Prometheus的高可用（一）

标签（空格分隔）：Prometheus系列一：Prometheus的介绍与架构1.1Prometheus的概述1.prometheus的介绍Prometheus是一个开源的系统监控和告警工具包，最初由SoundCloud开发。自2012年开始，许多公司和组织开始使用了Prometheus，该项目拥有非常活跃的开发者和用户社区。Prometheus现在是一个独立的开源项目，独立于任何公司进行维护。为

tanos

prometheus

prometheus高可用

推荐原创

flyfish225 22天前

940 阅读

1 点赞

1 评论

2 收藏

01 11

Jenkins实现代码的部署&回滚

一、Jenkins介绍 Jenkins是一个独立的开源软件项目，是基于Java开发的一款CI(持续集成)&CD(持续交付)工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台。可用于各类自动化任务，比如构建、测试和部署软件。 Jenkins只是一个调度平台，其自身并不能完成项目的构建部署，需要借助各类插

DevOps

Jenkins

GitLab

推荐原创

wx6325de70699f3 24天前

527 阅读

1 收藏

01 10

跨地域OSSIM传感器部署实战

本文详细讲解了分布式OSSIM部署的详细过程。

Server

VPN

服务器

推荐原创

李晨光 25天前

532 阅读

1 收藏

#yyds干货盘点#

超深度解析 Linux I/O 的那些事儿

本文主要以一张图为基础，向大家介绍 Linux在 I/O 上做了哪些事情，即 Linux 中直接 I/O 原理，希望本文的经验和思路能为读者提供一些帮助和思考。我们先看一张图：这张图大体上描述了 Linux 系统上，应用程序对磁盘上的文件进行读写时，从上到下经历了哪些事情。这篇文章就以这张图为基础，介绍 Linux 在 I/O 上做了哪些事情。文件系统什么是文件系统文件系统，本身是对存储设备上的文

文件系统

数据

块设备

推荐原创

LinkSLA 25天前

1590 阅读

1 点赞

1 评论

1 收藏

01 07

#私藏项目实操分享#

使用Bind提供域名解析服务

DNS域名系统，万维网上作为域名和IP地址相互映射的一个分布式数据库，能够使用户更方便的访问互联网，而不用去记住能够被机器直接读取的IP数串。通过域名，最终得到该域名对应的IP地址的过程叫做域名解析（或主机名解析）。DNS协议运行在UDP协议之上，使用端口号UDP53号端口作为数据通信端口(域名解析)，使用TCP53号端口实现数据同步(主从同步)。DNS工作过程：1.客户机首先会查看本地的host

DNS

服务器

IP

linux服务配置

推荐原创

lyshark 28天前

967 阅读

1 收藏

01 06

#yyds干货盘点#

使用Squid部署代理服务

Squid是Linux系统中最为流行的一款高性能代理服务软件,通常用作Web网站的前置缓存服务,能够代替用户向网站服务器请求页面数据并进行缓存.简单来说,Squid服务程序会按照收到的用户请求向网站源服务器请求页面,图片等所需的数据,并将服务器返回的数据存储在运行Squid服务程序的服务器上.当有用户再请求相同的数据时,则可以直接将存储服务器本地的数据交付给用户,这样不仅减少了用户的等待时间,还缓

代理服务

linux

squid

推荐原创

lyshark 29天前

562 阅读

#yyds干货盘点#

通过DHCP动态管理IP地址

DHCP动态主机配置协议是一个局域网的网络协议,使用UDP协议工作,主要有两个用途：给内部网络或网络服务供应商自动分配IP地址、子网掩码、网关以及DNS等tcp/ip信息,给用户或者内部网络管理员作为对所有计算机作中央管理的方法.DHCP有3个端口,其中UDP67和UDP68为正常的DHCP服务端口,分别作为DHCPServer和DHCPClient的服务端口546号端口用于DHCPv6Clien

DHCP

IP

服务器

推荐原创

lyshark 29天前

878 阅读

01 03

MongoDB的学习&复制集搭建

一、MongoDB介绍1.1 简介 MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统，旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的b

MongoDB

推荐原创

wx6325de70699f3 32天前

902 阅读

1 收藏

从源代码构建TensorFlow流程记录

通常情况下，直接安装构建好的.whl即可。不过，当需要一些特殊配置（或者闲来无事想体会 TensorFlow 构建过程到底有多麻烦）的时候，则需要选择从源代码构建TensorFlow。万幸文档混乱的 TensorFlow 还是好心地为我们提供了一整页的文档供参考。

tensorflow

c++

github

源代码

技术分享

推荐原创

京东云官方 32天前

757 阅读

12 30

#yyds干货盘点#

Ansible的左膀右臂-Ansible Runner

前言本文将会介绍AnsibleRunner的基础概念以及笔者的一些实战经验。本文适合的人群为对Ansible提供的功能进行二次封装，并与相关自研平台或服务结合的工程师群体。大家通常会选择使用Ansible来实现对海量服务器/VM批量操作的需求。在运用Ansible时，大多数人往往都比较注重于Playbook/Role的编写，而对于Ansible的调用方式一般都会选择命令行调用(包括利用代码调用命令

Ansible

自动化运维

Ansible Runner

推荐原创

Liatsce 36天前

571 阅读

#yyds干货盘点#

java：使用supervisor优雅的管理SpringBoot进程

@TOC(目录)1、创建SpringBoot项目通过https://start.spring.io/(https://start.spring.io/)创建一个SpringBoot项目项目结构treeItarget.├──pom.xml└──src├──main│├──java││└──com││└──example││└──demo││├──Application.java││└──contro

bash

spring

java

推荐原创

彭世瑜 36天前

1216 阅读

#私藏项目实操分享#

Linux运维工程师 50个常见面试题

1、请简述OSI七层网络模型有哪些层及各自的含义?物理层：底层数据传输，比如网线、网卡标准数据链路层：定义数据的基本格式，如何传输，如何标识。比如网卡MAC地址网络层：定义IP编码，定义路由功能，比如不同设备的数据转发传输层：端到端传输数据的基本功能，比如TCP、UDP会话层：控制应用程序之间会话能力，比如不同软件数据分发给不停软件表示层：数据格式标识，基本压缩加密功能。应用层：各种应用软件，包括

docker

Docker

Nginx

推荐原创

LinkSLA 36天前

577 阅读

1 收藏

IPv6 vs IPv4使用差异说明

DHCP

本地地址

持久化

ipv6 vs ipv4

推荐原创

superman超哥 36天前

434 阅读

12 29

40-Zabbix在Grafana中展示和Zabbix性能优化以及Zabbix高可用集群搭建

Zabbix 利用 Grafana 进行图形展示Grafana 是一款采用 go 语言编写的开源应用，主要用于大规模指标数据的可视化展现，是网络架构和应用分析中最流行的时序数据展示工具，目前已经支持绝大部分常用的时序数据库使用 Grafana 显示Zabbix的监控数据过程安装 grafana安装 zabbix 插件创建 zabbix 数据源导入 dashboard 模板安装 Grafana 包包

Grafana-Zabbix

Zabbix性能优化

Zabbix高可用集群搭建

推荐原创

mooreyxia 38天前

739 阅读

2 评论

1 收藏

12 27

#yyds干货盘点#

Python之多任务编程进程

一、进程概述1. 进程的介绍在Python程序中，想要实现多任务可以使用进程来完成，进程是实现多任务的一种方式。2. 进程的概念一个正在运行的程序或者软件就是一个进程，它是操作系统进行资源分配的基本单位，也就是说每启动一个进程，操作系统都会给其分配一定的运行资源(内存资源)保证进程的运行。比如:现实生活中的公司可以理解成是一个进程，公司提供办公资源(电脑、办公桌椅等)，真正干活的是员工，员工可以理

子进程

全局变量

父进程

推荐原创

哭泣的馒头 39天前

401 阅读

12 23

#yyds干货盘点#

线程控制

写在前面下面我们来学习Linux中第三个模块,进程信号.今天我们将正式解释kill指令为何可以杀掉进程,这里存在很多小的知识点,信号在谈正式的内容之前,我们需要想一下我们之前用过信号吗?有的,这里和大家再简单的回顾一下.#include <unistd.h>int main(){ while (1) { sleep(1); } return 0;}这里的9号就是一个信号.

自定义

后台进程

数据

推荐原创

玄鸟轩墨 43天前

534 阅读

1 点赞

1 收藏

#yyds干货盘点#

Python之面向对象版学员管理系统

一、系统需求使⽤⾯向对象编程思想完成学员管理系统的开发，具体如下：系统要求：学员数据存储在⽂件中系统功能：添加学员、删除学员、修改学员信息、查询学员信息、显示所有学员信息、保存学员信息及退出系统等功能。二、准备程序⽂件1、分析⻆⾊分析学员管理系统⼯作中注意事项1. 为了⽅便维护代码，⼀般⼀个⻆⾊⼀个程序⽂件；2. 项⽬要有主程序⼊⼝，习惯为 main.py2、创建程序⽂件创建项⽬⽬

数据

存储数据

系统功能

推荐原创

哭泣的馒头 43天前

289 阅读

12 22

Kubernetes监控手册07-监控controller-manager

写在前面controller-manager 是 Kubernetes 控制面的组件，通常不太可能出问题，一般监控一下通用的进程指标就问题不大了，不过 controller-manager 确实也暴露了很多 /metrics 白盒指标，我们也一并梳理一下相关内容。黑盒测试类似上一篇《Kubernetes监控手册06-监控APIServer》描述的方法，我们先从黑

Kubernetes

Prometheus

推荐原创

龙渊秦五 44天前

289 阅读

12 21

34-Ansible常用playbook和大型项目role角色拆分

yaml简单示例#格式要求在单一文件第一行，用连续三个连字号"-" 开始，还有选择性的连续三个点号( ... )用来表示文件的结尾次行开始正常写Playbook的内容，一般建议写明该Playbook的功能使用#号注释代码缩进的级别也必须是一致的，同样的缩进代表同样的级别，程序判别配置的级别是通过缩进结合换行来实现的缩进不支持tab,必须使用空格进行缩

Ansible

Playbook

Roles

Nginx

推荐原创

mooreyxia 45天前

273 阅读

Zabbix通过proxy的被动模式代理来跨网段监控Linux主机

上篇文章使用zabbixproxy实现主动代理跨网段分布式监控(https://blog.51cto.com/u_15105742/5956857)，我们已经配置完架构图中的主动模式的监控部分，在这篇文章中我们就继续配置被动模式的监控实践。1、实验架构图!image.png(https://s2.51cto.com/images/202212/21600d6847dd314

mysql

数据

xml

zabbix-proxy被动模式

推荐原创

一夜入秋 45天前

289 阅读

12 20

使用zabbix proxy实现主动代理跨网段分布式监控

1、zabbixproxy简述 zabbix作为一个分布式监控系统，是支持代理（proxy）收集zabbixagent的监控数据然后由zabbixproxy再把数据发给zabbixserver，也就是zabbixproxy可以代替zabbixserver收集监控数据，收集到数据后再汇报给zabbixserver，所以zabbixproxy在一定的程度上是可以帮zabbixse

数据

mysql

数据库

zabbix主动代理

推荐原创

一夜入秋 46天前

358 阅读

官方博客	意见反馈	了解我们
全部文章	联系我们	网站地图
热门标签

51CTO博客

全部

Linux

Windows

Unix

其它

数据同步中间件DataX

57-Zookeeper集群和kafka消息队列集群

gcc后续——链接时的静态库和动态库

TiDB Operator高可用配置

DataX与Kettle，深度对比分析

Elasticsearch的性能优化

Jenkins集成SonarQube实现代码质量检查

54-Keepalive-基于VRRP技术的集群VIP漂移以及各种生产常见案例

3. DRF进阶之DRF视图和常用功能

Thanos 配置Prometheus的高可用（一）

Jenkins实现代码的部署&回滚

跨地域OSSIM传感器部署实战

超深度解析 Linux I/O 的那些事儿

使用Bind提供域名解析服务

使用Squid部署代理服务

通过DHCP动态管理IP地址

MongoDB的学习&复制集搭建

从源代码构建TensorFlow流程记录

Ansible的左膀右臂-Ansible Runner

java：使用supervisor优雅的管理SpringBoot进程

Linux运维工程师 50个常见面试题

IPv6 vs IPv4使用差异说明

40-Zabbix在Grafana中展示和Zabbix性能优化以及Zabbix高可用集群搭建

Python之多任务编程进程

线程控制

Python之面向对象版学员管理系统

Kubernetes监控手册07-监控controller-manager

34-Ansible常用playbook和大型项目role角色拆分

Zabbix通过proxy的被动模式代理来跨网段监控Linux主机

使用zabbix proxy实现主动代理跨网段分布式监控

51CTO博客

数据同步中间件DataX

57-Zookeeper集群和kafka消息队列集群

gcc后续——链接时的静态库和动态库

TiDB Operator高可用配置

DataX与Kettle，深度对比分析

Elasticsearch的性能优化

Jenkins集成SonarQube实现代码质量检查

54-Keepalive-基于VRRP技术的集群VIP漂移以及各种生产常见案例

3. DRF进阶之DRF视图和常用功能

Thanos 配置Prometheus的高可用 （一）

Jenkins实现代码的部署&回滚

跨地域OSSIM传感器部署实战

超深度解析 Linux I/O 的那些事儿

使用Bind提供域名解析服务

使用Squid部署代理服务

通过DHCP动态管理IP地址

MongoDB的学习&复制集搭建

从源代码构建TensorFlow流程记录

Ansible的左膀右臂-Ansible Runner

java：使用supervisor优雅的管理SpringBoot进程

Linux运维工程师 50个常见面试题

IPv6 vs IPv4使用差异说明

40-Zabbix在Grafana中展示和Zabbix性能优化以及Zabbix高可用集群搭建

Python之多任务编程进程

线程控制

Python之面向对象版学员管理系统

Kubernetes监控手册07-监控controller-manager

34-Ansible常用playbook和大型项目role角色拆分

Zabbix通过proxy的被动模式代理来跨网段监控Linux主机

使用zabbix proxy实现主动代理跨网段分布式监控

Thanos 配置Prometheus的高可用（一）