工作中经常用到 screen 用处： 中断保留 和屏幕同步。 yum install screen screen -S name 创建 -ls 查看 -r 恢复 -x 同屏 ...
转载
2021-11-01 09:37:00
185阅读
2评论
以T1同步为案例分析系统1:T1系统系统2:标书系统目标: 标书系统为我们的主系
原创
2023-04-03 11:05:05
125阅读
一、RSYNC概述1、什么是rsyncrsync同类型工具sync 同步：刷新文件系统缓存，强制将修改过的数据块写入磁盘，并且更新超级块。async 异步：将数据先放到缓冲区，再周期性（一般是30s）的去同步到磁盘。rsync 远程同步：remote synchronous数据同步过程sync数据同步 => 保存文件（目标）=> 强制把缓存中的数据写入磁盘（立即保存），实时性要求比较高
151224 16:47:10 [ERROR] Error reading packet from server: Lost connection to MySQL server during query ( server_errno=2013)151224 16:47:10 [Note] Slave I/O thread killed while reading event151224 16:4
原创
2015-12-25 10:59:06
8988阅读
文章目录一、概述二、架构1）数据导入（RDBMS->Haoop）2）数据导出（Haoop->RDBMS）三、安装1）下载2）配置环境变量3）配置sqoop代理用户4）安装JDBC5）修改`conf/sqoop.properties`6）存储库初始化7）启动sqoop服务端8）启动sqoop客户端9）设置客户端的各种属性四、简单使用1）常用命令2）数据从MYSQL导入到HDFS（Imp
转载
2023-07-20 17:35:33
179阅读
SyncNavigator是一款功能强大的数据库同步软件，适用于SQL SERVER, MySQL，具有自动/定时同步数据、无人值守、故障自动恢复、同构/异构数据库同步、断点续传和增量同步等功能，支持Windows xp以上所有操作系统，适用于大容量数据库快速同步。 安装包下载地址:https://
原创
2021-06-04 17:27:07
128阅读
C/S同步数据篇 TODO： 关于同步数据篇：主要解说理清业务思路，下一篇：同步数据（根据业务需求）：【将数据库中sys_Menu数据加入到sys_Menu_Copy】 TODO： 1，表【sys_Menu_Copy】已存在数据。过滤 2，表【sys_Menu_Copy】未存在数据。加入 解说篇：1
转载
2017-08-13 11:36:00
323阅读
2评论
一、数据同步思路分析 1.1.数据同步问题分析 elasticsearch中的酒店数据来自于mysql数据库，因此mysql数据发生改变时，elasticsearch也必须
数据同步在很多地方都会用到，再次和大家分享一下利用ssh和rsync来进行同步的过程。
推荐
原创
2010-06-21 20:48:09
1290阅读
3评论
最近看到xoyo开发sersync同步数据还不错，所以在此做下笔记。
之前的时候同步数据用的是inotify+rsync，以下是inotify+rsync的一个脚本。
#!/bin/bash
SRC="/var/tmp/src/"
DST="/var/tmp/dst/"
HOST="127.0.0.1"
/usr/bin/in
原创
2010-09-19 15:15:01
556阅读
1评论
Centos数据同步 一、主服务器（server端）其中主服务器需要安装rsync与inotify，主服务器作为server 192.168.8.252，向备份服务器client 192.168.8.253传输文件1安装rsync[root@localhost /]# wget http://rsync.samba
原创
2013-07-24 10:21:23
528阅读
点赞
SyncNavigator是一款功能强大的数据库同步软件，适用于SQLSERVER, MySQL，具有自动/定时同步数据、无人值守、故障自动恢复、同构/异构数据库同步、断点续传和增量同步等功能，支持Windows xp以上所有操作系统，适用于大容量数据库快速同步。安装包下载地址:https://www.syncnavigator.cn/Setup.zip帮助文档地址:http...
原创
2021-06-07 13:59:21
225阅读
数据同步 数据同步 数据同步 数据同步 数据同步 数据同步 数据同步 数据同步 数据同步 数据同步 仔细考虑同步，否则同步将是痛苦。 不是苏斯博士说的 （苏斯博士是美国著名儿童文学和图书作家） 同步是软件开发中的一项基本要素。它包括很多种形式，从强制使用不同设备上的时钟来协商它们之间的延迟，到使用
转载
2016-05-19 21:47:00
102阅读
<!DOCTYPE html> <html lang="en" dir="ltr"> <head> <meta charset="utf-8"> <title></title> </head> <body> <div id="div1"> 姓名：{{name}}<br> 年龄：{{age}} </d
转载
2021-06-28 15:22:11
122阅读
一、场景说明1、目前有个项目，用的是SQLite数据库文件2、团队协作，遇到了问题1） db文件只有一份，分的作业不同，涉及的表不同2）当提交db文件时，其他同事db文件冲突3）如果拉取呢，本地的新建的表就会被覆盖4）强行合并，要么丢已经提交的表结构，要么丢失本地未提交的表结构5）总之是相当的不方便3、临时解决方案1）db文件放到了项目中2）约束1： 项目中db记做A.db，复制项目中的db文件到
原创
2022-11-25 11:12:31
506阅读
最近一段时间，在做数据ETL相关的事，结合实践以及自己的思考，记录下来，以做参考。 概述 一般来说，数据团队自己是很少生产数据的，一般都是对业务线的数据进行分析加工，从而让数据产生价值。一方面，业务线的数据会存到关系数据（如mysql），磁盘（日志）等存储介质；另一方面，基于大数据的分析一般会将数据存储到hdfs，hbase，es。因此，不可避免地我们需要在这些不同的存储介质间
转载
2023-07-07 11:24:24
68阅读
一、synchronized关键字1、先来看一个定义，互斥锁，也叫互斥排它锁，是很多线程系统来用来实现同步的一种方式。在某一时刻，只能有一个线程可以占有这种锁，如果有多个线程试图去占有一个互斥锁时，最终只有一个线程可以成功，其他的必须等待，直到占有成功的那个线程释放锁以后，其他的线程才可以占有锁然后执行后续操作。2、在java中，每个对象都有一个关联的锁，当一个方法被声明为synchronized
转载
2023-08-29 16:39:00
189阅读
-- 数据同步 1 全量数据同步 1.1 不带参数的实现方式 每次更新目标表的时候，先把目标表中的数据清空，然后用源表的数据插入目标表中 。 1.2 通过参数 ，会计期（一个会计期 = 1个月 ，格式为 年-月 ）更新目标表的部分数据 ，对会计期内的数据 进行全量的更新 每次更新，只更新目标表最近一个会计期的数据 ， 更新之前先根据 参数 删除
原创
2021-05-10 06:23:38
3106阅读
一、概述1. 设计理念为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。2. 架构设计DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Write
SyncNavigator v8.6.2SyncNavigator是一款功能强大的数据库同步软件，适用于SQLSERVER, MySQL，具有自动/定时同步数据、无人值守、故障自动恢复、同构/异构数据库同步、断点续传和增量同步等功能，支持Windows xp以上所有操作系统，适用于大容量数据库快速同步。安装包下载地址：https://www.syncnavigator.cn/Setup.zip帮助文档地址：https://www.syncnavigator.cn/Help_zh-CN.chm.
原创
2021-06-07 14:10:22
457阅读
