FAQ v2.0终于上线了，断断续续忙了有2个多月。这个项目是我实践的第一个全栈的项目，从需求（后期有产品经理介入）到架构，再到设计（有征询设计师的意见）、构建（前端、后台、数据库、服务器部署），也是第一次独立负责一个项目，所以意义很不一般，后面还会写一篇总结的文章。闲言少叙，进入正题： 其中有一个自动定时发访问记录列表和反馈问题列表的邮件的功能，本来打算自己写的，不过后来了解到团队有现成的
转载
2023-08-06 11:55:35
199阅读
背景故事: 公司的MySQL数据库关联太复杂了，结构难缠，关系混乱，为了后续项目的方便查询，老板交代，需要将MySQL的数据全部迁移至MongoDB中去。这MySQL数据量大概在40M左右，数据量5w+,说起来不算太大，如果一条一条的读取迁移，任务也能完成，具体实施起来，效率就是慢的一批。果断转换思路。ε=(´ο｀*)))唉，想当年也是操作数据库的一把好手，不曾想，在这爬虫领域逍遥自在了许久，竟忘
转载
2023-08-10 09:06:29
147阅读
最近接手一起老项目数据库 SQL Server 到 MySQL 的迁移。因此迁移前进行了一些调查和总结。下面是一些 SQL Server 到 MySQL 的迁移方法。1. 使用 SQLyog 迁移优点：该迁移方法很简单，灵活，迁移时，可以进行字段的修改，比如在sql server中原来是datetime，然后迁移到mysql时你可以配置成timestamp；成功率很高；缺点：迁移很慢！这
转载
2023-12-16 21:39:45
37阅读
由于系统软件升级，旧版本为了便捷存储Json数据使用mongo数据库，系统升级使用了mysql5.7，所以需要将原先mongo数据库数据迁移至mysql数据库，迁移过程中也学习了很多数据处理方法，以此记录一下。说一下这次数据迁移的总体思路首先需要把服务器的mongo数据备份然后导入自己本地的mongo数据库 这里我使用的是mongodump/mongorestore输入命令：sudo mongod
转载
2023-08-03 15:17:04
120阅读
搜索 ： MySQL关系型数据库迁移到ES………… 一个关于es的项目，即将部分数据量较大的功能从MySQL关系型数据库迁移到es上面。数据格式设计设计es的index和type的时候，首先要抛开关系型数据库的那种join表查询的概念，要么使用内嵌文档、要么使用父子文档。父子文档的使用前提是父文档数量较少而子文档数量非常多。举个例子，主机组和主机之间，由于项目里面主机的数量本来
转载
2023-08-20 14:41:22
157阅读
# Mongodb迁移Windows迁移到Linux
## 简介
在进行Mongodb迁移时，从Windows平台迁移到Linux平台是一个常见的需求。本文将指导刚入行的开发者如何实现这个迁移过程。我们将按照以下流程进行操作。
## 迁移流程
下面是迁移Windows平台上的Mongodb到Linux平台的流程。
```mermaid
gantt
title Mongodb迁移流程
原创
2024-01-14 05:47:20
117阅读
MongoDB可谓目前人气最高的NoSQL数据库引擎之一。其凭借着出色的可扩展性、可靠性与易用性征服了无数用户。今天，我们将共同探讨如何备份、恢复及迁移MogoDB数据库。对数据库进行导入与导出意味着需要以人类可读的格式处理数据，且确保其与其它软件产品相兼容。相比之下，备份与恢复操作则创建或使用MongoDB专用的二进制数据，其不仅能够保护数据本身的统一性与完整性，同时亦拥有独特的MongoDB
1、mysql开启bin_log打开my.ini文件（linux中是my.cnf）log-bin=mysql-bin
# 开启 binlog
binlog-format=ROW
# 选择 ROW 模式
server_id=1
# 配置 MySQL replaction 需要定义，不要和 go-mysql-transfer 的 slave_id 重复2、确保mysql可以远程登录如果不行，则登
转载
2023-10-09 20:07:57
463阅读
迁移总方案：资源统计： iRedMail 、 Seafile 、 RocketChat主要是对其数据进行迁移，保证数据的一致性迁移技术确定： 决定采用Rsync进行文件目录的数据同步其余对数据库的备份均采用备份导入导出Seafile数据由Ken完成 ，由我完成iRedMail、RocketChat的数据迁移同步，时间于19.11.19晚10时开始。恢复策略：快照iRedMail：首先进行rsync
转载
2023-11-20 09:14:41
46阅读
前言在日常项目开发中，可能会遇到使用 ES 做关键词搜索的场景，但是一般来说业务数据是不会直接通过 CRUD 写进 ES 的。因为这可能违背了 ES 是用来查询的初衷，数据持久化的事情可以交给数据库来做。那么，这里就有一个显而易见的问题：ES 里的数据从哪里来？本文介绍的就是如何将 MySQL 的表数据迁移到 ES 的全过程。一、一次性全量该方案的思路很简单直接：将数据库中的表数据一次性查出，放入
转载
2024-08-27 20:48:28
90阅读
题记： 工作辞了，在家闲着也是闲着，研究了下non-relational数据库，恰巧看到robbin大哥写的“NOSQL数据库探讨”，便迫切想学习下，了解到MongoDB一些基本知识后，就去瞅了下在robbin大哥的文中提及到的一个MongoDB移植案例，如：“由于Mongo可以支持复杂的数据结构，而且带有强大的数据查询功能，因此非常受到欢迎，很多项目都考虑用M
转载
2024-01-25 12:17:12
91阅读
由于业务需求，需要将数据从mysql上迁移到mongo上，我从网络上查了一下资料，网上的方案大多是使用工具导出，但我觉得很麻烦，于是打算自己用golang写个小程序来完成这个功能迁移思路1、一般方式一般的方式是先根据数据表的定义，在golang中定义一个结构体，打上对应的tag，然后使用sqlx来将读取到的数据反序列化到结构体中来，然后再序列化成mongo的document插入数据库。过程如下：m
转载
2023-09-21 14:05:09
300阅读
最近工作中，由于我司数据库采用单节点部署，线上出现了测试环节无法涉及的数据量而导致的性能问题，需要将生产环境的数据导回测试环境并恢复以供测试研发同时进行定位优化。但是当生产环境数据量特别大时，在做数据库迁移工作时，如果使用数据库自带的导出导入工具，非常耗时。最简单粗暴方式为将数据库的整个数据目录拷贝，而后在其他机器上进行数据恢复。以下记录记录前一阶段是如何进行海量数据的导入导出。一、 mysql数
转载
2023-08-07 08:59:01
492阅读
一、生成索引类型1、根据MySQL中file类，构造索引类型。 在这个项目中，需要被分词的字段不多，一个是文件内容，一个是文件标题，可以将他们共同封装到content字段那种，也可以分开设计字段，分别索引，所需要进行的操作很简单，但是有坑。 我需要将后缀名为doc和docx的文件打开，获取其中所有信息。 进行这个操作时，报错挺多的，百度后有的说是WPS文档不行，有的说新旧版本不兼容，有的说是缺少依
转载
2023-08-01 20:50:28
182阅读
MySQL Binlog 要通过 MySQL binlog 将 MySQL 的数据同步给 ES， 我们只能使用 row 模式的 binlog。如果使用 statement 或者 mixed format，我们在 binlog 里面只能知道对应的 query 语句，完全没法知道这条语句到底改了啥数据，所以要从 binlog 里面得到实际的数据，只能用 row 模式。 Row 模式还可以设置
转载
2023-09-14 21:57:55
115阅读
背景如果你有自建的 MySQL 集群，并且已经感受到了云原生的春风拂面，想将数据迁移到 Kubernetes 上，那么这篇文章可以给你一些思路。文中将自建 MySQL 集群数据，在线迁移到 Kubernetes 的 MySQL 集群中，快速实现了 MySQL on Kubernetes。适用场景自建 MySQL 数据库迁移至 Kubernetes 的过程中。优点是停机时间短，数据一致性强。前提条件
转载
2023-06-24 16:51:52
451阅读
pgloader介绍pgloader是一个数据导入工具，使用COPY命令将数据导入到PostgreSQL。pgloader有两种工作模式，一种是从文件导入，一种是迁移数据库。pgloader在两种情况下都使用PostgreSQL的COPY协议高效的传输数据。openGauss兼容PostgreSQL的通信协议以及绝大部分语法，可使用pgloader将MySQL数据库迁移至openGauss。pgl
转载
2023-11-17 19:26:50
130阅读
将数据从MySQL迁移到Oracle的注意事项
1．自动增长的数据类型处理
MYSQL有自动增长的数据类型，插入记录时不用操作此字段，会自动获得数据值。ORACLE没有自动增长的
数据类型，需要建立一个自动增长的序列号，插入记录时要把序列号的下一个值赋于此字段。
CREATE SEQUENCE 序列号的名称 (最好是表名+序列号标记)&nb
转载
2023-09-21 21:43:57
172阅读
感谢本文作者 董玉凡 ，Zabbix工程师摘 要►今天我们使用一款工具pgloader来进行从Zabbix的MySQL数据库将数据迁移到PostgreSQL数据库。►pgloader是一款开源软件项目，可以将各种来源的数据加载到PostgreSQL当中，可以支持动态读取的数据，使用 COPY 流式传输协议将数据加载到 PostgreSQL 中，并使用单独的线程来读取和写入数据，由于能够直接从源数据
转载
2023-11-27 20:50:29
87阅读
