一、flink介绍Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时，Flink 在流处理引擎上构建了批处理引擎，原生支持了迭代计算、内存管理和程序优化。二、部署环境操作系统环境：flink支持Linux, Mac OS X, 和 Windows环境部署，本次部署选择Linux环境部署。JDK： 要求Java
转载
2024-03-12 13:45:01
58阅读
参照官方教程 https://learn.pingcap.com/learner/course/30002本次部署TIDB 共包含1个TIDB，3个PD，3个TIKVLinux版本 CentOS-7-x86_64-Minimal-2009.isoTiDB版本v1.5.4虚拟机环境配置：这里记得把网络打开 ，自动配置就好，不然一会装好了还得单配置网卡信息 安装tiup
转载
2023-09-15 21:20:24
290阅读
此为单节点安装1、下载tidb包http://down.51cto.com/data/2258987##CENTOS7http://down.51cto.com/data/2259295##CENTOS62、解压包，进入目录启动： 1、启动pd 没问题 2、启动tikv因为使用tidb在CENTOS7平台，
原创
2016-11-15 23:57:29
7582阅读
点赞
文章目录一、配置互免二、中控机安装TIUP组件三、TIKV目标机器配置相关参数四、配置初始化参数五、验证集群部署状态 前言，部署时相关软硬件参照官方网站 我是官网 一、配置互免中控机创建tidb用户，创建密码adduser tidb
passwd tidb设置免密操作visudo在最后一行加入tidb ALL=(ALL) NOPASSWD: ALL另外visudo.注释掉如下内容#Defaul
转载
2023-07-30 08:12:18
258阅读
举个栗子，假设你在Mysql中有两张表: browse_event、product_history_info。browse_event: 事件表，某个用户在某个时刻浏览了某个商品，以及商品的价值。如下:SELECT * FROM browse_event;
+--------+---------------------+-----------+-----------+----------
/\*\*
\* Convenience builder to create {@link ParquetWriterFactory} instances for the different Avro
\* types.
\*
\* @deprecated use {@link AvroParquetWriters} instead. // 看这部分是建议使用AvroParquetWrit
一、背景在生产实践中，通过FlinkCDC读取数据，除了落地hadoop入湖供下游离线使用外，也会存在写入kafka供实时程序消费使用。那么flink里，kafka connector有哪些？各有什么特征？使用时要注意什么呢？且让我们开始flink kafka connector探索之旅。二、测试环境准备2.1 基础运行环境搭建在开始实操探索之前，至少确保你已经搭建好了FlinkCDC-Hudi的
导读当前的市场环境对产品运营提出了更高的要求，特别是对数据指标实时性的要求日益严格。为了能够实时监测数据动态和特征用户的状态，我们采用了分布式数据库 TiDB 和计算框架 Flink 的组合，提出了一种基于滑动窗口的实时累计指标算法。该算法能够在市场营销活动中发挥积极的作用，显著改善用户体验并促进收益增长。1. 前言在不少的支付分析场景里，大部分累计值指标可以通过 T+n 的方式计算得到。随着行业
转载
2024-04-25 20:26:38
67阅读
使用 TiUP cluster 在单机上模拟生产环境部署步骤 适用场景：希望用单台 Linux 服务器，体验 TiDB 最小的完整拓扑的集群，并模拟生产的部署步骤。 耗时：10 分钟 本节介绍如何参照 TiUP 最小拓扑的一个 YAML 文件部署 TiDB 集群。准备环境 准备一台部署主机，确保其软件满足需求：推荐安装 CentOS 7.3 及以上版本 这里使用centos7.6版本 CentOS
转载
2023-08-02 09:03:02
145阅读
一、dmctl相关tiup dmctl --helpUsage: dmctl [global options] command [command options] [arguments...]
Available Commands:
check-task check-task <config-file> # 检查任务的配置文件
get-config ge
转载
2024-04-03 13:12:52
116阅读
目录 1. 本地PV配置2. 部署rcd资源3. 安装TiDB Operator1. 添加 PingCAP 仓库2. 为 TiDB Operator 创建一个命名空间3. 安装 TiDB Operator4.创建TIDB集群5.连接TiDb集群6.创建TIDB集群监控7.集群初始化配置（非必要）资源配置local-volume-provisioner.yamltidb-clu
转载
2024-05-02 21:49:07
87阅读
TiDB-TiUP集群部署本次部署使用环境：CentOS Linux release 7.9.2009 (Core)
TiDB 6.5.1
三台服务器：
(内)172.19.172.179
(内)172.19.172.180
(内)172.19.172.182一、部署前准备1.1 查询官方文档部署环境及配置要求-此处不赘述1.2 检测及关闭系统 swapecho "vm.swappiness =
转载
2024-04-25 12:51:21
78阅读
一. TiDB的核心特性高度兼容 MySQL 大多数情况下，无需修改代码即可从 MySQL 轻松迁移至 TiDB，分库分表后的 MySQL 集群亦可通过 TiDB 工具进行实时迁移。水平弹性扩展 通过简单地增加新节点即可实现 TiDB 的水平扩展，按需扩展吞吐或存储，轻松应对高并发、海量数据场景。分布式
转载
2024-01-08 13:54:26
96阅读
文章目录一.TiDB简介TiDB 整体架构TiDB 集群主要分为三个组件:DB Server:PD Server：TiKV Server：二. zabbix安装1.下载安装yum源2.安装zabbix3.安装centos-release-scl软件集4.编辑配置文件 zabbix.repo,启用zabbix-frontd模块5.安装tidb数据库a.安装mysqlb.从官网下载tidb包c.开启
转载
2023-12-17 13:37:24
129阅读
单机版的TiDB体验注：操作系统是CentOS7.4、Ubuntu16#下载压缩包wgethttp://download.pingcap.org/tidb-latest-linux-amd64.tar.gzwgethttp://download.pingcap.org/tidb-latest-linux-amd64.sha256#检查文件完整性，返回ok则正确sha256sum-ctidb-lat
原创
2018-09-09 14:49:30
4836阅读
一、TiDB环境与系统配置检查 注: 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 生产环境部署，建议使用 EXT4 类型文件系统的 NVME 类型的 SSD 磁盘存储 TiKV 数据文件。这个配置方案为最佳实施方案，其可靠性、安全性、稳定性已经在大量线上场景中得到证实。 注意 ...
转载
2021-09-16 10:23:00
345阅读
2评论
Kubernetes是一种非常流行的容器编排系统，可以帮助我们快速、便捷地部署、扩展和管理容器化应用程序。TiDB是一个分布式关系型数据库，而Docker是一个容器化技术工具。将TiDB部署在Docker容器中，可以实现快速部署、易于管理和维护的优势。下面我将详细介绍如何在Kubernetes中部署TiDB数据库。
步骤如下所示：
| 步骤 | 操作 |
|------|----
原创
2024-04-23 19:33:53
175阅读
TiDB 简介TiDB是一款开源的分布式HTAP数据库，同时支持TP（Transactional Processing）的在线事务处理，也支持AP（Analytical Processing）的在线分析处理。 实际使用下来的感受：TP场景的高并发确实非常优秀，但是AP场景的分析能力相对专业的AP数据库还是存在一些不足之处。TiDB的最大亮点：通过 Multi-Raft Learner 协议将TiK
转载
2024-02-24 19:07:14
135阅读
简介TiDB 是 PingCAP 公司受 Google Spanner / F1 论文启发而设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库， 结合了传统的 RDBMS 和 NoSQL 的最佳特性。TiDB 兼容 MySQL，支持无限的水平扩展，具备强一致性和高可用性。 TiDB 的目标是为 OLTP (Onlin
转载
2024-08-26 21:00:50
103阅读
TiDB是一个高度可扩展的分布式数据库，以其高性能和可靠性而闻名。而Ansible是一个自动化工具，可以简化部署、配置和管理IT系统的过程。将TiDB与Ansible结合起来，可以更加方便快捷地部署TiDB集群。
在使用Ansible部署TiDB集群之前，我们需要明确一些准备工作。首先，确保已安装Ansible和相关的插件。其次，需要了解TiDB集群的拓扑结构和配置参数，包括PD（Placeme
原创
2024-02-20 10:52:26
85阅读
