技术能力再强工资也不一定高找工作其实也是一门技术代更新
简介 多线程情况下访问一些共享资源需要加锁，否则就会导致数据错乱的问题分布式锁可以通过DB，Redis，Zk等方式实现，本节主要介绍php使用Redis实现分布式锁set命令 setnx key value 设置一个值，当key已经存在时，返回flase，代表失败使用setnx实现分布锁有个缺陷，setnx操作无法设置key的ttl，需要配合exprie key ttl 一起使用好在set命令就集
简介RabbitMQ是一个高可用的消息中间件，学习和使用RabbitMQ非常有必要。异步消息传递支持各种开发语言java、python、php等可插拔的身份验证、授权RabbitMQ-Manager可用于管理和监视。安装这里直接使用docker，很方便的进行安装拉取镜像docker pull rabbitmq:3.8.3-management-alpine运行docker run -
概述Hadoop是一个分布式系统基础架构主要解决海量数据的存储和分析计算hadoop作为大数据技术栈必须要掌握的框架，且Hadpood生态圈非常强大Hadoop组成HDFS（Hadoop Distributed File System）分布式文件存储系统，适合一次写入，多次读出，切不修改优点高容错，数据可以保存成多副本，防止数据丢失适合处理大数据量存储，分布式存储可构建在廉价机器上，节省资源缺点不
概述Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark 对比 HadoopHadoop的MapReduce和Spark都是数据处理框架，有何区别？Spark在多个作业（RDD）之间数据通信基于内存，速度更快，且MapReduce是基于磁盘，速度很慢Spark 核心模块Spark Core：核心功能实现Spark Sql：用来操作结构化数据Spark Streaming：
简介HBase是一个分布式的、持久的、强一致性的存储系统，支持特定列族切换可选压缩算法HBase继承自BigTable模型，提供过滤器功能，建少网络传输的数据量HBase使用的文件系统不至HDSF，还可以少本地文件、Amazon S3等中文文档：http://hbase.org.cn/HBase数据模型Namespace：命名空间，可以理解的mysql的databaseRow Key:决定
ClickHouse一款用于联机分析(OLAP)的列式数据库，由俄罗斯搜索引擎公司开发并开源。 使用关系模型描述数据并提供了传统数据库的基本功能。 向量化执行，需要使用CPU的SIMD(Single Instruction Multiple Data)指令，单条指令操作多条数据…
简介在生产环境使用ClikcHouse必须考虑高性能、高可用本文演示如何配置使用复制表和分布式表1.通过负载均衡策略（轮询、hash等）将数据写入到多个分片的Buffer引擎中2.Buffer引擎按照
elasticseach常用api汇总，持续更新。
直奔主题首先要有docker环境1.新增文件docker-composer.yml，输入内容2.执行以下命令docker-compose-fdocker-compose.ymlup-d-d是后台命令u
在不同机器上测试结果可能出入很大，从本机器测试结果来看，每次插入数据适合1k - 5w，可以保证1秒之内就能成功。 在数据量比较少的情况，且sql比较简单的场景下，mysql还是非常方便的，但在大数据场景下，mysql就捉襟见肘了，通过简单的测试，就可以发现clickhouse…
仅支持MergeTree引擎。会进行ttl清理、分区合并等
导出文件备份数据量较小的情况下使用导出数据到文件从文件读数据写到ck通过快照表备份创建备份表备份本地数据备份远程数据按分区备份FREEZE备份将表part_v1的20190103分区备份数据备份到/v
简介Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。无边界数据——就是流处理有边界数据——就是批处理Flink作为大数据处理重要的技术栈之一，是不得不学习的技术，本系统将持续更新Flink相关知识点，希望对大家有所帮助。特点基于事件驱动从事件流中提取数据，当数据到来触
ClickHouse 命令汇总连接clickhousemysql -h 127.0.0.1 -P 9004 -u user_name -ppasswordclickhouse-client -uuser_name --password password --port 9000 -h 127.0.0.1安装clickhouse-client访问：https://repo.yandex.
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
