SequenceFiles(序列文件) SequenceFile是Hadoop的一种由键值对小文件组成的流行的格式。SequenceFIle有同步标记，Spark可以寻找标记点，然后与记录边界重新同步。Spark还可以从多个节点并行高效地读取SequenceFile。SequenceFile也是Hadoop MapReduce中job的常用输入输出格式，如果你正使用着Hadoop系统，数据很有可
转载
2024-10-26 20:00:01
66阅读
文章目录第一章 clickhouse概述1.1 clickhouse的定义1.2 clickhouse的来源1.3 clickhouse应用领域1.4 clickhouse存储层1.5 clickhouse优点1.6 clickhouse缺点第二章 单机版安装2.1 rpm安装(也可以在线yum安装)2.2 配置2.3 服务启动2.4 客户端连接第三章 集群安装3.1 安装3.2 配置3.3 服
Spark 分析Json數據存入Mysql 遇到的坑折騰了兩天，終算是弄好了，入的坑不計其數，但是也要數一數。坑(一)之前搭建好了spark，就是簡單的wordcount一下，成功了也就沒在意。這幾天重新拾起來，一上來就記得 –master spark://master:55555這個55555端口其實是我的hdfs的端口，結果給記成spark群集的了，哇，很難受，一直卡住說什么master不通，
转载
2023-11-24 23:04:17
70阅读
Spark是最近比较火的数据处理平台，相对于Hadoop的Mapreduce(MR)，既具有运行速度的优势，又打破的Hadoop MR交互性差的局限，同时，其机器学习组件MLlib可以极大的满足数据处理过程中的算法需求。Spark采用Scala语言编写，但同时支持Scala，Python与Java做为开发语言，甚至SparkR项目的出现某种程度上支持了R语言。MongoDB做为NoSQL比较早的实
转载
2023-12-28 11:04:14
31阅读
问题背景在Java Web项目中，经常需要前端请求数据，后台从数据库中查询并计算最后返回json格式数据给前端。而每次请求都需要计算一次可能比较浪费时间，这时我们可以将计算好的结果保存在redis中，下次请求时先判断redis中是否已经存在，如果是则直接从redis里取出返回，因为是在内存中，所以比较快。而自己在项目中遇到的json格式数据比较复杂，下面记录一下redis存储对象和json格式数据
转载
2023-08-15 13:36:22
63阅读
什么是 ClickHouse？ClickHouse 是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。在传统的行式数据库系统中，数据按如下顺序存储： 处于同一行中的数据总是被物理的存储在一起。常见的行式数据库系统有：MySQL、Postgres等。在列式数据库系统中，数据按如下的顺序存储： 这些示例只显示了数据的排列顺序。来自不同列的值被单独存储，来自同一列的数据被存储在一起。不同的
转载
2024-02-06 21:07:43
161阅读
概要本节主要讲解在开发环境中编写SparkStreaming代码监控hdfs目录，实现实时wordCount计算。
先通过Java方式演示过程，并在文末提供Scala版本代码。一、环境准备1.启动Hadoop集群cd /usr/local/hadoop/hadoop-2.6.0/sbin/
./start-dfs.sh //通过http://master:50070（50070为默认端口）查看d
转载
2024-09-23 19:14:48
59阅读
场景 数据量两千万左右，数据列不固定，需要每天更新一次数据，使用MongoDB存储(其他存储可能更佳，此处不考虑)。数据使用方式： 通过_id检索 通过任意列（一列或多列）进行count查询 实现1：单表全量覆盖写入 spark任务每天全量写入MongoDB，并创建索引，数据写入耗时19分钟左右，构 ...
转载
2021-07-13 16:45:00
1124阅读
2评论
前面我们一直操作的是，通过一个文件来读取数据，这个里面不涉及数据相关的只是，今天我们来介绍一下spark操作中存放与读取 1.首先我们先介绍的是把数据存放进入mysql中，今天介绍的这个例子是我们前两篇介绍的统计IP的次数的一篇内容，最后的返回值类型是List((String,Int))类型的，其内容是为: 此时，我们只需要在写一个与数据库相连接，把数据放入里面即可，这个方法为data2M
转载
2024-04-27 17:39:30
33阅读
YL运维开发工程师，负责游戏系统配置管理平台的设计和开发，目前专注于新 CMDB 系统的开发，平时也关注运维自动化，DevOps，Python 开发等技术。背景CMDB 为了使用事务来存储机器的数据，启用了 mongodb4.0 版本，在平均 1.5k qps 并发写的情况下(这只是机器层面的数据，机器的里面有很多子资源的更新，每个子资源的更新会对应一个 mongodb 操作)，mongodb 一
转载
2023-08-01 12:00:13
190阅读
查询CK手册发现，即便对数据一致性支持最好的Mergetree，也只是保证最终一致性：我们在使用 ReplacingMergeTree、SummingMergeTree 这类表引擎的时候，会出现短暂数据不一致的情况。在某些对一致性非常敏感的场景，通常有以下几种解决方案。1、准备测试表和数据1、建表CREATE TABLE test_a(
user_id UInt64,
score Stri
转载
2023-11-27 11:15:37
866阅读
SparkSQL(Spark用于处理结构化数据的模块)通过SparkSQL导入的数据可以来自MySQL数据库、Json数据、Csv数据等，通过load这些数据可以对其做一系列计算下面通过程序代码来详细查看SparkSQL导入数据并写入到ES中：数据集：北京市PM2.5数据Spark版本：2.3.2Python版本：3.5.2mysql-connector-java-8.0.11 下载Elastic
转载
2023-06-26 15:27:46
111阅读
Spark 整合ElasticSearch因为做资料搜索用到了ElasticSearch，最近又了解一下 Spark ML，先来演示一个Spark 读取/写入 ElasticSearch 简单示例。(spark 读取ElasticSearch中数据)环境：IDEA2016，JDK8，windows10，安装的 ElasticSearch6.3.2 和 spark-2.3.1-bin-hadoop2
转载
2023-07-08 18:27:44
142阅读
# 从Java向MongoDB表写入数据的步骤
MongoDB是一个流行的NoSQL数据库，而Java是一种广泛使用的编程语言。在本文中，我们将介绍如何使用Java向MongoDB表写入一条新数据。
## 步骤一：准备工作
在开始之前，确保已经安装MongoDB和Java开发环境。同时，需要安装MongoDB的Java驱动程序。可以在官方网站上下载并添加到项目的依赖中。
## 步骤二：连接
原创
2024-02-25 05:56:01
81阅读
Spark介绍按照官方的定义，Spark 是一个通用，快速，适用于大规模数据的处理引擎。通用性：我们可以使用Spark SQL来执行常规分析， Spark Streaming 来流数据处理， 以及用Mlib来执行机器学习等。Java，python，scala及R语言的支持也是其通用性的表现之一。快速： 这个可能是Spark成功的最初原因之一，主要归功于其基于内存的运算方式。当需要处理的数据需要反复
转载
2023-06-19 05:48:49
508阅读
# MongoDB 数据写入
在MongoDB中，数据写入是非常重要的一个操作，也是使用MongoDB的基本功能之一。在这篇文章中，我们将介绍如何向MongoDB数据库中写入数据，并提供一些代码示例来帮助您更好地理解这个过程。
## MongoDB 数据写入流程
为了更好地理解MongoDB数据写入的流程，我们可以使用流程图来展示整个过程。下面是一个简单的MongoDB数据写入流程图：
`
原创
2024-07-04 05:00:03
108阅读
Redis的全称是Remote Dictionary Server，本质上是一个Key-Value类型的内存数据库，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据Flush到硬盘行保存。因为是纯内存操作，Redis的性能很出色，可每秒10w次读写，是已知性能最快的Key-Value DB。此外Redis支持保存多种数据结构，单个value的最大限制是1GB，可以用来实现很多有用
转载
2023-05-30 15:42:21
356阅读
# MongoDB写入数据
MongoDB是一个开源的文档型数据库，它以灵活的数据模型和强大的查询能力而受到广泛关注。本文将介绍如何使用MongoDB写入数据，并通过代码示例来演示。
## 什么是MongoDB
MongoDB是一个面向文档的数据库，它采用了BSON（Binary JSON）格式来存储数据。BSON是一种二进制表示形式，类似于JSON，但比JSON更高效。MongoDB支持动
原创
2023-10-14 14:38:25
134阅读
目录0. 相关文章链接1. 开发说明2. 环境构建2.1. 构建服务器环境2.2. 构建Maven项目3. Maven依赖4. 核心代码0. 相关文章链接数据湖 文章汇总1. 开发说明Apache Hudi最初是由Uber开发的，旨在以高效率实现低延迟的数据库访问。Hudi 提供了Hudi 表的概念，这些表支持CRUD操作，基于Spark框架使用Hudi API 进行读写操作。2. 环境构建2.1
转载
2023-10-18 22:36:25
163阅读
# Java向Excel写入数据
## 介绍
在实际开发中，我们经常需要将数据写入Excel文件中，以便进行数据分析、报表生成等操作。本文将介绍如何使用Java来实现将数据写入Excel文件的操作。
## 准备工作
在开始之前，我们需要确保以下几点：
1. **Java开发环境**：确保你已经安装了Java开发环境，并配置好了相关的环境变量。
2. **Apache POI库**：Ap
原创
2023-10-31 04:24:29
64阅读
