Hadoop核心组件1.Hadoop通用组件 — Hadoop Common
包含了其他hadoop模块要用到的库文件和工具
2.分布式文件系统 — Hadoop Distributed File System(HDFS)
运行于通用硬件上的分布式文件系统，高吞吐，高可靠
3.资源管理组件 — Hadoop YARN
于2012年引入的组件，用于管理集群中的计算资源并在这些资源上调度用户应用
转载
2024-07-26 11:18:37
28阅读
1.概述 为什么这份文档里面我们要安装这么多集群呢？我这里大至说一下原因，TIDB4.0我们主要是用于存储大量数据用的，也就是永久化存储，而Spark是面向内存的。这使得Spark能够为多个不同数据源的数据提供近乎实时的处理计算性能，适用于需要多次操作特定数据集的应用场景。进行我们想要的离线计算，然后生成报表再回写到TIDB之中。2.安装TIDB生成环境硬件要求 组件CPU内
转载
2024-01-16 18:06:21
56阅读
背景TiDB 的一键水平伸缩特性，帮助用户告别了分库分表查询和运维带来的复杂度，但是在从分库分表方案切换到 TiDB 的过程中，这个复杂度转移到了数据迁移流程里。TiDB DM 工具为用户提供了分库分表合并迁移功能。本篇文章将介绍 DM 核心处理单元 Sync，内容包含 binlog 读取、过滤、路由、转换，优化以及执行等逻辑。本文仅描述 DML 的处理逻辑，DDL 相关内容可参考《DM 分库分表
转载
2024-09-01 16:29:57
127阅读
1、TiDB 介绍1.1 TiDB 介绍1.1.1 TiDB 是什么？TiDB 是一个分布式 NewSQL 数据库。它支持水平弹性扩展、ACID 事务、标准 SQL、MySQL 语法和 MySQL 协议，具有数据强一致的高可用特性，是一个不仅适合 OLTP 场景（on-line transaction processing，联机事务处理）还适合 OLAP 场景（On-Line Analytical
转载
2024-01-06 09:26:22
101阅读
# Kafka接入Hadoop：流数据与大数据的结合
随着大数据技术的发展，数据流的处理和存储成为了企业数据架构中不可或缺的一部分。Apache Kafka作为一个分布式流处理平台，能够有效地处理高吞吐量的实时数据流。而Hadoop则是一个强大的大数据存储与处理框架。本文将探讨如何将Kafka接入Hadoop，为数据流处理和存储搭建一个流畅的系统。
## 1. Kafka与Hadoop的概述
原创
2024-09-10 04:02:39
134阅读
# 从零开始学习Hadoop Java接入
在大数据处理领域，Hadoop是一个非常流行的开源框架，用于存储和处理大规模数据集。与此同时，Java作为一种流行的编程语言，也被广泛用于Hadoop开发中。本文将介绍如何使用Java接入Hadoop，以便于处理大规模数据。
## 准备工作
在开始之前，我们需要准备以下工作：
1. 安装Hadoop集群
2. 安装Java开发环境
3. 配置Ha
原创
2024-04-03 04:59:39
32阅读
使用场景TiDB 是 PingCAP 公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理(OLTP)与在线分析处理 (HTAP) 的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性，支持在本地和云上部署。OLTP：在线事务处理
转载
2023-12-15 21:54:11
76阅读
导读本文介绍了某国有大行推出的本地生活服务类 APP 在数字时代的创新应用实践。该 APP 利用金融科技和互联网平台模式，打造“金融+非金融”的线上生态服务平台，满足了用户多样化的生活需求。为应对用户增长和数据量增加带来的挑战，该 APP 决定采用新一代 HTAP 数据库 TiDB 替换原系统中的 Oracle RAC，以提升整个系统的处理能力、扩展能力和服务能力。 文章介绍了 TiDB
转载
2024-09-09 18:20:48
66阅读
# TiDB 可以替代 Hadoop 吗？
在现代数据处理领域，TiDB 和 Hadoop 都是重要的工具，但它们的功能和用途有显著的差别。TiDB 是一个分布式关系数据库，而 Hadoop 是一个大数据处理框架。接下来，我将指导你了解如何评估 TiDB 是否可以作为 Hadoop 的替代。以下是整个过程的步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 理解
Sqoop：sqoop在hadoop生态系统中也是应用率比较高的软件，主要是用来做ETL工具，由yadoo研发并提交给Apache。Hadoop整个生态圈里面，大部分的应用都是Yadoo研发的，贡献非常大。Yahoo里面出来两拨人，分别组建了Cloudera和Hortonworks。所谓ETL，就是数据的抽取(extract)加载(load)转换(transform)。将一种格式或表现形式的数据，
转载
2023-12-05 09:22:18
79阅读
Spring Batch是一个轻量级的、完善的批处理框架，作为Spring体系中的一员，它拥有灵活、方便、生产可用的特点。在应对高效处理大量信息、定时处理大量数据等场景十分简便。结合调度框架能更大地发挥Spring Batch的作用一、Spring Batch的概念知识1.1、分层架构Spring Batch的分层架构图如下：可以看到它分为三层，分别是：Application应用层：包含了所有任务
转载
2023-11-30 22:44:42
52阅读
正文log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=m
# Python 如何接入 Hadoop：解决大数据处理问题
随着大数据技术的快速发展，Hadoop作为一种开源的分布式计算框架，已被广泛应用于数据存储和处理领域。Python是一种简单易用的编程语言，它的灵活性和强大的数据处理能力使其成为与Hadoop进行交互的良好选择。那么，如何将Python与Hadoop相结合，以高效地处理海量数据呢？下面，我们将通过一个具体的案例来探讨这一问题。
##
原创
2024-10-21 05:28:48
120阅读
想让自建Hadoop拥有流畅的云端访问体验？想替老板省点钱？是时候升级你的装备了！百度智能云对象存储服务BOS新推出BOS HDFS工具，支持HDFS数据在BOS中的海量存储，并能在上层数据运算中使用HDFS标准接口来对数据以进行访问和读写，可有效解决自建HDFS数据的高运维成本和低可扩展性问题，让你的Hadoop分布式文件系统发挥最大性能。HDFS面临瓶颈有哪些？ 首先，来了解一下问题的根源
启动一台虚拟机 centos7安装好yum源先下载一个centos7镜像作为基础镜像docker pull docker.io/ansible/centos7-ansible运行该镜像docker run -tid --name hadoop_cluster_1 --privileged=true -t docker.io/ansible/centos7-ansible /usr/sbin/ini
转载
2023-08-04 14:04:51
88阅读
本文介绍集群的访问。集群的访问方式有两种：hadoop客户端访问，Java API访问。一、集群客户端访问 Hadoop采用C/S架构，可以通过客户端对集群进行操作，其实在前面搭建的集群环境中，每个集群节点都可以作为一个客户端进行集群访问，但是一般场景下，会将集群服务器作为整体，从外部设置客户端对集群进行访问。 为了能从集群服务器外部访问，需要一台与集群服务器在同一网段的主机（可以与集群节点P
转载
2023-07-12 13:31:24
661阅读
一年一度的 TiDB Hackathon 终于落下了帷幕，这次 Hackathon 分成了两条赛道，产品组和应用组，我做为产品组的决赛评委，全程参与了整个决赛 32 个项目的答辩，见到了很多有意思的项目，这里也不负责任地点评一下了。 本文作者 ：唐刘，PingCAP 研发副总裁。
我最喜欢的三个项目 既然是我的不负责的点评，首先就先来一点私货，先说说我最喜欢的三个
在当今大数据处理的领域，Apache Spark 已成为一个热门的计算框架，但在使用过程中，有一个常见的问题即“Spark 必须接入 Hadoop 吗？”本文将围绕该问题，从环境准备、集成步骤、配置详解、实战应用、排错指南到生态扩展进行全面的探讨和记录。
## 环境准备
为了构建一个兼容的 Spark 环境，我们需要确认 Spark 与 Hadoop 之间的版本兼容性。
| 组件 | 最
结论先说结论。最后问题解决了。终于能在windows的eclipse上通过执行wordcount类，然后将某个文档内容处理后，将结果传到远程服务器的hadoop的某个文件夹下了。当时的环境我已经在linux服务器上安装了分布式的hadoop环境，一namenode两datanode。而且已经在linux服务器上测试过hadoop2.8自带的wordcount的jar的运行。可以正常运行并得到结果
转载
2023-12-18 11:48:34
143阅读
################## ###################
原创
2022-08-02 17:36:02
175阅读
