Spring Batch是一个轻量级的、完善的批处理框架，作为Spring体系中的一员，它拥有灵活、方便、生产可用的特点。在应对高效处理大量信息、定时处理大量数据等场景十分简便。结合调度框架能更大地发挥Spring Batch的作用一、Spring Batch的概念知识1.1、分层架构Spring Batch的分层架构图如下：可以看到它分为三层，分别是：Application应用层：包含了所有任务
转载
2023-11-30 22:44:42
52阅读
# 从零开始学习Hadoop Java接入
在大数据处理领域，Hadoop是一个非常流行的开源框架，用于存储和处理大规模数据集。与此同时，Java作为一种流行的编程语言，也被广泛用于Hadoop开发中。本文将介绍如何使用Java接入Hadoop，以便于处理大规模数据。
## 准备工作
在开始之前，我们需要准备以下工作：
1. 安装Hadoop集群
2. 安装Java开发环境
3. 配置Ha
原创
2024-04-03 04:59:39
32阅读
Hadoop核心组件1.Hadoop通用组件 — Hadoop Common
包含了其他hadoop模块要用到的库文件和工具
2.分布式文件系统 — Hadoop Distributed File System(HDFS)
运行于通用硬件上的分布式文件系统，高吞吐，高可靠
3.资源管理组件 — Hadoop YARN
于2012年引入的组件，用于管理集群中的计算资源并在这些资源上调度用户应用
转载
2024-07-26 11:18:37
28阅读
# Kafka接入Hadoop：流数据与大数据的结合
随着大数据技术的发展，数据流的处理和存储成为了企业数据架构中不可或缺的一部分。Apache Kafka作为一个分布式流处理平台，能够有效地处理高吞吐量的实时数据流。而Hadoop则是一个强大的大数据存储与处理框架。本文将探讨如何将Kafka接入Hadoop，为数据流处理和存储搭建一个流畅的系统。
## 1. Kafka与Hadoop的概述
原创
2024-09-10 04:02:39
134阅读
正文log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=m
# Python 如何接入 Hadoop：解决大数据处理问题
随着大数据技术的快速发展，Hadoop作为一种开源的分布式计算框架，已被广泛应用于数据存储和处理领域。Python是一种简单易用的编程语言，它的灵活性和强大的数据处理能力使其成为与Hadoop进行交互的良好选择。那么，如何将Python与Hadoop相结合，以高效地处理海量数据呢？下面，我们将通过一个具体的案例来探讨这一问题。
##
原创
2024-10-21 05:28:48
120阅读
想让自建Hadoop拥有流畅的云端访问体验？想替老板省点钱？是时候升级你的装备了！百度智能云对象存储服务BOS新推出BOS HDFS工具，支持HDFS数据在BOS中的海量存储，并能在上层数据运算中使用HDFS标准接口来对数据以进行访问和读写，可有效解决自建HDFS数据的高运维成本和低可扩展性问题，让你的Hadoop分布式文件系统发挥最大性能。HDFS面临瓶颈有哪些？ 首先，来了解一下问题的根源
本文介绍集群的访问。集群的访问方式有两种：hadoop客户端访问，Java API访问。一、集群客户端访问 Hadoop采用C/S架构，可以通过客户端对集群进行操作，其实在前面搭建的集群环境中，每个集群节点都可以作为一个客户端进行集群访问，但是一般场景下，会将集群服务器作为整体，从外部设置客户端对集群进行访问。 为了能从集群服务器外部访问，需要一台与集群服务器在同一网段的主机（可以与集群节点P
转载
2023-07-12 13:31:24
661阅读
springmvc的核心的代码就是DispatcherServlet，作用就是负责接收请求和转发请求 先看一下DispatcherServlet的类图 从图中可以看到，最终继承的是HttpServlet, 既然是servlet，那么就必然后走HttpServlet的service方法， 这个service方法里会判断，请求是get,还是post等等，如果是get请求，就会走this.doGet，
转载
2024-09-03 22:52:12
33阅读
Zuul解决的问题作为系统的统一入口，屏蔽了系统内部各个微服务的细节可以与微服务治理框架结合，实现自动化的服务实例维护以及负载均衡的路由转发实现接口权限校验与微服务业务逻辑的解耦搭建Zuul服务zuul maven依赖<dependency>
<groupId>org.springframework.cloud</groupId>
详解Servlet Servlet是Server+Applet的缩写，表示一个服务器应用。通过上面的分析我们知道Servlet其实就是一套规范，我们按照这套规范写的代码就可以直接在Java的服务器上面运行。Servlet3.1中Servlet的结构如图6-1所示。1 Servlet接口 既然Servlet是一套规范，那么最重要的当然就是接口了。Servlet3.1中Servlet的接口定义如下：/
概述自从开始接触 Spring 之后，一直以来都在思考一个问题，在 Spring 应用的运行过程中，为什么这些 bean 不会被回收？ 今天深入探究了这个问题之后，才有了答案。思考点大家都知道，一个 bean 会不会被回收，取决于对象存活判定算法。在 JVM 底层中使用的是可达性分析算法，抛开 HotSpot 的实现细节不谈，那么一个对象被判定为死亡，应该与 GC Root 不存在可达的引用路径。
转载
2024-10-12 08:08:45
23阅读
任务调度的背景 在业务系统中有很多这样的场景：账单日或者还款日上午 10 点，给每个信用卡客户发送账单通知，还款通知。如何判断客户的账单日、还款日，完成通知的发送？银行业务系统，夜间要完成跑批的一系列流程，清理数据，下载文件，解析文件，对账清算、切换结算日期等等。如何触发一系列流程的执行？金融机构跟人民银行二代支付系统对接，人民银行要求低于 5W 的金额（小额支付）半个小时打一次包发送，以缓解并
文章目录springboot集成SwaggerSwagger注解的使用，让接口页面看到对应的描述 首先，我们要知道swagger和postman的作用就是 校验接口的有效性。 我们再这里讲解以下swagger，swagger是： 依赖内嵌在项目中的一款在线文档测试工具； 让手写的word文档的工作交给swagger。 springboot集成Swagger第一步：依赖添加<!-- Sw
继上一篇博客，我们继续来分析下面示例的 Spring 静态代理源码实现。静态 AOP使用示例 加载时织入（Load -Time WEaving,LTW） 指的是在虚拟机载入字节码时动态织入 AspectJ切面，
转账事务控制分析<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:context="http://www.s
背景：这个也是之前面试中发现一个短板很多后端概念分不清楚，这次准备系统学习弥补一下不足。我这次想法还是根据项目中遇到问题通过查阅然后做个总结，想做个spring一个系列，也会把查阅的博客地址标注到下面。首先说下spring的ioc，ioc是控制反转把获取实例交给框架，我理解主要解决java中经常new一个对象的问题。主要的途径就是bean。我们qa项目主要通过xml文件的形式。现简单说下qa后端项
Redis大家都耳熟能详，怎么使用我没太多发言权，14年就接触使用了redis，当时作为一个小菜鸟，沿用公司封装的redis做了一个redis定义规划使用，4年后当重新来看redis的时候，发现自己还是一知半解，结合网上的资料，总算是可以用了，但是个人觉得问题还诸多，先记录一下吧。 &nbs
转载
2024-10-19 21:30:34
75阅读
一、Spring MVC 的数据转换和格式化 前面的应用，都只是用HandlerAdapter去执行处理器。 处理器和控制器不是一个概念，处理器是在控制器功能的基础上加上了一层包装，有了这层包装，在HTTP请求达到控制器之前它就能够对HTTP的各类消息进行处理。 首先当一个请求到达 DispatcherServlet 的时候，需要找到对应的HandlerMapping，然后根据 Ha
转载
2024-09-27 17:06:54
71阅读
一年一度的 TiDB Hackathon 终于落下了帷幕，这次 Hackathon 分成了两条赛道，产品组和应用组，我做为产品组的决赛评委，全程参与了整个决赛 32 个项目的答辩，见到了很多有意思的项目，这里也不负责任地点评一下了。 本文作者 ：唐刘，PingCAP 研发副总裁。
我最喜欢的三个项目 既然是我的不负责的点评，首先就先来一点私货，先说说我最喜欢的三个
