上班之余抽点时间出来写写博文，希望对新接触的朋友有帮助。明天在这里和
转载
2013-06-22 22:12:00
228阅读
2评论
实际场景运用Netty实现业务分离（类似于Controller的url）通过自定义注解的方
原创
2023-03-08 10:24:39
128阅读
git 更新本地仓库1.查看远程仓库git remote -v2.从远程获取最新版本到本地git fetch origin master:temp3.比较本地的仓库与远程仓库的区别git d
原创
2022-05-30 19:29:28
169阅读
在Java开发中，处理线程安全的问题是一个常见且重要的场景。特别是当多个线程并发访问共享资源时，如何确保程序的正确性和一致性就显得至关重要。在这篇博文中，我将深入探讨如何在实际场景中使用Java的`synchronized`关键字来解决这一问题，并且按照系统的过程记录下来。
### 环境准备
为了演示使用`synchronized`的实际案例，我的开发环境如下：
- **Java Devel
什么是Fork/Join框架 Fork/Join框架是Java7提供了的一个用于并行执行任务的框架， 是一个把大任务分割成若干个小任务，最终汇总每个小任务结果后得到大任务结果的框架。 我们再通过Fork和Join这两个单词来理解下Fork/Join框架，Fork就是把一个大任务切
转载
2023-07-13 22:27:02
96阅读
其实我们要知道大数据的实质特性：针对增量中海量的结构化，非结构化，半结构数据，在这种情况下，如何快速反复计算挖掘出高效益的市场数据？带着这个问题渗透到业务中去分析，就知道hadoop需要应用到什么业务场景了！！！如果关系型数据库都能应付的工作还需要hadoop吗？比如1.银行的信用卡业务，当你正在刷卡完一笔消费的那一瞬间，假如在你当天消费基础上再消费满某个额度，你就可以免费获得某种令你非常满意的利
转载
2024-01-23 23:52:36
0阅读
我个人接触hadoop仅仅不到一年，因为是业余时间学习，故进度较慢，看过好多视频，买过好多书，学过基本知识，搭建过伪分布式集群，有过简单的教程式开发，恰逢毕业季，面试过相关岗位，自认为路还很远，还需一步一步积累。今天总结一篇关于hadoop应用场景的文章，自认为这是学习hadoop的第一步，本文主要解答这几个问题：hadoop的十大应用场景？hadoop到底能做什么？2012年美国著名科技博客Gi
转载
2023-05-31 16:18:15
135阅读
文章目录1.QJM剖析2.SSH互相信任关系和hosts文件配置3.JDK的部署4.关闭防火墙5.Zookeeper部署及定位6.hdfs&yarn HA部署7.web界面访问 1.QJM剖析任意时刻只能有一个nn（active状态）去写，nn standby 读 jn部署台数是奇数2n+1，active nn把编辑日志写到jn，要求至少 n/2+1台jn是好的。 如果有3台jn，三台都
转载
2024-01-03 12:13:43
80阅读
一、简介BeanFactoryPostProcessor接口与 BeanPostProcessor接口类似,可以对bean的定义(配置元数据)进行处理；也就是spring ioc运行BeanFactoryPostProcessor在容器实例化任何其他的bean之前读取配置元数据,并有可能修改它；如果业务需要，可以配置多个BeanFactoryPostProcessor的实现类，通过"order"控
# 面试实际场景题 JAVA 实现指南
## 目录
- [引言](#引言)
- [整体流程](#整体流程)
- [步骤详解](#步骤详解)
- [步骤一：理解需求](#步骤一理解需求)
- [步骤二：设计数据模型](#步骤二设计数据模型)
- [步骤三：实现业务逻辑](#步骤三实现业务逻辑)
- [步骤四：编写测试用例](#步骤四编写测试用例)
- [步骤五：调试和优化](
原创
2023-12-10 04:09:00
108阅读
# 如何获取Hadoop实际存储占用
## 概述
Hadoop是一个分布式存储和处理框架，能够高效地处理大规模的数据集。在使用Hadoop时，了解数据在集群中实际占用的存储空间非常重要。本文将引导你逐步实现“Hadoop实际存储占用”的计算，并展示相关代码和流程。
### 实现流程
以下是获取Hadoop实际存储占用的主要流程：
| 步骤 | 描述
原创
2024-08-18 07:25:13
42阅读
上班之余抽点时间出来写写博文，希望对新接触的朋友有帮助。明天在这里和大家一起学习一下hadoop数据 Hadoop在淘宝和支付宝的应用从09年开始，用于对海量数据的离线处置，例如对日志的分析，也涉及内容部分，结构化数据等。应用Hadoop重要基于可扩展性的斟酌，规模从当初的3-4百节点增长到明天单一集群3000节点以上，2-3个集群，支付宝的集群规模也
<span style="font-size:18px;"><?php //当你从MySQL数据库中取出一个值的时候把它存到memcache里面， 能后下次再来查询的时候直接走memcache不用查库，进而减少了对数据库的负载 $mem=new Memcache; $mem->connect("localhost", 11211);...
原创
2014-07-23 16:04:44
77阅读
使用线程的实际场景开启一个字处理软件进程，该进程肯定需要办不止一件事情，比如监听键盘输入，处理文字，定时自动将文字保存到硬盘，这三个任务操作的都是同一块数据，因而不能用多进程。只能在一个进程里并发地开启三个线程，如果是单线程，那就只能是，键盘输入时，不能处理文字和自动保存，自动保存时又不能输入和处理文字。...
原创
2021-05-20 17:44:50
163阅读
int和Integer的区别int是java的基本数据类型，Integer是int对应的一个包装类，用于把int封装成一个对象；int不可以为null，Intenger可以为null；他俩之间可以通过装箱和拆箱进行转换；int 是不可变的，Intenger是可变的；int的性能一般比Intenger好；Stringbuffer和Stringbuilder的区别Stringbuffer是线程安全的，
需求：AB两台日志服务器实时生产日志主要类型为access.log、nginx.log、web.log，现在要求：把A、B机器中的access.log、nginx.log、web.log采集汇总到C机器上然后统一收集到hdfs中，但是在hdfs中要求的目录为：  /source/logs/access/日期/**  /source/logs/nginx/日期
原创
2019-01-17 14:03:48
647阅读
面向对象编程(OOP)1、初识面向对象JAVA的核心思想就是OOP。1.1、面向过程和面向对象：面向过程思想：(线性思维)分析第一步、第二步…适合处理简单的事情。面向对象思想：物以类聚，分类的思维，先考虑怎么分类，对每个分类进行单独思考，对分类的细节做面向过程的考虑。适合处理复杂的问题，多人协作的问题。面向对象的本质就是：以类的方式组织代码，以对象的组织(封装)数据。面向过程是具体的，面向对象是抽
ZooKeeper被越来越广泛地应用在大型分布式系统中，比如Hadoop、HBase和Kafka等。以下主要介绍一个ZooKeeper在Hadoop和Kafka中的应用。一、Hadoop1、ZooKeeper在Hadoop是什么作用？在Hadoop中，ZooKeeper主要用于实现HA（High Availability），这部分逻辑主要集中在Hadoop Common的HA模块中，HDFS的Na
转载
2023-09-20 12:33:24
67阅读
生产环境中，如何对 Hadoop 集群进行 Benchmark Test？如何进行服务所需的机器选型？如何快速对比出不同集群的性能？本文将通过 Hadoop 自带的 Benchmark 测试程序：TestDFSIO 和 TeraSort，简单介绍如何进行 Hadoop 的读写 & 计算性能的压测。（本文使用 2.6.0 的 hadoop 版本进行测试，基准测试被打包在测试程序 JAR 文件
转载
2023-07-24 13:46:58
224阅读
谁在用 Hadoop这是个问题。在大数据背景下，Apache Hadoop已经逐渐成为一种标签性，业界对于这一开源分布式技术的了解也在不断加深。但谁才是 Hadoop的最大用户呢？首先想到的当然是它的“发源地”,像Google这样的大型互联网搜索引擎，以及Yahoo专门的广告分析系统。也许你会认为， Hadoop平台发挥作用的领域是互联网行业，用来改善分析性能并提高扩展性。其实 Hadoop的应用
转载
2023-08-04 20:30:35
0阅读
