Hadoop是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。今天整理了一些关于hadoop相关概念的知识点，觉得文章有用的小伙伴可以直接收藏~Hadoop介绍：Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特
转载
2023-07-24 13:45:47
39阅读
Apache Oozie 是 Apache Hadoop 生态系统中的一个关键组件，它使得开发人员能够调度电子邮件通知方面的重复作业，或者调度使用 Java™、UNIX Shell、Apache Hive、Apache Pig 和 Apache Sqoop 等各种编程语言编写的重复作业。本文将介绍处理某些业务场景的框架的实际应用，还将谈论解
转载
2024-10-12 12:08:54
8阅读
该项目包括以下模块：1.Common(公共工具)支持其他Hadoop模块的公共工具。2.HDFS（Hadoop分布式文件系统）提供对应用程序数据的高吞吐量访问的分布式文件系统。3.Mapreduce（分布式计算框架，地图还原）一个基于纱线的大数据集并行处理系统。4.Yarn(分布式资源管理器，纱线）一个用于作业调度和集群资源管理的框架。Apache的其他与Hadoop相关的项目包括：1.Ambar
转载
2023-07-26 12:09:22
68阅读
设计模式在java中的运用读《java与模式》之一第 I 条 理解三种工
原创
2023-07-20 15:13:37
56阅读
在lua中“#”表示返回表长度或字符串长度 例子一： 结果： 例子二,对多维表的计算： th> tags={{1,2,3},{3,4,4}}th> #tags2 例子三，
转载
2016-12-08 19:38:00
190阅读
2评论
Mybatis源码解读-设计模式总结
转载
2021-08-06 11:02:44
137阅读
..连接两个字符串
转载
2016-12-08 19:43:00
170阅读
2评论
在写HiveQL的时候，往往发现内置函数不够用，Hive支持用户自定义函数UDF，使用Java进行开发。很多时候这显得过于繁重。因而Hive中提供了Transform机制（基于hadoop streaming），这种机制相当于提供了一个脚本程序的入口，因此我们可以很方便的使用shell、perl、python等语言进行开发。
Python是很简单易学开发效率也很高的一种脚
原创
2012-08-29 22:59:59
1777阅读
REST和认证 我们在设计REST(Representational State Transfer)风格的Web service API,有一个问题经常要考虑，就是如何设计用户认证的体系(Authentication). 比较传统的做法是首先有一个登陆的API，然后服务器返回一个session ID,后续的操作客户端都必须带上这个session ID，但是这样的，服务就变成了有状态了，不符合
Hotween与ITween曲线是一样的，只是前者在后者的基础上增加了一些曲线编辑的可视化界面以及在功能方面，使用者可以更能随心所欲的构建自己所想要的效果。
原创
2015-01-07 08:23:51
3559阅读
# 实现rowid在Hive中的运用
## 1. 流程图
```mermaid
flowchart TD
A[准备数据] --> B[创建表]
B --> C[导入数据]
C --> D[使用rowid]
```
## 2. 表格展示步骤
| 步骤 | 操作 |
| --- | --- |
| 1 | 准备数据 |
| 2 | 创建表 |
| 3 | 导入数据 |
| 4 | 使用rowi
原创
2023-10-27 04:30:00
129阅读
# JavaScript在PDF中的运用
在现代网页开发中，JavaScript不仅仅用于前端交互，它还可以与PDF文件进行互动，生成动态的PDF内容。本文将引导你了解如何使用JavaScript来处理PDF，包括生成、编辑和下载PDF文件。接下来，我们将按照以下流程进行：
| 步骤 | 描述 |
|------|------------
# apply在Python中的运用
在Python中， `apply()` 是一个非常有用的功能，常常用于数据处理和分析。尤其是在使用Pandas库时，`apply()` 方法为用户提供了对数据框中数据的灵活操作手段。本文将详细介绍 `apply()` 的基本用法，并提供代码示例。
## 什么是apply？
`apply()` 是一个用于对数据框或系列中的每一行或每一列执行特定操作的方法。
这个专题前面的三个指南，介绍了WWF编程了三个大方面：顺序工作流、状态机工作流和自定义活动。相信大家对WWF的编程模型已经有了一个初步的了解。从这次开始，我们就要深入WWF，全面的探究一下WWF。传统的编程语言是针对短期运行应用程序的，缺乏持久化和抗中断的功能支持。WWF是一个框架，不是一种语言。他对工作流应用程序有深刻的认识，提供了各种手段来处理持久化，中断补偿，故障恢复等功能。WWF同时具有灵
虽然我们都知道有23个设计模式，但是大多停留在概念层面，真实开发中很少遇到。Mybatis源码中使用了大量的设计模式，阅读源码并观察设计模式在其中的应用，能够更深入的理解设计模式。Mybatis至少遇到了以下的设计模式的使用：1、Builder模式，例如SqlSessionFactoryBuilde ...
转载
2021-08-17 20:45:00
254阅读
2评论
虽然我们都知道有23个设计模式，但是大多停留在概念层面，真实开发中很少遇到。Mybatis源码中使用了大量的设计模式，阅读源码并观察设计模式在其中的应用，能够更深入的理解设计模式。Mybatis至少遇到了以下的设计模式的使用：1、Builder模式，例如SqlSessionFactoryBuilde ...
转载
2021-08-17 20:45:00
48阅读
2评论
实现方式：Spring中的BeanFactory就是简单工厂模式的体现，根据传入一个唯一的标识来获得Bean对象，但是否是在传入参
转载
2023-03-15 00:16:12
12阅读
设计模式是软件开发中的重要概念，它提供了一种可复用的解决方案，帮助开发者解决常见的问题，并促进代码的灵活性和可维护性。本文将深入探讨设计模式在Java开发中的运用，并通过实例分析来演示设计模式的实际应用。一、什么是设计模式？设计模式是一种被广泛应用于软件工程的解决方案，它描述了在特定上下文中面对具体问题时的可复用解决方案。设计模式在不同的情况下，提供了经过验证和可行的代码结构和方法。二、常见的设计
原创
2023-09-28 09:56:38
78阅读
写在前面，该篇博文为我在部门的技术分享，分享时长约40分钟。以至于文章中更
原创
2023-01-18 22:09:11
141阅读
非常慢，而它们可以让你在查询许多数据条目时，很快地找到一个特殊的条目。
转载
2023-07-20 15:22:58
103阅读
