Hadoop是对大数据集进行分布式计算的标准工具，这也是为什么当你穿过机场时能看到”大数据(Big Data)”广告的原因。它已经成为大数据的操作系统，提供了包括工具和技巧在内的丰富生态系统，允许使用相对便宜的商业硬件集群进行超级计算机级别的计算。2003和2004年，两个来自Google的观点使Hadoop成为可能：一个分布式存储框架(Google文件系统)，在Hadoop中被实现为HDFS；一
Arthas（阿尔萨斯） 是 Alibaba开源的一款 Java在线诊断工具，能够分析，诊断，定位Java应用问题，例如：JVM信息，线程信息，搜索类中的方法，跟踪代码执行，观测方法的入参和返回参数等等。并能在不修改应用代码的情况下，对业务问题进行诊断，包括查看方法的出入参，异常，监测方法执行耗时，类加载信息等，大大提升线上问题排查效率。简单的话：就是再不重启应用的情况下达到排查问题的目的。当遇到
转载
2024-01-18 19:07:53
97阅读
在现代数据处理的场景中，Apache Spark 提供了强大而灵活的功能来处理大规模数据。然而，用户常常问“Spark能子查询么”这个问题。本文将深入探讨如何在 Spark 中实现子查询，并记录笔者的整理过程。
## 环境配置
为了能够成功运行 Spark 子查询，我们首先需要配置适当的环境。以下是我配置 Spark 的步骤：
1. 安装 Java JDK
2. 下载并解压 Spark
3.
Django+xadmin 打造线上教育平台 一、关于静态文件配置1）在一开始设计表类型结构时，有部分表字段定义的是文件或图片类型，会有一个上传路径，如： 上传路径upload_to：org/%Y/%m是个相对路径，意思是上传到后台的图片/文件，放到org文件夹/Y（年份）文件夹/m文件夹下 ， 但绝对路径没给，不知道具体放的实际位置是哪，这个时候需要在django中配置静态文件的处理方
转载
2024-07-08 15:18:30
23阅读
# Spark UDF函数与Spark Session的封装
Apache Spark 是一个强大的分布式数据处理框架，而用户定义函数（UDF）是 Spark 允许用户在 SQL 查询和数据帧操作中定义自定义操作的重要特性。本文将探讨 Spark UDF 函数的封装如何与 Spark Session 结合使用，我们将通过代码示例和简要的图示来说明这一过程。
## 1. Spark Sessio
原创
2024-09-14 05:49:01
39阅读
# Java线上DEBUG指南
## 简介
在开发过程中，我们经常需要调试程序以解决bug。在开发环境中，我们可以使用IDE工具进行调试，但在线上环境中，我们无法直接连接到运行的服务器进行调试。本文将介绍如何在Java线上环境中进行DEBUG，以帮助刚入行的开发者解决问题。
## 流程概述
下面是在Java线上环境中进行DEBUG的基本流程：
```mermaid
pie
title DEB
原创
2023-10-02 12:13:39
186阅读
# 如何实现Java线上调试
Java线上调试是一项复杂的工作，但对于质量保证和问题排查非常重要。本文将指导你如何进行线上调试，并为你提供一个详细的流程，帮助你在项目中应用。
## 线上调试的流程
| 步骤 | 描述 |
|------|--------------------------------|
| 1 | 在应用服务器上启用
1 Master启动流程1、在start-master.sh脚本中调用Mater.scala中的main方法 2、在main方法中封装spark参数，并调用startRpcEnvAndEndpoint（）创建RpcEnv 3、在startRpcEnvAndEndpoint中创建RpcEnv（AkkaSystem），创建masterEndPoint（actor），new Master（），实例化
Actions算子是Spark算子的一类，这一类算子会触发SparkContext提交job作业。下面介绍常用的Spark支持的actions。1. reduce(func) 使用函数func（两个输入参数，返回一个值）对数据集中的元素做聚集操作。函数func必须是可交换的（我理解的就是两个参数互换位置对结果不影响），并且是相关联的，从而能够正确的进行并行计算。>>> data
转载
2023-09-03 19:40:56
70阅读
# Java线上Debug的实现指南
在Java的开发过程中，尤其是当我们需要调试线上应用时，确保系统的稳定性与性能是至关重要的。本文将指导你如何在Java应用程序中实现线上调试，包括具体的步骤和代码示例，帮助你顺利地完成这一任务。
## 一、整体流程
首先，我们来看看实现线上调试的整体流程：
```mermaid
flowchart TD
A[启动Java应用] --> B[设置
原创
2024-08-31 09:33:49
142阅读
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂 【第8期互动问答分享】 Q1:spark线上用什么版本好？建议从最低使用的Spark 1.0.0版本，Spark在1.0.0开始核心API已经稳定；从功能的角度考虑使用最新版本的Spark 1.0.2也是非常好的，Spark 1.0.2在Spark 1.0.1的基础上做了非常多的改进；Spark 1.0.2改进参考
转载
2023-11-29 15:34:55
47阅读
# Java 服务线上 Debug 指南
在软件开发过程中，线上调试是一项非常重要的技能，尤其是在处理生产环境中的错误时。本文将为刚入行的小白开发者详细介绍如何实现 Java 服务的线上调试，提供具体流程和代码示例。
## 流程概述
以下是实现 Java 服务线上调试的基本步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 准备生产环境的应用 |
| 2
# SQL Server线上调试详解
SQL Server是微软公司开发的一款关系数据库管理系统，广泛应用于企业级应用程序中。调试SQL Server中的代码是非常重要的步骤，尤其在生产环境中，任何错误都可能导致数据损失或性能问题。本文将深入探讨SQL Server的线上调试方法，提供实用的代码示例，并通过数据可视化工具增强理解。
## 1. 什么是SQL Server线上调试？
线上调试是
前言Java 语言是当前互联网应用最为广泛的语言，作为一名程序猿掌握 Java 服务线上问题排查思路并能够熟练排查问题常用工具/命令/平台是每一个 Java 程序猿进阶必须掌握的实战技能。常见问题总的来说线上问题可以分为两大类：系统异常、业务异常。系统异常不外乎，CPU、内存、磁盘、网络四个方面，例如常见问题CPU使用率峰值突然飙高、内存溢出、磁盘满了、网络流量异常、带宽满了等。一般我们采用排除法
转载
2023-10-25 06:55:35
77阅读
# Android Debug线上小程序
