1、Java下Spark开发环境搭建1.1、jdk安装安装oracle下的jdk，我安装的是jdk 1.7，安装完新建系统环境变量JAVA_HOME，变量值为“C:\ProgramFiles\Java\jdk1.7.0_79”，视自己安装路劲而定。同时在系统变量Path下添加C:\Program Files\Java\jdk1.7.0_79\bin和C:\ProgramFiles\Java\jre
转载
2024-02-08 22:15:46
280阅读
1、接口的转换（向下）子类对向和父类对象可以进行类型转化。接口也一样可以。package com.test;
// 接口Animal
public interface Animal {
void bark(); //等价于public abstract void bark();
void move(); //等价于public abstract void move();
}
转载
2024-09-25 14:20:51
23阅读
###概述Spark是一个基于内存的用于处理、分析大数据的集群计算框架。###Spark组件 以上为Spark软件栈图Spark项目包括多个紧密集成的组件，紧密集成的优点则体现在：如果Spark底层优化了，基于Spark底层的组件也将得到相应优化节省了各个组件组合使用时的部署、测试等时间向Spark增加新组件时，其它组件都可立刻享用Spark Core： 是Spark生态系统的基础，为其它的高级组
转载
2024-05-15 22:03:43
144阅读
OverviewSpark中的第二个抽象是可用于并行操作的共享变量。默认情况下，当Spark作为不同节点上的一组任务并行运行函数时，它将函数中使用的每个变量的副本发送给每个任务。有时候，需要在任务之间或任务和驱动程序之间共享变量。Spark支持两种类型的共享变量:广播变量(可以用于在所有节点的内存中缓存值)和累加器(仅“添加”到其中的变量，如计数器和和)。Linking with Spark在Sp
一、Spark入门1、官网（http://spark.apache.org/docs/2.2.2/）2、Spark产生的背景MapReduce局限性： 1）繁杂只有map/reduce两个算子mapjoin只有map，没有reduce测试麻烦2）效率低进程级别：MapTask ReduceTaskIO：chain 网络+磁盘排序：面试题：key类型是实现什么接口？Memory：有些的内存操作3）不
转载
2024-01-16 07:31:17
4483阅读
目录流动的 WordCount——Window操作&Watermark用户个人信息关联视频互动信息流——批数据关联流数据视频流关联互动流——流数据关联流数据cpu 内存数据上报定时取平均值——kafka+SparkStreaming 组合在spark 经典demo 的 scala 和 java 实现 的基础上补上针对 SparkStreming的经典 demo，这里只写 java
概述本文讲述通过spark加载各种形式的数据并形成rdd的各种方式。加载数据到rdd的多种方式可以有多种方式把数据加载到rdd中。如下：并行化集合-parallelize函数介绍创建rdd的最简单的方式就是并行化(parallelize)数据集，也就是说把一个对象集合转换为可以并行操作的分布式数据集。在SparkContext中有一个函数parallelize，可以把一般的对象集合转换成一个RDD
转载
2023-11-19 07:56:58
44阅读
### 使用gRPC搭建Java服务
gRPC是一个高性能、开源的远程过程调用（RPC）框架，它支持多种编程语言，并且基于HTTP/2协议进行通信，以提供更高效的数据传输。在Java中使用gRPC可以帮助我们快速构建分布式系统，实现服务之间的通信。
#### 准备工作
首先，我们需要在项目中引入gRPC的相关依赖。在`pom.xml`文件中加入以下依赖：
```xml
io.grp
原创
2024-06-14 05:00:05
69阅读
本文针对于qiniu的javaSDK使用教程进行编写并测试，仅测试部分功能。1，因为最近要用到cdn，正好之前注册过七牛，所以研究了一下。2，使用前提：七牛账户。3，七牛的开发者中心提供了非常详细的api文档，具体请参考Java SDK使用指南4，下载相关包qiniu-java-sdk-7、Google Gson 、okhttp (JDK1.7 及以上) 、okio (JDK1
转载
2024-05-23 11:40:46
22阅读
一、前言如果你对redis还不太了解的话可以翻看这篇文章，讲解的非常详细！！！二、下载Jedis的jar包1. 什么是JedisJedis是一款java操作redis数据库的工具.2. 下载步骤1. 官网下载链接：Maven Repository: redis.clients » jedis (mvnrepository.com)https://mvnrepository.com/artifact
转载
2023-06-06 11:30:17
85阅读
一共分为二十个部分：环境安装之Java、环境安装之IntelliJ IDEA、环境安装之selenium、selenium3浏览器驱动、selenium元素定位、控制浏览器操作、WebDriver常用方法、模拟鼠标操作、模拟键盘操作、获取断言信息、设置元素等待、定位一组元素、多表单切换、多窗口切换、下拉框选择、警告框处理、文件上传、浏览器cookie操作、调用JavaScript代码、获取窗口截屏
GRPC基本使用GRPC介绍 GRPC使用protocol buffer进行接口定义和底层信息交换。客户端可以直接调用服务端的方法，就像调用本地方法一样。在服务端实现这个接口并且运行一个grpc服务来处理客户端的IO调用。客户端有一个存根(stub)，它提供与服务端相同的方法。官网grpc介绍：https://grpc.io/docs/what-is-grpc/introduction/安装先决条
转载
2023-10-02 22:29:16
92阅读
一、什么是反射反射首先是能够获取到Java中的反射类的字节码，然后将字节码中的方法，变量，构造函数等映射成 相应的 Method、Filed、Constructor 等类二、反射的API 获取class字节码对象 的3 种方法//第一种
Class studentClass = Student.class;
//第二种
Student student = new Student(
转载
2023-07-28 14:46:40
47阅读
目录理解智能指针的原理智能指针的使用智能指针的设计和实现1.智能指针的作用C++程序设计中使用堆内存是非常频繁的操作，堆内存的申请和释放都由程序员自己管理。程序员自己管理堆内存可以提高了程序的效率，但是整体来说堆内存的管理是麻烦的，C++11中引入了智能指针的概念，方便管理堆内存。使用普通指针，容易造成堆内存泄露（忘记释放），二次释放，程序发生异常时内存泄露等问题等，使用智能指针能更好
转载
2024-08-02 13:47:15
15阅读
# 如何使用runas命令在Windows系统上以不同用户身份运行Java程序
在Windows系统上，我们经常需要以不同的用户身份来运行一些程序，这在开发和测试过程中尤为重要。在Java开发中，有时我们需要以管理员权限来运行程序，这就需要使用到runas命令。本文将介绍如何使用runas命令在Windows系统上以不同用户身份运行Java程序，并通过一个示例来演示具体操作步骤。
## 问题描
原创
2024-06-21 05:26:02
90阅读
# Java如何包如何使用
在Java中，包（package）是一种用来管理和组织类的命名空间。包可以帮助我们避免命名冲突，使代码更加结构化和易于管理。本文将详细介绍Java中如何创建和使用包。
## 创建包
在Java中，包是通过在文件的顶部使用`package`关键字来声明的。包名应该是小写字母，并使用点作为分隔符。通常，包名是按照逆域名规则来命名的，以确保唯一性。
例如，我们要创建一
原创
2024-03-03 03:28:35
50阅读
Java提供了3种类型的注释例如： 1. // this is a single-line comment x = 1; // a single-line comment after code多行注释(C风格)Java同样提供跨越多行的注释类型。这种类型的注释以紧跟着一个星号的正斜杠开始，并以紧跟着一个正斜杠的星号结束。这种类型注释的开始和结束分界符可以在同一行里也可以在不同的行上。例如： 1
转载
2024-06-19 06:53:55
39阅读
微软 Edge 浏览器怎样安装插件一、安装微软商店提供的插件二、安装第三方插件到Edge浏览器 之前安装插件就没有了解很深，放到浏览器里面就直接用了，最近再次想在微软的Edge浏览器安装插件的时候，发现没有之前的那么顺手，于是记录一下安装的过程，方便之后的学习使用。一、安装微软商店提供的插件 点击 扩展 或者直接输入edge://extensions，直接来到扩展页面获取Microsoft Ed
转载
2023-07-26 07:26:27
775阅读
Word简介Microsoft Office Word 2010是微软公司的一个文字处理应用程序。我们可以利用Word编辑文字、图文排版、建立表格、图形绘制。一直以来，Word都是最流行的文字处理应用程序。.doc、.docx是Word软件默认存储文件类型， .docx正在逐步取代.doc。将Word移至桌面①按下键盘的Win键进入开始菜单，找到Microsoft Office。②在Microso
转载
2023-08-04 10:45:24
101阅读
java注释的文档注释 如果您是Web或企业开发人员（大多数Java开发人员都是如此），则您始终会使用注释。 无论是在Spring，JEE还是Struts中，您都会看到很多。 如果您使用JUnit之类的单元测试工具，则同样适用。 如果您进行胖客户端或Android开发，则在实际的生产代码中可能不会经常看到它，而您与它们的相遇可能是生产工具，构建工具和测试。 如果您使用上下文和依赖注入，那么注释就是
转载
2024-07-02 18:21:27
16阅读
