简单的spark概述： 原文： Apache Spark is a fast and general-purpose cluster computing system. It provides high-level APIs in Java, Scala, Python and R, and an optimized engine that supports general execution g
转载
2024-01-27 21:12:51
2045阅读
## 一， Spark概述spark框架地址1、官网：
http://spark.apache.org/
2、源码托管：
https://github.com/apache/spark
3、母公司网站：
https://databricks.com/
官方博客：https://databricks.com/blog/、https://databricks.com/blog/catego
转载
2024-01-18 20:13:38
577阅读
在Kubernetes（K8S）中使用SparkPool可以有效管理和调度Spark应用程序的资源。SparkPool的概念是为了让用户能够在Kubernetes上共享Spark任务而不会干扰其它任务。下面我将向你详细介绍如何在K8S中实现SparkPool。
**整个过程大致可以分为以下步骤：**
| 步骤 | 操作 |
| :---: | :--- |
| 1 | 安装Spark Ope
原创
2024-05-07 10:11:00
121阅读
搜索引擎的几个技术要点最近浏览了搜索引擎的发展历程，简单总结下。搜索引擎需要解决的主要问题包含但不限于：建立资料库，建立关键字-页面号的索引，确定页面排序。三者的经典解决办法分别为：爬虫技术（Spider）、倒排索引（Inversed-Index）数据结构、排序算法（TF-IDF、PageRank等）解决。当然此处未考虑技术细节如如何应对反爬虫、如何分词等，现代搜索引擎也绝不是简单的几
转载
2024-01-15 20:52:46
41阅读
我们在使用电脑的时候会碰到pdg格式的文件，那么这时候电脑当初没有配备相应的阅读软件，就会无法打开dg文件，那么遇到这种格式的文件该怎么办呢?接下来小编就为大家介绍一下打开pdg文件的方法，供大家在实际生活的时候参考使用。一、使用超星阅读器打开文件：首先小编为大家介绍的方法则是使用专业的软件进行阅读，那么这个专业的软件就是超星阅读器，我们只需要在网页当中输入超星阅读器，网页当中就会弹出超星阅读器的
转载
2024-07-08 14:14:03
222阅读
erlang官方文档，http://erlang.org/doc/man/emq官网：http://www.emqtt.com/https://www.emqx.io/emq简书：https://www.jianshu.com/u/9cbcdf094d33mqtt调试工具1（不支持websocket）：mqtt.fxhttp://mqttfx.jensd.de/index.phphttp://ww
转载
2024-03-12 22:39:23
286阅读
什么是RESTfulREST与技术无关，代表的是一种软件架构风格，REST是Representational State Transfer的简称，中文翻译为“表征状态转移”或“表现层状态转化”。RESTful API设计1.API与用户的通信协议使用HTTPS协议2.域名https://api.example.com 尽量将API部署在专用域名
h
转载
2024-05-19 13:29:48
231阅读
Presto秒级查询的场景。虽presto可以解析SQL，但它不是一个标准的数据库，不是MySQL、Oracle的代替品，也不能用来处理在线事务（OLTP）； Presto、Impala性能比较测试结论：Impala性能稍领先于Presto，但是Presto在数据源支持上非常丰富，包括Hive、图数据库、传统关系型数据库、Redis等。
转载
2023-09-08 11:13:25
272阅读
重磅官宣，微软.NET官网正式发布简体中⽂版，而且是官方支持语言第一梯队，由此可见微软对中国.NET市场的重视。这些年，微软一直在加大.NET在中国的支持和推广，努力让更多传统行业、互联网公司、创业团队的中国开发者选择.NET解决方案。随着.NET跨平台的成熟，这两年BATJ一线大厂都开招.NET，行业平均薪资都在上浮，可以算是成效之一了，真心期待.NET在国内能愈发蓬勃向上！笔者很想问一句，Gi
转载
2024-03-14 09:03:13
200阅读
最近搭建了一个公司的官网系统，要实现移动端和手机端的适配，屏幕缩放要能够满足自适应的条件，下面简单的介绍一下技术的实现过程，也算是自己工作的一个总结。1.技术选型 选用vue脚手架 element-ui（因为主要是pc端）借助框架和组件的样式因为是静态页面居多 使用的组件样式也比较少 所以element-ui用了按需引入 2.实现中英文切换因为项目要实现2个语言版本的
转载
2024-06-05 14:56:45
264阅读
所需jar包下载：提取码：fc9zSpringMVC不自带数据校验，需要借助Hibernate，需要如下jar包hibernate-validator-6.0.7.Final.jar，slf4j-api-1.6.1.jar，slf4j-log4j12.jar，validation-api-2.0.1.Final.jarhibernate-validator-6.0.7.Final.jar，vali
转载
2023-06-01 16:39:48
446阅读
最近业务中有用到浏览器在线编辑器，用的是monaco-editor，官网文档只在首页介绍了npm安装方式。但其实还有另外一种<script>的引入方式，但是这种方式体现在API文档中，由于API文档晦涩难懂，大家也没注意到，就会导致直接就使用了第一种方案，但是由于第一种方案在打包的时候会导致包的体积变大很多，所以为了性能考虑，推荐第二种引入方案。<script src="http
转载
2024-04-09 18:49:46
271阅读
目录一、介绍 一、介绍Adobe Premiere Pro，简称 Pr。 Pr 是专业的非线性视频编辑软件。可用于视频的采集、剪辑、调色或者添加特效、字幕等，提供了一整套从剪辑、调色到渲染输出的影视后期解决方案。 官网：https://www.adobe.com/cn/products/premiere.html 点击 免费试用 进行下载： 双击 Pr图标 ， 进行安装。 点击 继续点击 创建用
转载
2023-06-20 15:14:04
501阅读
导读在CVPR 2022上，北京航空航天大学、南洋理工大学S-Lab、北京大学和清华大学的研究者针对最近在计算机视觉领域崭露头角的Vision Transformer（ViT）模型在out-of-distribution（OOD）数据上的泛化能力进行了全面研究。同时，本文还关注泛化能力提升方法在ViT模型上的效果，分别针对性设计了结合对抗学习、信息论和自监督学习的三种泛化能力提升的ViT。针对上述
转载
2024-08-26 07:52:42
173阅读
官网地址：http://opentsdb.net/下载地址：https://github.com/OpenTSDB/opentsdb/releases-----------------------------------------------------------------------------------------------------------------------------
转载
2024-04-25 16:20:44
547阅读
概述本文分析Task调度器的Pool调度对象的实现原理。通过文章spark2原理分析-Task调度对象实现接口(Schedulable)原理分析我们知道，任务调度器(TaskScheduler)中的调度对象分为两类:Pool和TaskSetManager。而这两类调度对象都实现了接口Schedulable。这篇文章着重讲解其中的一类调度对象Pool的实现原理。在Pool调度对象中实现了两种调度算法
转载
2023-11-24 09:16:02
59阅读
概述这篇文章主要是分析一下Pool这个任务调度的队列。整体代码量也不是很大，正好可以详细的分析一下，前面在TaskSchedulerImpl提到大体的功能，这个点在丰富一下吧。DAGScheduler负责构建具有依赖关系的任务集，TaskSetManger负责在具体的任务集内部调度任务，而TaskScheduler负责将资源提供给TaskSetManger供其作为调度任务的依据，但是每个spark
转载
2023-12-24 08:53:58
31阅读
官网http://mirrors.aliyun.com/ 阿里云镜像httpd.apache.org apache官网www.apache.org apache官网www.centos.org  
原创
2017-07-11 18:12:31
1526阅读
第一次写文章，没经验，不足之处请指出。文章主要是分享一些经验之谈，顺便也记录一下做的工作，以免日后忘记，查找方便。本文主要介绍使用BDA软件在USGS官网批量下载卫星数据，常用的免费数据类型如landsat、哨兵数据都可以下载。准备工作：需要在USGS官网注册账号，网址如下https://earthexplorer.usgs.gov/，自行注册。（部分地区可能无法访问国外网站，自己想办法科学上网）
转载
2024-03-21 21:47:04
95阅读
前言本文档为Pythonista 3.3版本官方文档的汉化版，主要为帮助不是很擅长英文的朋友进行阅读学习。本文档主要针对Pythonista中iOS独有的模块进行汉化，第三方模块仅提及一下以便知晓目前Pythonista有哪些已经集成，具体内容请自行百度。由于工程量较大，我将利用零散时间从我常使用的模块开始逐步汉化，主要采取谷歌机翻再进行人工校对的方法，即便如此这也将是一个比较慢长的过程。汉化的过
转载
2023-07-10 18:38:51
265阅读
