搜索引擎的几个技术要点最近浏览了搜索引擎的发展历程，简单总结下。搜索引擎需要解决的主要问题包含但不限于：建立资料库，建立关键字-页面号的索引，确定页面排序。三者的经典解决办法分别为：爬虫技术（Spider）、倒排索引（Inversed-Index）数据结构、排序算法（TF-IDF、PageRank等）解决。当然此处未考虑技术细节如如何应对反爬虫、如何分词等，现代搜索引擎也绝不是简单的几
转载
2024-01-15 20:52:46
41阅读
TaskSchedulerImpl对Task的调度依赖于调度池Pool，所有需要被调度的TaskSet都被置于调度池中。调度池Pool通过调度算法对每个TaskSet进行调度，并将调度的TaskSet交给TaskSchedulerImpl进行资源调度。1 调度算法调度池对TaskSet的调度取决于调度算法。特质SchedulingAlgorithm定义了调度算法的规范，代码如下：//or
转载
2023-10-05 16:42:21
112阅读
在Kubernetes（K8S）中使用SparkPool可以有效管理和调度Spark应用程序的资源。SparkPool的概念是为了让用户能够在Kubernetes上共享Spark任务而不会干扰其它任务。下面我将向你详细介绍如何在K8S中实现SparkPool。
**整个过程大致可以分为以下步骤：**
| 步骤 | 操作 |
| :---: | :--- |
| 1 | 安装Spark Ope
原创
2024-05-07 10:11:00
121阅读
概述本文分析Task调度器的Pool调度对象的实现原理。通过文章spark2原理分析-Task调度对象实现接口(Schedulable)原理分析我们知道，任务调度器(TaskScheduler)中的调度对象分为两类:Pool和TaskSetManager。而这两类调度对象都实现了接口Schedulable。这篇文章着重讲解其中的一类调度对象Pool的实现原理。在Pool调度对象中实现了两种调度算法
转载
2023-11-24 09:16:02
59阅读
概述这篇文章主要是分析一下Pool这个任务调度的队列。整体代码量也不是很大，正好可以详细的分析一下，前面在TaskSchedulerImpl提到大体的功能，这个点在丰富一下吧。DAGScheduler负责构建具有依赖关系的任务集，TaskSetManger负责在具体的任务集内部调度任务，而TaskScheduler负责将资源提供给TaskSetManger供其作为调度任务的依据，但是每个spark
转载
2023-12-24 08:53:58
31阅读
Spark on yarn 简单安装配置，python代码提交测试前言：绝知此事要躬行。百度云链接链接：https://pan.baidu.com/s/1SbvMo7FeeZ50YiEERMsI4g 提取码：qwer环境：两台Centos7.6(一台腾讯云、一台百度云） 文章目录Spark on yarn 简单安装配置，python代码提交测试1、ssh 免密登录配置2、jdk 安装3、hadoo
转载
2024-08-16 13:31:45
55阅读
Spark数据本地性分布式计算系统的精粹在于移动计算而非移动数据，但是在实际的计算过程中，总存在着移动数据的情况，除非是在集群的所有节点上都保存数据的副本。移动数据，将数据从一个节点移动到另一个节点进行计算，不但消耗了网络IO，也消耗了磁盘IO，降低了整个计算的效率。为了提高数据的本地性，除了优化算法（也就是修改spark内存，难度有点高），就是合理设置数据的副本。设置数据的副本，这需要通过配置参
转载
2024-05-12 19:42:36
80阅读
1.SequoiaDB的下载安装这部分内容在此不做赘述，可以前往SequoiaDB文档中心查看：http://www.sequoiadb.com/cn/index.php?a=index&m=Files
2.Spark的下载安装此处我们将介绍Spark的安装和配置，其中配置部分需要符合SequoiaDB使用的需求，所以需要注意。
2.1 安装用 SequoiaDB
转载
2024-01-29 12:44:14
62阅读
基本操作 系统安装 ks.cfg pxe安装 开机  
原创
2016-07-10 14:02:37
370阅读
## 一， Spark概述spark框架地址1、官网：
http://spark.apache.org/
2、源码托管：
https://github.com/apache/spark
3、母公司网站：
https://databricks.com/
官方博客：https://databricks.com/blog/、https://databricks.com/blog/catego
转载
2024-01-18 20:13:38
577阅读
简单的spark概述： 原文： Apache Spark is a fast and general-purpose cluster computing system. It provides high-level APIs in Java, Scala, Python and R, and an optimized engine that supports general execution g
转载
2024-01-27 21:12:51
2045阅读
解锁注册表文件
REGEDIT4[HKEY_CURRENT_USER\Software\Policies\Microsoft\Internet Explorer\Control Panel]"Settings"=dword:0[HKEY_CURRENT_USER\Software\Policies\Microsoft\Internet Explorer\Con
原创
2008-07-25 10:51:02
6936阅读
点赞
7评论
因为卡巴用的是盗版，在用软件获取key的时候被强制更改了主页。
之后在ie上再设置，一打开的页面还是被强制使用的那个主页，而不
是我用惯了的百度。这让我觉得很麻烦。在百度上搜索之后，发现
可以用注册表编辑器把main改成自己的主页。实际操作才发现 ，我
把Internet explorer项里所有有网址的项目都改成了空，打开的时
候主页依旧没有更改。查了不少关于更改注册表的，发现都没有管
原创
2009-03-29 19:44:27
345阅读
2评论
请关注：https://blog.csdn.net/weixin_43821559?spm=1019.2139.3001.5343
原创
2021-08-13 15:48:48
293阅读
# 使用 Redisson 实现主页
## 引言
在开发过程中，为了提高系统的性能和可扩展性，我们经常会使用分布式缓存来缓解数据库的压力。Redis 是一个非常受欢迎的分布式缓存系统，而 Redisson 是 Redis 的一个 Java 客户端，提供了丰富的功能和易于使用的 API。在本文中，我将向你介绍如何使用 Redisson 实现一个简单的主页。
## 准备工作
在开始之前，你需要
原创
2023-10-09 10:01:29
38阅读
APP门户界面设计1. 页面及技术要求2. 设计静态页面2.1 导航栏bottom.xml2.1.1 整体思路2.1.2 具体步骤2.2 主题页面activity_main.xml2.3 四个主题子页面fragment.xml3. 点击导航栏icon切换效果3.1 点击icon变换主题页面3.1.1 4个fragment.java文件3.1.2 为4个点击按钮绑定切换方法3.2 选中icon高亮
转载
2023-09-11 10:34:39
131阅读
希望不息,薪火永燃!!! Never let you go. ——I'll never go. ——无量塔姬子《最后一课》 To find the way back home. ——There's a way back home. ——符华《渡尘》 I want no tomorrow or yes ...
转载
2021-09-10 13:56:00
99阅读
2评论
# Sybase 主页科普
## 1. 什么是 Sybase？
Sybase 是一家提供企业级数据库管理系统（DBMS）和相关软件的公司。它的主要产品是 Sybase ASE（Adaptive Server Enterprise），是一种关系型数据库管理系统，用于存储和管理企业数据。
Sybase ASE 提供了高性能、高可靠性、高可伸缩性的解决方案，广泛应用于金融、电信、医疗等领域。它支持
原创
2024-07-08 04:38:04
45阅读
之前实习期间用过kickstart安装操作系统，一直不成功，现在回到学校了，无意看到cobbler安装，有些冲动。别看没多少内容，可用了两天时间，终于完成了! 以后肯定要的着，先记录下。 1、基本环境搭建
[root@cobbler ~]# ifconfig eth0 192.168.1.22
[root@cob
Rancher Labs是由梁胜（CloudStack创始人）创立的一家提供容器服务的云计算公司，产品包括RancherOS和Rancher。近日，Rancher Labs和东网科技宣布在国内成立合资子公司，全面开展Rancher在华的业务。InfoQ记者采访了Rancher CEO梁胜，与他探讨了容器、OpenStack、CloudStack等技术的发展和变革。本文根据采访整理而成。
