qq59caeb714a7a4的博客_Hadoop,批处理,其它,人工智能

23种设计模式

一、设计模式的分类总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。

架构

java

工厂类

工厂方法模式

原创 2023-02-06 16:14:36 66 阅读

Python分布式爬虫打造搜索引擎完整版-基于Scrapy、Redis、elasticsearch和django打造一个完整的搜索引擎网站

Python分布式爬虫打造搜索引擎基于Scrapy、Redis、elasticsearch和django打造一个完整的搜索引擎网站https://github.com/mtianyan/ArticleSpider未来是什么时代？是数据时代！数据分析服务、互联网金融，数据建模、自然语言处理、医疗病例分析……越来越多的工作会基于数据来做，而爬虫正是快速获取数据最重要的方式，相比其它语言，Pyth...

python

大数据

ide

虚拟环境

原创 2023-02-06 16:11:29 2122 阅读 1点赞 1收藏

Spark性能优化指南——数据倾斜和shuffle调优

前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证...

spark

数据倾斜

数据

Hive

转载 2023-02-06 16:11:21 165 阅读

guns+apiPost

guns使用

java

接口测试

生成器

原创 2023-01-23 09:21:48 204 阅读

elasticsearch-相关度评分背后的理论

elasticsearch

字段

权重

词频

原创 2022-12-28 15:17:01 145 阅读

[JVM]深入类加载机制详解

如下图所示，JVM类加载机制分为五个部分：加载，验证，准备，解析，初始化，下面我们就分别来看一下这五个过程。加载加载是类加载过程中的一个阶段，这个阶段会在内存中生成一个代表这个类的java.lang.Class对象，作为方法区这个类的各种数据的入口。注意这里不一定非得要从一个Class文件获取，这里既可以从ZIP包中读取（比如从jar包和war包中读取），也可以在运行时计算生成（动态代理）

jvm

加载

类加载器

初始化

原创 2022-12-16 15:02:38 115 阅读

guns系统学习

# Guns V3.0## V3.0更新说明1. 单模块拆分成如下多模块,guns-parent(maven父项目),gun

guns

.net

git

数据

原创 2022-12-16 11:36:51 410 阅读

[spark streaming]JobScheduler内幕实现和深度思考

本期内容：1，JobScheduler内幕实现2，JobScheduler深度思考摘要：JobSchedule\

spark

ide

Time

原创 2022-12-16 11:34:39 109 阅读

[spark streaming]Job动态生成和深度思考

本期内容：1、Spark Streaming Job生成深度思考2、Spark Streaming Job生成源码解析

spark

数据

Streaming

流处理

原创 2022-12-16 11:33:44 134 阅读

Eclipse Memory Analyze 使用

Eclipse Memory Analyze 是Java 堆转储文件分析工具，可以帮助你发现内存漏洞和减少内

java

jdk

jvm

内存泄露

JVM

转载 2022-12-16 11:32:09 320 阅读

[JVM]35个java代码性能优化总结

前言　代码优化，一个很重要的课题。可能有些人觉得没用，一些细小的地方有什么

jvm

Java

System

数组

转载 2022-12-16 11:31:20 80 阅读

谈谈RDD、DataFrame、Dataset的区别和各自的优势

在spark中，RDD、DataFrame、Dataset是最常用的数据类型，本博文给出笔者在使用的=

spark

字段

字段名

转载 2022-12-16 11:30:16 78 阅读

MaxCompute全套攻略

概况介绍大数据

大数据

数据

机器学习

转载 2022-11-16 16:40:30 160 阅读

计算机网络总结

第一章概述1. 互联网两大特性：连通性和共享2. 互联网发展的三个阶段:

题库

数据

域名服务器

服务器

原创 2022-11-16 10:50:00 132 阅读

ElasticSearch-基础属性使用

---------------------------------------------在案例中实战使用term fil

搜索引擎

搜索

倒排索引

数据

原创 2022-11-16 10:49:37 84 阅读

elasticSearch-ik分词器

k/releases，找到与自己的ES相同的版本，可以下载源码，然后自己编译，也可以直接下载编译好的压缩包，比如我这里是5.4.0版本：.2.安装在es目录下的plugins目录下创建一个新文件夹，命名为ik，然后把上面的压缩包中的内容解压到该目录中。比如在Ubu...

elasticsearch

analyzer

自定义

重启

原创 2022-11-16 10:49:25 129 阅读

springboot+wangEditor图片上传

异常：图片能上传但不能回显到前端编辑器中！！！解决：利用ssm(spring存...

springboot

wangEditor

html

图片上传

上传

原创 2022-11-16 10:49:10 183 阅读

机器学习十大常用算法

通过本篇文章可以对ML的常用算法有个常识性的认识，没有代码，没有复杂

机器学习

数据

决策树

朴素贝叶斯

原创 2022-11-16 10:47:59 85 阅读

深入理解Lucene默认打分算法

当谈论到查询的相关性，很重要的一件事就是对于给定的查询语句，如何计

elasticsearch

权重

搜索

查询语句

原创 2022-11-16 10:47:29 151 阅读

Elasticsearch学习系列之term和match查询

Elasticsearch查询模式一种是像传递URL参数一样去传递查询语句,被称为简

elasticsearch

字段

sql语句

原创 2022-11-16 10:47:22 91 阅读

[JVM]静态分派与动态分派

方法调用并不等于方法执行，方法调用阶段唯一的任务就是确定被调用方法

jvm

静态类

虚方法

编译器

转载 2022-11-16 10:46:41 131 阅读

[dubbo]dubbo架构原理

1、准备在分析探索Dubbo架构原理之前，我们需要准备一下环境，用于后面我

微服务

zookeeper

ide

3d

转载 2022-11-16 10:46:19 255 阅读

【Hbase调优】HBase性能优化方法总结

本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性下，在创建HBase表的时候会...

hbase

数据

客户端

i++

转载 2022-11-16 10:46:07 134 阅读

Docker 对前后端分离项目的部署和运维（详述）

1.首先要有虚拟机（vmware 这是一个虚拟机安装软件，然后下载cenos操作

docker

数据库

数据

原创 2022-11-16 10:46:05 253 阅读

Apche Kylin启动报错：UnknownHostException: node1:2181: invalid IPv6 address

摘要：本文讲的是Apche Kylin启动报错：UnknownH

Kylin

zookeeper

java

kylin

原创 2022-11-16 10:44:34 163 阅读

Docker价值分析（优缺点和谁在使用？）

Docker价值分析（优缺点和谁在使用？）摘要：Docker，一个新的容器技

docker

开发人员

应用程序

转载 2022-11-16 10:44:09 52 阅读

LRU原理和Redis实现——一个今日头条的面试题

很久前参加过今日头条的面试，遇到一个题，目前半部分是如何实现 LRU

操作系统

redis

edn

双向链表

转载 2022-11-16 10:43:56 105 阅读

递归算法讲解

原作者：书呆子Rico 《递归的内涵与经典应用》 htt

算法

递归

ico

斐波那契数列

转载 2022-11-16 10:43:46 91 阅读

微服务架构设计

微服务软件架构是一个包含各种组织的系统组织，这些组件包括 Web

架构

微服务

客户端

docker

转载 2022-11-16 10:43:34 88 阅读

离线安装 Cloudera Manager 5.12.0 和 CDH5.12.0 完全教程

离线安装Cloudera Manager 5.11.1和CDH5.11.1完全教程关于CDH和Clou

大数据

cloudera

hadoop

java

原创 2022-11-16 10:43:14 269 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

13350224

23种设计模式

Python分布式爬虫打造搜索引擎完整版-基于Scrapy、Redis、elasticsearch和django打造一个完整的搜索引擎网站

Spark性能优化指南——数据倾斜和shuffle调优

guns+apiPost

elasticsearch-相关度评分背后的理论

[JVM]深入类加载机制详解

guns系统学习

[spark streaming]JobScheduler内幕实现和深度思考

[spark streaming]Job动态生成和深度思考

Eclipse Memory Analyze 使用

[JVM]35个java代码性能优化总结

谈谈RDD、DataFrame、Dataset的区别和各自的优势

MaxCompute全套攻略

计算机网络总结

ElasticSearch-基础属性使用

elasticSearch-ik分词器

springboot+wangEditor图片上传

机器学习十大常用算法

深入理解Lucene默认打分算法

Elasticsearch学习系列之term和match查询

[JVM]静态分派与动态分派

[dubbo]dubbo架构原理

【Hbase调优】HBase性能优化方法总结

Docker 对前后端分离项目的部署和运维（详述）

Apche Kylin启动报错：UnknownHostException: node1:2181: invalid IPv6 address

Docker价值分析（优缺点和谁在使用？）

LRU原理和Redis实现——一个今日头条的面试题

递归算法讲解

微服务架构设计

离线安装 Cloudera Manager 5.12.0 和 CDH5.12.0 完全教程