基本概念和术语简介Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式消息系统，使用scala语言开发，基于zookeeper进行协调，多分区、多副本。 其使用场景如下：消息系统：在业务系统中经常用到，最常见的是解耦，当然，还具有削峰、异步通信、缓冲等功能网站行为追踪：Kafka最早是用于重建用户行为数据追踪系统的，很多网站上的用
转载
2024-03-19 02:57:27
44阅读
Nginx主要功能：1、反向代理 2、负载均衡 3、HTTP服务器（包含动静分离） 4、正向代理 以上是 Nginx 在不依赖第三方模块能处理的事情，下面详细说明每种功能怎么做的。一、反向代理反向代理应该是 Nginx 做的最多的一件事了，什么是反向代理呢，以下是百度百科的说法：反向代理（Reverse Proxy）方式是指以代理服务器来接受 internet上 的连接请求，然后将请求
我们知道TCP 和 UDP的一个区别之一就是TCP要保证丢失的package会被再次重发，确保对方能够收
原创
2022-09-16 06:55:00
135阅读
前端监控理论加入了自己的笔记和整理(一)场景和类型最近半年一直都在研究前端监控，发现对于前端来说，监控真的很重要，萌发了想写一系列文章全面梳理一下对前端监控的了解和总结。1、主要场景产品，首先要建立在使用场景上，所以首先讨论下监控使用的几个主要使用场景。纵观当前市面上各个前端监控产品，无外乎是满足两个方面的需求，监察**用户**的使用情况，监察**系统**的运行状态。所以当前也从 用户 和 系统
全球大量数据中心的服务器已经开始向基于 Linux Server 平台转移。相较 Windows Server 而言，Linux Server 提供了更多优势。包括 Google、Twitter、Facebook 和 Amazon 在内的诸多国际互联网巨头，都在基于 Linux Server 的服务器上运转他们的服务。Linux 服务器相较 Windows Server 的优势有很多，下面为大家盘
转载
2024-03-01 13:29:17
45阅读
在互联网信息高速发展的时代，java技术的应用无处不在，网页、手机系统、软件、游戏、...这些成果展现在我们面前，有java的功劳。综上可看出java的应用非常广，与其相应的工作岗位就多了，那么学习java可以做什么呢？知海匠库互联网学院给大家规整一下:1、学习Java可以做网站 Java可以用来编写网站，现在很多大型网站都用Jsp写的，JSP全名Java Server Pages 它是一种动态网
转载
2023-09-14 16:10:43
43阅读
一：基本概念1.kafka 的作用：解决应用解耦、异步消息、流量削峰的问题； 个人理解：kafka使用于业务流程的分支部分，用来解耦，也可以加强并发；比如评论的技术功能，订单系统的送积分等等；好处多多，使主流程更轻薄、逻辑清晰、高请求量下仍保证功能可用性等等；缺点也有些：需要做好失败的准备，尤其是消费者需要处理“仅有一次”，做好进度commit、失败记录、失败通知等；2.k
转载
2024-03-17 19:09:34
498阅读
发现很多开源项目的配置文件都有「Server酱」的配置，尤其是爬虫项目，配置文件也很简单，只要配置一个 secret，不禁好奇，这个「Server酱」是个什么鬼？好用么？怎么用？「Server酱」，英文名「ServerChan」，是一个叫 easy 的作者开发的，可以从服务器推报警和日志到手机。也许你会说这样的工具太多了，为什么要用这个呢？作者给出了回答：因为它们总是给得太多，我只是要一个简简单单
原创
2021-04-04 17:00:02
1014阅读
发现很多开源项目的配置文件都有「Server酱」的配置，尤其是爬虫项目，配置文件也很简单，只要配置一个 secret，不禁好奇，这个「Server酱」是个什么鬼？好用么？怎么用？「Ser...
原创
2021-06-17 17:38:19
1412阅读
转载
2021-09-06 11:13:13
61阅读
概述日志从最初面向人类演变到现在的面向机器发生了巨大的变化。最初的日志主要的消费者是软件工程师，他们通过读取日志来排查问题，如今，大量机器日夜处理日志数据以生成可读性的报告以此来帮助人类做出决策。在这个转变的过程中，日志采集Agent在其中扮演着重要的角色。作为一个日志采集的Agent简单来看其实就是一个将数据从源端投递到目的端的程序，通常目的端是一个具备数据订阅功能的集中存储，这么做的目的其实是
转载
2021-04-13 13:48:34
227阅读
概述日志从最初面向人类演变到现在的面向机器发生了巨大的变化。最初的日志主要的消费者是软件工程师，他们通过读取日志来排查问题，如今，大量机器日夜处理日志数据以生成可读性的报告以此来帮助人类做出决策。在这个转变的过程中，日志采集Agent在其中扮演着重要的角色。作为一个日志采集的Agent简单来看其实就是一个将数据从源端投递到目的端的程序，通常目的端是一个具备数据订阅功能的集中存储，这么做的目的其实是
转载
2021-04-13 13:48:51
169阅读
公司需要使用kubernetes，首先需要安装，网上的教程都需要，不然会出现很多莫名的坑，照着现有的文章，一个星期也没搞定，差点崩溃，现在把整个安装过程详细记录下来，不需也能轻松安装。1.环境准备准备三台centos虚拟机，如果是其他系统需替换相应语句，每一台一核2G内存。信息如下：IP地址节点角色CPUMemoryHostname192.168.200.243master12Gserver011
概述 日志从最初面向人类演变到现在的面向机器发生了巨大的变化。最初的日志主要的消费者是软件工程师，他们通过读取日志来排查问题，如今，大量机器日夜处理日志数据以生成可读性的报告以此...
转载
2021-04-12 10:30:00
112阅读
2评论
# Java做数据中台的一般技术与实现步骤
随着大数据时代的到来，数据中台的概念逐渐被越来越多的企业所采纳。数据中台的目的是将分散的数据进行整合，为业务提供可用的查询和分析。今天，我们将通过一个简单的流程来了解在Java中实现数据中台一般所使用的技术，并逐步展示每一步的具体代码实现。
## 数据中台实现流程
我们可以将整个数据中台的实现流程分为以下几个步骤：
| 步骤 | 描述
一、工具介绍Prometheus: 普罗米修斯可以简单理解为一个监控工具，以时间为单位展示指定数据维度的变化 趋势。mysqld_exporter ：主要是依赖数据采集器，对于mysql数据采集使用的是mysqld_exporter。Grafana: 主要用于可视化展示的监控软件，让数据监控更直观，支持多种仪表盘类型，就好比经 常见的数据大屏，仪表盘就是各种展示
转载
2023-10-29 16:56:32
114阅读
webjars 是比较方便的一个web 资源集成到java 应用的方法，打包是比较重要的，但是很多时候我们是需要依赖其他一些maven plugin 的 unsnapshot-maven-plugin 主要解决版本的问题，去掉snaphot，会提供一个${version.unsnapshot} 的变
原创
2022-05-03 14:15:20
176阅读
深度学习Softmax+激活函数汇总SoftmaxSoftmax通常应用在多分类问题的输出层，它可以保证所有输出神经元之和为1，而每个输出对应的[0,1]区间的数值就是该输出的概率，在应用时取概率最大的输出作为最终的预测。Softmax函数的形式如下： &n
用到了那些设计模式?”。我自己总结的Java学习的系统知识点以及面试问题，已经开源，目前已经 41k+ Star。会一直完善下去，欢迎建议和指导，同时也欢迎Star：github.com/Snailclimb/…JDK 中用到了那些设计模式?Spring 中用到了那些设计模式?这两个问题，在面试中比较常见。我在网上搜索了一下关于 Spring 中设计模式的讲解几..
转载
2023-01-05 11:05:46
96阅读
相信很多粉丝看过看过我的主页，有一个航空订票系统：数据结构航空订票系统（附源码）但是最近后台收到很多粉丝的要求，在上一个航空订票系统中要加上管理员的功能块，于是对上面那个课设进行了改进，新的功能流程如下：（航班信息由管理员添加和删除、顾客可以实现购票与退票，订票分为经济舱和商务舱）新增管理员模块的功能如下，采用单链表、队列实现（航班信息改为由管理员添加）：管理员模块的功能：
A：管理员密码验证
B
