Spark作为分布式计算框架，多个节点的设计与相互通信模式是其重要的组成部分。Spark一开始使用 Akka 作为内部通信部件。在Spark 1.3年代，为了解决大块数据（如Shuffle）的传输问题，Spark引入了Netty通信框架。到了 Spark 1.6, Spark可以配置使用 Akka 或者 Netty 了，这意味着 Netty 可以完全替代 Akka了。再到 Spark 2, Spa
转载
2024-09-18 07:20:22
73阅读
服务器：万维网内的某一socket协议接口管理中心，之所以说管理中心是因为所有的协议都在socket为基础扩展而来的。socket服务就是服务于因特网内不同电脑间通讯而存在的。常用的有http协议，tcp协议，udp协议，websocket协议；只不过请求协议标准不同而已，电脑浏览器其实就是一个http协议的客户端，在地址栏内输入请求协议所谓的网址，通过socket发送给http协议服务端相应接口
转载
2024-07-17 01:00:39
102阅读
消息队列为什么写这篇文章?博主有两位朋友分别是小A和小B:小A，工作于传统软件行业(某社保局的软件外包公司)，每天工作内容就是和产品聊聊需求，改改业务逻辑。再不然就是和运营聊聊天，写几个SQL，生成下报表。又或者接到客服的通知，某某功能故障了，改改数据，然后下班部署上线。每天过的都是这种生活，技术零成长。小B，工作于某国企，虽然能接触到一些中间件技术。然而，他只会订阅/发布消息。通俗点说，就是调调
淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆积，高效的持久化速度吸引了我们，但是同时发现这个消息系统主要定位于日志传输，对于使用在淘宝交易、订单
文章目录前言主流消息队列的对比Nsq和kafka走势强劲一、Kakfa是什么？Kafka定义？Kafka名字来源？kafka有哪些术语？二、Kafka解决了什么技术场景或者业务场景？Kafka常用场景三、Kakfa数据消费过程？三、Kafka发布-订阅和用户组的工作流程？四、Zookeeper的作用五、Kafka安装使用-Kafka docker安装六、Kafka的客户端有哪些？总结 前言消息队
转载
2024-07-18 08:49:19
192阅读
rabbitmq
rabbitmq的消息可靠性rabbitmq-幂等引出的性能分析rocketmq
从rabbitmq到rocketmqkafka
从rocketmq到kafka：集群、一致性与重平衡pulsar
本篇综合对比
本篇先来谈谈 pulsarpulsar 可以简单的看做是 broker 集群 + bookkeeper集群 构成。broker 集群属于无状态
转载
2024-05-20 19:08:14
59阅读
众所周知，Hadoop生态系统发展至今，已经汇集了超过二十个组件，这些组件各自致力于解决大数据处理当中所遇到的问题，同时基于Hadoop集群，也能实现很好的协作运行，共同来完成大数据处理各个环节的任务。其中涉及Kafka组件，有同学在问Hadoop和Kafka啥关系，下面我们就来解答一下。 首先，我们必须要了解一个事实，Hadoop和Kafka同属于Apache软件基金会，都是Apa
转载
2023-11-18 23:14:38
139阅读
小编先习惯性的看了下某中文百科网站对Web Socket的介绍，觉得很囧。如果大家按照这个答案去参加BAT等互联网公司的前端开发面试，估计会被鄙视。还是让我们阅读一些英文材料吧。让我们直接看stackoverflow上的原文，然后翻译：这个讨论有超过8万的阅读量。首先我们来阅读这段有166个赞的回答：When you send bytes from a buffer with a normal T
原创
2022-04-08 15:20:11
460阅读
小编先习惯性的看了下某中文百科网站对Web Socket的介绍，觉得很囧。如果大家按照这个答案去参加BAT等互联网公司的前端开发面试，估计会被鄙视。
还是让我们阅读一些英文材料吧。
让我们直接看stackoverflow上的原文，然后翻译：
原文地址：
https://stackoverflow.com/questions/16945345/differences-between-tcp-so
原创
2021-07-13 15:57:38
129阅读
小编先习惯性的看了下某中文百科网站对Web Socket的介绍，觉得很囧。如果大家按照这个答案去参加BAT等互联网公司的前端开发面试，估计会被鄙视。 还是让我们阅读一些英文材料吧。 让我们直接看stackoverflow上的，然后翻译： 地址： ://stackoverflow.c
原创
2021-10-22 10:44:43
64阅读
正常大家都这么问的，但是实际上应该是想问：kafka和redis queue有什么区别？，因为redis是一个基于内存的kv数据库，而kafka是分布式发布订阅消息系统。两者本身不是同样一个层次的东西。redis中有一个queue的数据类型，用来做发布/订阅系统，这个就可以和kafka进行比较了哈。 一、存储介质不同redis queue数据是存储在内存，虽然有AOF和RDB的持久化方式
转载
2023-08-15 17:09:23
369阅读
1.HTTP连接 HTTP协议即超文本传送协议(Hypertext Transfer Protocol )，是Web联网的基础，也是手机联网常用的协议之一，HTTP协议是建立在TCP协议之上的一种应用。 HTTP连接最显著的特点是客户端发送的每次请求都需要服务器回送响应，在请求结束后，会主动释放连接
转载
2018-07-25 10:05:00
120阅读
2评论
简而言之就是：Socket使用的tcp连接，需要先连接之后才能发送数据。DatagramSocket使用的UDP连接，客户端不需要先连接数据，可以直接发送给指定服务端。DatagramSocket：客户端发送（直接发送数据，没有连接的过程）： [Java] 纯文本查看 复制代码 ? 01 02 03
转载
2020-04-20 09:58:00
126阅读
2评论
网络七层协议为：物理层、数据链路层、网络层、传输层、会话层、表示层、应用层 socket 只是 java在网络层定义的类,用来实现网络层。上面的各层需要我们自己在程序里实现。 例如端口可以自己定义 、数据包的定义、 数据包的加密解密等 而webService java实现了应用层的工具，他基于的服务
原创
2021-07-20 11:38:11
466阅读
要弄明白 http 和 socket 首先要熟悉网络七层：物 数 网 传 会 表 应，如图1 如图1 HTTP 协议:超文本传输协议，对应于应用层，用于如何封装数据. TCP/UDP 协议:传输控制协议，对应于传输层，主要解决数据在网络中的传输。 IP 协议:对应于网络层，同样解决数据在网络中的传输
原创
2021-07-15 15:55:31
287阅读
socket: 套接字就是两台主机逻辑连接的端点。 我们先看一下HTTP以及TCP/IPHTTP协议作为应用层协议主要解决如何包装数据， TCP/IP协议集处理传输层数据如何传输。而socket是通信的基石， 是支持TCP协议的网络通信的基本操作单元 。它具备了网络传输必须的5种信息， 之前讲过TCP连接前的TCB传输控制块中就有socket信息。1. 连接使用的协议 2. 源IP 3. 源端口
RPC 与 Socket 通信
RPC(Remote Procedure Call,远程过程调用)是建立在Socket之上的,出于一种类比的愿望,在一台机器上运行的主程序,可以调用远程另一套机器上的子程序,就像LPC(本地过程调用).
越底层,代码越复杂,灵活性越高,效率越高; 越上层,抽象封装的越好,代码越简单,效率越差. Socket和RPC的区别再次说明了这点.
kafka和spark总结本文涉及到的技术版本号：scala 2.11.8kafka1.1.0spark2.3.1kafka简介kafka是一个分布式流平台，流媒体平台有三个功能发布和订阅记录流以容错的持久化的方式存储记录流发生数据时对流进行处理kafka通常用于两大类应用构件在系统或应用程序之间可靠获取数据的实时数据管道构件转换或响应数据流的实时流应用程序kafka的几个概念kafka运行在集群
转载
2023-08-27 22:00:17
125阅读
1、什么是kafka? 2、JMS了解 3、kafka核心组件 4、为什么需要kafka消息队列？ 5、配置文件梳理 6、kafka文件存储机制 7、kafka为什么这么快？1、What is kafka? (官网：http://kafka.apache.org/)(了解)在流式计算中，Kafka一般用来缓存数据，Storm、spark-streaming等通过消费Kafka的数据进行计算。KAF
转载
2024-04-01 15:14:34
412阅读
1、简介对于日志来说，最常见的需求就是收集、查询、显示，正对应logstash、elasticsearch、kibana的功能。 ELK日志系统在系统中，主要可解决的问题：基于日志的数据挖掘问题排查，上线检查根据关键字查询日志详情异常数据自动触发消息通知服务器监控，应用监控，Bug管理统计分析，比如接口的调用次数、执行时间、成功率等性能分析，用户行为分析，安全漏洞分析，时间管理 
