Spark作为Apache顶级的开源项目，在迭代计算，交互式查询计算以及批量流计算方面都有相关的子项目，如Shark、Spark Streaming、MLbase、GraphX、SparkR等。从13年起Spark开始举行了自已的Spark Summit会议。Amplab实验室单独成立了独立公司Databricks来支持Spark的研发。为了满足挖掘分析与交互式实时查询的计算需求，腾讯大数据使用了
最近在研究xampp协议的过程，于是找了开源的openfire与tigase的源码粗滤的阅读了一下,由于tigase目前的中文文档比较少，于是主要整理了有关tigase的一些资料供大家参考，由于文章比较多，这里只留下一个印象笔记的连接供大家阅读。https://app.yinxiang.com/pub/topxiall/tigase
原创
2014-07-19 22:44:47
1609阅读
单机安装请参考：http://fshuanglan.blog.51cto.com/133806/1369802主：[root@main tmp]# hostname -fmain.example.com备：[root@spare tmp]# hostname -fspare.example.com———————————————————————————————————————————————————
原创
2014-04-08 15:57:13
1796阅读
Step 1☆ 环境搭建yum install httpd mysql mysql-server php php-* yum install java-1.7.0-openjdk.x86_64 java-1.7.0-openjdk-devel.x86_64Step 2☆ 下载软件包wget https://projects.tigase.org/p_w_uploads/download/1342/
原创
2014-03-07 13:48:47
2696阅读
Linux下安装Tigase
Tigase是一个开源的XMPP即时通讯服务器，它具有高性能和扩展性。在Linux系统上安装Tigase非常简单，下面我们来看看如何在Linux系统上安装Tigase。
首先，我们需要下载Tigase的安装包。可以从Tigase的官方网站上下载最新版本的安装包。下载完成后，我们可以开始安装Tigase。
接下来，我们需要解压下载的安装包。可以使用以下命令解压：
# Tigase Java开发指南
## 1. 概述
Tigase是一个基于Java的XMPP服务器，用于实现即时通讯应用程序。本文将指导刚入行的开发者如何实现Tigase Java开发的步骤和所需代码。
## 2. 开发流程
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建一个Java项目 |
| 2 | 添加Tigase的依赖 |
| 3 | 配置Tigase服务器
1．安转Centos6 64位系统2．安装mysqla) yum install -y mysql-server mysqlmysql-deveb) chkconfig mysqld on3．安装Java1.7或更高版本rpm -ivh jdk-7u65-linux-x64.rpm4．安装tigase，从中选一个，tigase
原创
2016-01-13 14:58:54
7171阅读
文档历史日期作者版本注释2012/05/15sina1.0创建 一、 Tsung概述 tsung是一个非常好用的压力测试软件，基于erlang语言，支持多种协议如xmpp，http，mysql，支持集群，高效率，可以用一台普通的机器压垮几台性能强大的服务器。针对消息通知服务xmpp服务器，可以用
原创
2023-06-11 11:02:24
10000+阅读
Tigase从5.2.0版开始，引入了负载均衡功能，可以把终端访问用户重定向到最适合的集群节点上。集群中 的同一个节点，那么用户将被重定向。此原则需要获得用户的JID实现重定向。
原创
2015-11-17 13:18:37
70阅读
最近准备开始看spark源码，第一步当然是要搭建一个舒适的spark源码阅读环境，通过单步调试才能顺藤摸瓜的理清具体脉络，有助与提高阅读效率。在搭建环境过程中，遇到一些奇怪的错误，但居然都鬼使神差的搞定了，人品啊，哈哈哈Spark的源码使用scala语言编写的，说到scala的IDE工具，首选当然是idea，idea安装scala插件我这里就详说了，除了idea外，我们还需要安装的软件有：mave
转载
2023-08-07 01:25:05
89阅读
Spark中针对键值对类型的RDD做各种操作比较常用的两个方法就是ReduceByKey与GroupByKey方法，下面从源码里面看看ReduceByKey与GroupByKey方法的使用以及内部逻辑。官方源码解释：三种形式的reduceByKey总体来说下面三种形式的方法备注大意为： 根据用户传入的函数来对（K,V）中每个K对应的所有values做merge操作(具体的操作类型根据用户定义的函
转载
2023-09-04 13:43:06
58阅读
ReduceBykey&GroupByKey 文章目录ReduceBykey&GroupByKeygroupByKey源码reduceBykey与groupByKey对比 groupByKey源码上一篇文章中讲到了reduceBykey的源码。还有个比较常见的算子是groupByKey，源码如下：/**
* Group the values for each key in the
Spark Shuffle 源码剖析概念理论铺垫一、 Spark 分区数量由谁决定Spark source 如果是TextFile() 读取HDFS中的文件，2参数，第一个参数是路径，第二个是指定分区数量如果指定分区数量，0或1，则分区数量的多少取决于文件数量的多少如果没有指定分区数量，默认则是2，如果文件总大小为100m，100/2(分区数量)=50，50为goalSize，如果50会和Hdfs
阅读好的开源项目是最好的学习code的方法，在一个大型项目中会涉及到软件工程的方方面面。项目代码作为最终的落地物质，其中必然会留下很多顶尖工程师、架构师、设计团队思考的痕迹；如果从这个层面去看一个开源项目，其实至少包括三个方面：1）这个项目是如何架构的，会用到哪些关键技术2）实现这些设计是怎么落到code层面，利用了哪些技巧3）利用了哪些好的库和管理的工具方法理念学习一个开源项目可以从
转载
2023-08-13 14:04:44
52阅读
从两方面来阐述spark的组件，一个是宏观上，一个是微观上。1. spark组件要分析spark的源码，首先要了解spark是如何工作的。spark的组件：了解其工作过程先要了解基本概念官方罗列了一些概念：TermMeaningApplicationUser program built on Spark. Consists of a driver program and&nbs
转载
2023-07-11 20:05:03
76阅读
文章目录第一部分 宽窄依赖篇1.依赖关系概述2.依赖分类2.1` Dependency `继承 Serializable2.2 `NarrowDependency `窄依赖，继承 Dependency2.3` OneToOneDependency` 一对一依赖，继承NarrowDependency2.4 `RangeDependency` 范围依赖，继承NarrowDependency2.5 S
本文要解决的问题：通过Spark源码学习，进一步深入了解Shuffle过程。Shuffle 介绍在Map和Reduce之间的过程就是Shuffle，Shuffle的性能直接影响整个Spark的性能。所以Shuffle至关重要。从图中得知，Map输出的结构产生在bucket中。而bucket的数量是map*reduce的个数。这里的每一个bucket都对应一个文件。Map对bucket书是写入数据，
1、读《apache spark 源码剖析》第四章第1节作业提交
我也使用简单的WordCount例子sc.textFile("/hdfs-site.xml").flatMap(line=>line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _)来学习
2、源码学习
把例子像书中一样分成了几个子句，在命
前言之前,一直在考虑,如何延续职业生涯.虽然刚入职,但是危机意识告诉我,不能当咸鱼.拒绝996的同时,也要自我学习,才不至于早早被扫地出门.哪怕考公务员也要学习[手动吃瓜].
受到我们部门leader的启发,我决定深入探讨一个工具,钻研源码,做到"精通"一个工具.
由Spark始吧.
本系列,主要参考了耿嘉安的深入理解Spark核心思想与源码分析.可以理解成我照猫画虎,更新了自己的一版本吧.
就从
前言：spark源码分析系列 ，文中有错误的地方 请多多指正。体系架构如下，可以看出spark是一个全兼容的生态圈，不一定是最好的，但是是最全面的，一个spark生态圈就可以解决绝大多数数的大数据问题。一、spark基本概念1.Application：就是一个程序，一个jar包，一个war包，也就是通过spark-submit提交的程序2.Driver：就是为这个应用所提供的运行环境，上
