本文翻译自官方博客，略有添加：https://github.com/mesos/spark/wiki/Spark-Programming-Guide，谢谢师允tx的校正。希望能够给希望尝试Spark的朋友，带来一些帮助。目前的版本是0.5.0Spark开发指南从高的层面来看，其实每一个Spark的应用，都是一个Driver类，通过运行用户定义的main函数，在集群上执行各种并发操作和计算Spark
本来安装这件事情，不用单独开一篇谈的。但是Spark的安装实在是一件点蛋疼的事情，这和Spark的语言和框架两者有颇大的关系。Spark是Scala语言写的，所以要先安装Java和Scala，而底层的调度框架是Mesos，Mesos是C++写的，所以又对机器的glibc和gcc环境有一定的要求。装好了Mesos和Spark，还要把2者衔接起来，版本要选择正确，这几个步骤，中间任何一步错了都Spar
clj-xmemcachedClj-xmemcachedisanopensourcememcachedclientforclojurewrappingxmemcached.Xmemcachedisanopensourcehighperformancememcachedclientforjava.LeiningenUsageToincludeclj-xmemcached,add:<code&g
xmemcached紧急发布1.3.5版本，主要是修复两个相对严重的bug:Issue154:在重连本地memcached的时候，有可能出现重连无法成功的情况，导致连接丢失，详情见这里。Issue155:重连导致文件句柄数超过限制的bug，这是由于重连失败情况下没有合理关闭socket引起的，详情见这里。如果你使用maven，简单升级版本即可：<!– Code highlighting pr
aviator是一个轻量级的、高性能的Java表达式求值器，主要应用在如工作流引擎节点条件判断、MQ中的消息过滤以及某些特定的业务场景。自从上次发布1.0后，还发过1.01版本，不过都没怎么宣传。这次发布一个2.0的里程碑版本，主要改进如下：1、完整支持位运算符，与java完全一致。位预算符对实现bitset之类的需求还是非常必须的。2、性能优化，平均性能提升100%，函数调用性能提升200%，最
xmemcached发布1.3.3版本——支持touch和GAT
leveldb是google最近开源的一个实现，但是它仅是个lib，还需要包装才能使用。node-leveldb就是一个用node.js包装leveldb的项目，你可以用javascript访问leveldb。node-leveldb仅提供API，不提供网络接口供外部访问。我fork了个分支，搞了个memcached的adapter，将node-leveldb的API暴露为memcached的文本
Xmemcached是一个开源的javamemcachedclient，具有高性能、更易用、功能完善等优点，距离上次发布1.3.1已经超过两个月，现在正式发布1.3.2这个新版本，主要的改进如下：1、Bug修复，从1.3.1版本以来发现的bug并修复，包括：issue112::新引入的failure模式在启动的时候，如果memcached故障，运行不符合预期的bug.issue113:新增加一个d
HandlerSocket是一个mysql插件，可以将mysql作为NoSQL来使用，具体可以看我过去写的这篇Blog。hs4j是HandlerSocket的一个java客户端，自认为它比日本人写的那个客户端更实用和易用一些。写完好久，经过不少朋友使用和测试，现在正式发一个0.1版本，并已同步到maven中心仓库。项目主页：http://code.google.com/p/hs4j/项目描述：hs
最近因为空闲时间有一些，所以去看了不少开源项目，大部分东西如果看过不记录下来，其实还是相当于没看，所以想想还是有必要摘要记录一下。首先是去了解了zookeeper这个项目，基于paxos算法的分布式服务组件，同事对此有非常深入的研究和介绍，具体可以看我们的团队Blog。令我感慨的是这么一个非常难以理解的算法，却用一个简单的树状目录模型表达出来，并且在这个模型的基础上衍生出种种应用：集群感知、分布式
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
