MapReduce概述MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并运行在一个Hadoop集群上。MapReduce优缺点优点1.MapReduce易于编程。它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程
导读继续前期依次推文PySpark入门和SQL DataFrame简介的基础上，今日对Spark中最重要的一个概念——RDD进行介绍。虽然在Spark中，基于RDD的其他4大组件更为常用，但作为Spark core中的核心数据抽象，RDD是必须深刻理解的基础概念。01 何为RDDRDD（Resilient Distributed Dataset），弹性分布式数据集，是Spark core中的核心数
转载
2024-06-27 10:26:18
54阅读
2017年大数据领域，这7大技术将退役，
我们已经在大数据领域进行了很长时间的探险了，虽然大数据已经不再让人眼前一亮和感到新鲜，但技术的不断更新足以让你时刻关注这个领域。同时，这也是很多企业技术更新最快的领域，但还是有一些技术会长期占据靠前的位置，直到有更好的替代品出现为止。
许多技术在未来面临着很大变化，或者重大升级。以下的这些技术，你或许可以考虑替换掉了： 1、MapReduce
转载
2024-01-18 15:45:57
73阅读
1.Map端的Combiner.通过单词计数WordCountApp.java的例子,如何在Map端设置Combiner...只附录部分代码: 1 /**
2 * 以文本
3 * hello you
4 * hello me
5 * 为例子.
6 * map方法调用了两次,因为有两行
7 * k2 v2 键值对的数量有几个?
8 * 有4个.有
每日英文
Never get stuck with the thing that ruins your day. Stay upbeat and be happy; for life is too short to be wasted on crap.
不要让不好的事情毁了你这一天，乐观一点，开心一点，生命如此短暂，别浪费时间在不值一提的事情上。
每日掏心话
人总要慢慢成熟，人不应该是插在花瓶里供
转载
2021-08-19 14:37:46
128阅读
十大Docker的最佳开源替代产品
转载
2021-07-20 17:56:29
4243阅读
2004年Google发表了一篇非常具有影响力的论文向全世界介绍了MapReduce框架，该框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。时至今日，MapReduce已经成为并行分布式计算领域的一个高度流行的基础设施和编程模型，它是Apache Hadoop的基础，被很多知名厂商所使用为其客户提供优质的数据服务。但是从最近在San Francisco召开的Go
转载
2024-05-17 06:51:41
65阅读
# 典型应用场景可以这样说，任何一个开发语言、开发框架，都有它存在的明确目的，重心是为了解决什么问题。没有说我们学习一门语言或技术，就可以解决所有的问题。同样的，`OpenResty`的存在也有其自身适用的应用场景。其实官网 wiki 已经列了出来：- 在lua中混合处理不同nginx模块输出(proxy, drizzle, postgres, redis, memcached等)。- 在请求真正
转载
2024-10-08 06:26:36
31阅读
# MySQL替代产品概述
MySQL是一款广泛使用的开源关系型数据库管理系统，但在某些场景下，开发者可能会寻找更适合的替代产品。德特定需求，比如性能、扩展性或一致性等问题，用户可能会考虑使用不同的数据库系统。本文将介绍几种MySQL常见的替代产品，并给出代码示例。
## 1. PostgreSQL
PostgreSQL 是一个功能强大的开源对象关系型数据库。它支持复杂查询、大量并发连接、线
近两年Docker可谓充满了争议，例如去年底K8s宣布不打算支持Docker，消息一出，大家争相讨论Docker的可替代方案，Colima作为Docker Desktop的热门开放替代方案，Podman作为Docker的替代方案，收到许多开发者和企业的关注，分别收录在Thoughtworks的最新一期技术雷达中。在今年Docker公司又宣布了Docker Desktop准备向中大型企业用户收费，“
转载
2024-01-24 09:15:14
119阅读
Docker诞生于2013年，并普及了容器的概念，以至于大多数人仍然将容器的概念等同于“Docker容器”。作为第一个吃螃蟹的人，Docker设置了新加入者必须遵守的标准。例如，Docker有一个大型系统镜像库。所有的替代方案都必须使用相同的镜像格式，同时试图改变Docker所基于的整个堆栈的一个或多个部分。在此期间，出现了新的容器标准，容器生态系统朝着不同方向发展。现在除了Docker之外，还有
转载
2024-01-24 13:28:31
58阅读
Surface Pro 3 VS. MacBook Air上周微软正式发布了Surface Pro 3，详细情况请看这篇文章《替代笔记本的Surface Pro 3：800g、9.1mm，极致轻薄》，由于其定位的问题，引发了网友的广泛讨论，笔者也同样为Surface Pro 3惊人的市场定位（取代笔记本电脑）而吃惊不已。能否像微软CEO Satya Nadella在发布会上所说的，Surface
导读：网易云信的 gitlab 服务器搭建在外网，Jenkins 服务器搭建在内网，因此 gitlab 没办法直接把 webhook 发送给Jenkins，而 pipeline 的搭建采用第三方 relay 转发的方式，但是这个 relay 经常“罢工”。本文根据网易云信的落地实践，详细介绍了如何借助 Gitlab-ci 替代 webhook 触发 Jenkins job。文｜邹李勇 网
转载
2024-03-29 13:05:57
156阅读
谷歌最早提出了一种分布式计算框架，就是MapReduce。当时发布这个框架的时候，一句话形容那是相当火爆啊，主要用来解决大规模数据(大于1TB)的并行计算。提出了两个核心过程分别是Map和Reduce过程。大致的过程就是先将大规模数据进行分块，每个块通过映射函数处理得到独立结果，整个过程是高度并行的，这个过程称为Map。将上面的结果进行归纳操作，得到最终的结果，这个过程称为Reduce。简单说就是
转载
2024-08-28 00:00:28
42阅读
看到很多人推荐使用Redis代替Memcached，我觉得这两个是不一样的东西，它们的关系应该是共存而不是替代。Memcached是个纯内存型的缓存系统，支持数据类型单一，单个缓存数据有限制，支持分布式，我觉得这是个很理想的缓存系统。Redis是个简单的NOSQL数据库，支持几种简单的数据类型，支持主从复制，支持持久化，可以看作是个内存型数据库。由此可见，Memcached是正宗的缓存系统，Red
转载
2023-09-10 21:55:10
87阅读
SSDB 360 的 ideawu开发的 NOSQL 数据库，其底层存储引擎基于 LevelDB 实现，接口支持类似于 Redis，完全兼容 Redis 的协议，支持 list, has, zset 等数据结构。与 Redis 相比较，SSDB 利用持久化设备存储，避免了纯内存数据库的容量问题，与 LevelDB 的关系是 SSDB 利用了 LevelD
转载
2024-06-02 10:43:08
32阅读
在 Redis 中，还有哪些其他命令可以代替 KEYS 命令，实现同样的功能呢？这些命令的复杂度会导致 Redis 变慢吗？ 如果想要获取整个实例的所有key，建议使用SCAN命令代替。客户端通过执行SCAN $cursor COUNT $count可以得到一批key以及下一个游标$cursor，然后把这个$cursor当作SCAN的参数，再次执行，以此往复，直到返回的$cursor为0时，就把整
转载
2023-08-07 22:41:34
305阅读
# Redis的国产替代产品分析与应用
## 引言
Redis作为一个高性能的分布式内存数据库，广泛应用于缓存、消息队列、实时分析等多个场景。然而，随着国家对信息安全的重视以及对数据主权的追求，一些企业开始寻求Redis的国产替代品。本文将介绍几款主要的国产替代产品，并通过代码示例展示其基本使用方法。此外，我们还将讨论其状态图，以更好地理解这些产品的内部工作原理。
## 国产替代产品介绍
ElasticSearch 花式增删改查Elasticsearch在6.X以后每个index只能有一个type，预计在7.X以后去掉type，之所以去掉type，官方给出的解释大概是 Elasticsearch是基于Lucene开发的搜索引擎，而ES中不同type下名称相同的filed最终在Lucene中的处理方式是一样的。举个例子，两个不同type下
hadoop 替代方案(Not better, not worse… just different)“React.js is so much better than Angular”. “Java sucks, no one uses it anymore… we should use Golang”. “Pineapple is the worst pizza topping”. You’ve
转载
2024-07-05 19:49:39
39阅读
