Hortonworks公司，由Yahoo!和Benchmark Capital于2011年7月联合创建，宣布了一款基于Hadoop的数据平台的技术预览版。该公司雇佣了众多Hadoop项目的核心人员欲以提供相应的支持和培训。仅在IBM宣布了基于Hadoop的大数据分析平台后不久，出现了一个新的但非常重要的角色——Hortonworks，并已经开始打起了关于他们的Hortonworks数据平台（HDP
介绍hotonworks，讨论hadoop发型版本使用。
转载
2021-07-30 09:53:08
991阅读
最近我在思考的一件事情：如何帮助团队 SQL 开发快速掌握大数据相关技术呢？面对疯狂暴涨的数据，SQL Server 存储成本越来越高了，日志的增长量也极大超过预期，隔三差五总有空间不足导致的应用异常。而且各种多样化的查询需求，在海量数据环境中，响应也越发慢了。打开Google ，开始琢磨起来，找到
转载
2019-06-04 16:35:00
162阅读
2评论
HDP:(1) 介绍：HDP全称叫做Hortonworks Data Platform。 Hortonworks数据平台是一款基于Apache Hadoop的是开源数据平台，提供大数据云存储，大数据处理和分析等服务。该平台是专门用来应对多来源和多格式的数据，并使其处理起来能变成简单、更有成本效益。HDP还提供了一个开放，稳定和高度可扩展的平台，使得更容易地集成Apache Hadoop的数据流业
转载
2023-07-27 10:46:15
290阅读
[root@foundation31 ~]# virt-manager打开Virtual Machine Manager 选择光盘镜像安装，点击Forward 选择镜像文件。 设置内存大小。 设置硬盘大小。 设置虚拟机的名字。 进入安装界面。 选择安装语言，这里我们选择英语安装。 之后会进入这个页面，我们先设置时区，也就是DATE&TIME。 选择Asia/Shanghai。 点击Done
本文的hadoop安装是基于hortonworks的RPMS安装
文档请见：http://docs.hortonworks.com/CURRENT/index.htm
http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u31-download-1501634.html
下载java jdk-6u31
原创
2012-10-09 14:41:13
983阅读
http://blog.chinaunix.net/uid-26230811-id-4023821.html 一：制作ambari，hadoop本地源首先需要有一台能够联网的linux机器1：制作ambari（1.4.1.25）本地源[root@controller ~]# wget http://public-repo-1.hortonworks.com/ambari/centos6/1.x/u
转载
精选
2014-05-08 23:22:29
1924阅读
Choosing the right Hadoop Distribution for your enterprise is a very important decision, whether you have been usingHadoopfor a while or you are a newbie to the framework. The decision ...
转载
2022-06-25 00:00:33
184阅读
Cloudera and Hortonworks
转载
2022-10-04 13:17:43
132阅读
Hadoop Kerberos一、背景在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。 导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode 或者TaskTracker接受任务等。二、安全问题2.1 用户到服务器的
1.为了 能够方便记忆， 总结一下。2. 并行软件平台，不是 一个。 （1）这个特别熟悉的 以 hadoop 为平台的 生态系统 （2）还有以 微软的 并行软件平台 生态系统 (3) 还有LexisNexis公司的 基于 C++ 开发的 HPCC下面补充（1） 有介
转载
2023-10-14 12:38:16
87阅读
一、掌握Hadoop原生授权机制1.1 背景 在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。 导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode 或者TaskTracker接受任务等。1.2安全问题
1.2.
转载
2023-08-02 20:44:00
235阅读
构建 Hadoop 集群 安装选项： 1. Apache tarballs ：The Apache Hadoop project and related projects provide binary (and source) tarballs for each release.
2. Packages ：RPM and Debian p
由于之前一段时间被安排去写一个spark项目(未来一段时间也会开始开spark的坑)，因此暂时停止了读书笔记的更新，最近开始恢复读书。今天先介绍一下原书的第五章，即hadoop 的I/O知识。数据一致性一般来说，hadoop的用户希望数据能够保持一致性(Integrity)，但是由于hadoop的高并发性，数据被破坏的风险很高。一个用来检验数据是否被破坏的经典方法是计算校验和(checksum)，
转载
2023-07-13 17:10:57
79阅读
凭证过期处理策略 在最早的 Security features for Hadoop 设计中提出这样的假设: A Hadoop job will run no longer than 7 days (configurable) on a MapReduce cluster or accessing HDFS from the job will fail. 对于一般的任务
转载
2023-07-21 20:05:22
76阅读
本文主要阐述HDFSRPC安全认证相关的实现。主要介绍Kerberos相关的实现。Rpc安全认证Rpc安全认证使用的是sasl框架，sasl框架本身无认证相关的实现，认证实现使用的Kerberos。SASL: 在jdk中定义的一种通用的基于客户端和服务端的认证框架，GSSAPI是其实现之一。GSSAPI: 在jdk中，作为对kerberos认证实现的一部分。Kerberos: 一种基于中心认证服务
环境介绍： 一共三台机器： hadoop11: 192.168.230.11 namenode 、kerberos client hadoop12: 192.168.230.12 datanode 、kerberos client hadoop13: 192.168.230.13 datanode 、kerberos server（KDC） 保证安装kerberos 之前能正常开启hadoop集群
转载
2023-07-12 15:46:29
598阅读
点赞
1 文档编写目的Fayson在前面的文章《0553-6.1.0-如何使用Java代码同时访问安全和非安全CDH集群》，本篇文章介绍在同一Java进程中，通过多线程同时访问Kerberos认证集群和非认证集群时出现的一些异常及解决方法。测试环境：CDH6.1.02 集群准备1.非认证集群，在该集群中根目录下创建了一个NONEKRBCDH目录用以标识2.认证集群，在该集群中根目录下创建了一个KRBCD
Hadoop集群搭建之初默认信任操作系统的认证结果，无法判断哪个用户是固定超级用户，能够登录集群并执行任务的用户都被认作是集群的超级管理员，所有用户对集群资源都具有相同的访问权限。集群内所有节点都是可靠值得信赖的，MapReduce和Spark计算任务能够访问集群内的任意数据资源，几乎没有任何安全措施，存在安全风险。授权控制 Apache官方推荐按服务划分账号的方式对Hadoop集群进行精细
转载
2023-09-23 12:40:11
106阅读
华为认证有三个级别，从低到高分别是HCIA（工程师级别）-HCIP（高级工程师级别）-HCIE（专家级别），每个级别都有不同的认证方向。考试难度和含金量也会有不同。 拿华为认证最热门的方向之一Datcom的三个级别举例：HCIA-Datacom考试费200美金，通过这门考试即可拿取对应的证书，证书有效期为三年，三年后需要重新认证，认证方式是需要再参加一次考试。考试题型为：单选题，多选题，判断题，填
转载
2023-09-20 10:20:48
219阅读
