• 搭建为伪分布式Hadoop环境1、宿主机(Windows)与客户机(安装在虚拟机中的Linux)网络连接。a) Host-only 宿主机与客户机单独组网;好处:网络隔离;坏处:虚拟机和其他服务器之间不能通讯;b) Bridge 桥接 宿主机与客户机在同一个局域网中。好处:窦在同一个局域网,可以互相访问;坏处:不完全。2、Hadoop的为分布式安装步骤a) 设置静态IP在centos下左面上右上角
    wx59c524c28c333

    发布于:9 小时前

    阅读 41 评论 0 收藏 0
  • 先看一下什么是Hive,Hive是Hadoop的一个子项目,它是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库 表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。Hive的安装方式有两种,一
    wx59c524c28c333

    发布于:9 小时前

    阅读 39 评论 0 收藏 0
  • 先说一下今天的学习目标:今天我们将使用Java在Window7客户端上对HBase进行调用,进行创建表,插入行,读取行,读取所有表记录,删除表等基础操作。下面开始今天的学习1.开启hadoop,并测试是否可用start-all.sh Warning不用管,不影响使用。jpshadoop fs -ls /2.开启HBasestart-hbase.shhbase shelljps 检测Java进程3.
    wx59c524c28c333

    发布于:9 小时前

    阅读 62 评论 0 收藏 0
  • 下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下:名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录     put '表名称', '行名称', '列名称:', '值'查看记录get '表名称', '行名称'查看表中的记录总数count '表名称'删除记录delete '表名' ,'行名称' ,
    wx59c524c28c333

    发布于:9 小时前

    阅读 45 评论 0 收藏 0
  • 今天的主要来分析一下HBase的特点,提出一些真实的应用场景,利用HBase去解决应用中的效率问题;HBase特点概述HBase是google的Bigtable的开源实现,建立在HDFS上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。HBase介于nosql和rdbms之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表jo
    wx59c524c28c333

    发布于:9 小时前

    阅读 33 评论 0 收藏 0
  • 练习 Hbase 基本语法之前我们先解决一个HBase Shell下不能删除的问题;本人使用XShell,同时按下Ctrl+Blackspace 进行删除;如果使用CRT客户端,secureCRT中,点击【选项】【回话选项】【终端】【仿真】,右边的终端选择linux英文版本请对应选择输入:执行删除操作时,需要使用组合键:Ctrl+Back Space同时按下,不妨现在就开始尝试一下吧。
    wx59c524c28c333

    发布于:9 小时前

    阅读 32 评论 0 收藏 0
  • 本篇介绍两种HBase的安装方式:本地安装方式和伪分布式安装方式。安装的前提条件是已经成功安装了hadoop,而且hadoop的版本要和hbase的版本相匹配。我将要安装的hbase是hbase-0.94.11版本,需要的hadoop是hadoop-1.2.1版本。hbase下载地址:http://mirror.bit.edu.cn/apache/hbase/hbase-0.94.11/将下载的h
    wx59c524c28c333

    发布于:9 小时前

    阅读 35 评论 0 收藏 0
  • 本文讲述了用相关性分析的方法来寻找产品中Aha时刻,寻找Aha时刻也是寻找产品对于用户的核心价值的过程,对于帮助业务发展至关重要。
    艾华丰

    发布于:2 天前

    阅读 51 评论 0 收藏 0
  • 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,分布式文件系统的实际基于客户机/服务器模式。目前常见的分布式文件系统有很多种,比如Hadoop、Moosefs、HDFS、FastDFS、PNFS(Parallel NFS)、Lustre、TFS、GFS等等一系列。在众多的分布式文件系统解决方案中
    80民工

    发布于:2 天前

    阅读 39 评论 0 收藏 0
  • 国外、国内Hadoop的应用现状2015-04-23    大数据      摘要:Hadoop是一个开源的高效云计算基础架构平台,其不仅仅在云计算领域用途广泛,还可以支撑搜索引擎服务,作为搜索引擎底层的基础架构系统,同时在海量数据处理、数据挖掘、机器学习、科学计算等领域都越来越受到青睐。本文将讲述国外、国内Hadoop的主要应用现状。国外Hadoop的应用现状1.YahooYahoo是Had
    小麦苗DB宝

    发布于:3 天前

    阅读 63 评论 0 收藏 0
  • 一、大数据框架三种语义‍‍‍‍在分布式系统中,如kafka、spark、flink等构成系统的任何节点都是被定义为可以彼此独立失败的。比如在 Kafka 中,broker 可能会 crash,在 producer 推送数据至 topic 的过程中也可能会遇到网络问题。根据 producer 处理此类故障所采取的提交策略类型,有如下三种(以kafka为例):at-least-once:如果 prod
    风马牛Pro

    发布于:4 天前

    阅读 23 评论 0 收藏 0
  • 2011年的时候我们在百度搜索Hadoop相关的问题每天只有零星几个,2015年再去百度搜索Hadoop已经有800多万个问题,而如今已然已经过亿了,Hadoop已成为大数据必备的基础设施了。Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。近年大型IT公司,如EMC、Microsof
    数栈DTinsight

    发布于:5 天前

    阅读 94 评论 0 收藏 0
  • 如何在日常繁杂的数据分析工作中提升自己,比如每周看完一本书,或者更新一篇公众号文章?花花介绍她自己的时间管理经验,希望借此可以给大家一些经验或者工作中的思考。
    艾华丰

    发布于:6 天前

    阅读 65 评论 0 收藏 0
  • 如何在日常繁杂的数据分析工作中提升自己,比如每周看完一本书,或者更新一篇公众号文章?花花介绍她自己的时间管理经验,希望借此可以给大家一些经验或者工作中的思考。
    艾华丰

    发布于:6 天前

    阅读 58 评论 0 收藏 0
  • 如何在日常繁杂的数据分析工作中提升自己,比如每周看完一本书,或者更新一篇公众号文章?花花介绍她自己的时间管理经验,希望借此可以给大家一些经验或者工作中的思考。
    艾华丰

    发布于:6 天前

    阅读 80 评论 0 收藏 0
  • 这是一本行业里褒贬两种声音都很大的书。
    艾华丰

    发布于:7 天前

  • 与现在相对热门的Clickhouse引擎相比,Druid对高并发的支持相对较好和稳定,但是Clickhouse在任务队列模式中的数据查询能力十分出色,但是对高并发支持不够友好,需要做好很多服务监控和预警。大数据组件中OLAP引擎的选型有很多,在数据的查询引擎层通常都具有两种或者以上的OLAP引擎,选择合适的组件解决业务需求是优先原则。
    知了一笑

    发布于:7 天前

  • 如何构建一个大数据平台,取决于企业的数据化程度和面临的数据问题。本文将以在线教育为例,分析如何从0到1构建大数据平台。
    艾华丰

    发布于:9 天前

  • 如何构建一个大数据平台,取决于企业的数据化程度和面临的数据问题。本文将以在线教育为例,分析如何从0到1构建大数据平台。
    艾华丰

    发布于:9 天前

  • 初级数据分析师如何培养数据分析思维
    艾华丰

    发布于:10 天前

  • 温故知新:测试梳理Hadoop-HA模式下ZKFC故障转移的流程细节。只上传流程图,后期补充文字描述
    FanoLi

    发布于:12 天前

  • Azkaban是由Linkedin公司推出的可以管理批量工作流任务的调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。
    知了一笑

    发布于:13 天前

  • 系统环境: CentOS7.6关闭:selinux、firewalld前提条件:       装好JDK\HADOOP环境实施步骤:1、进入到hadoop安装目录创建wcinput目录 # mkdir wcinput     2、进入wcinput目录并创建一个文件# cd wcinput/进来wcinput目录后创建一个文件 并随意写点东西进去# vim word.txt3、运行一个jar包,指
    丁广鹏

    发布于:14 天前

  • 系统环境:CentOS7.6关闭:防火墙和selinux一、规范操作:在/opt/目录下创建两个目录#mkdirmodulesoftware二、上传JDK包到/opt/software目录后...解压到/opt/modulerz....省略#tar-xvfjdk-16_linux-x64_bin.tar.gz-C/opt/module/三、进入到解压后的路径看看四、编辑JDK的环境变量#vim/e
    丁广鹏

    发布于:16 天前

  • 什么?你还认为风险告警就只是设置个规则阀值吗?
    艾华丰

    发布于:16 天前

  • 什么?你还认为风险告警就只是设置个规则阀值吗?
    艾华丰

    发布于:16 天前

  • CDH大致流程图及相关开源产品大致介绍
    MT的博客

    发布于:18 天前

  • 15年工作经验的大厂总监,为你的职业生活指点迷津!
    艾华丰

    发布于:21 天前

  • 两个hera集群开启Kerberos验证后,集群间不能够相互访问,需要实现Kerberos之间的互信,使用hera集群A的客户端访问hera集群B的服务(实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务)。先决条件:1)两个集群hera.com和yoga.com均开启Kerberos认证2)Kerberos的REALM分别设置为hera.com和yoga.c
    choulanlan

    发布于:21 天前

  • 测试

    0

    测试
    szm1337

    发布于:22 天前

    阅读 47 评论 0 收藏 0
推荐作者 更多
  • 王春海

    3099W+
    人气
    6208
    评论
    2763
    点赞
  • 罗勇

    3W+
    人气
    2
    评论
    5
    点赞
  • 更多作者
最新热评文章
o114958788:arp -a
王春海:从你的内网SQL Server和Web服务器到Internet,有2级路由器。 你需要在多WAN口路由器,映射端口到TMG服务器,再在TMG发布SQL Server及Web服务器。
wx60740d100692c:图片全部都无法查看额,大佬。403 Forbidden。没有权限?
wx6073eec9b01b9:老师讲的非常详细,事例
咖啡:可以写一个自己学习excle的技巧,比罗列这个要好很多~
写文章