2.8 MySQL权限系统简介PHP、MySQL和Apache入门经典（第5版）MySQL权限系统总是起作用的。当你第一次尝试连接MySQL服务器的时候，并且对于每一个后续的动作，MySQL都会检查以下3件事情。你从哪里访问（你的主机）？你说你是谁（你的用户名和密码）？允许你做什么（你的命令权限）？所有这些信息都存储在一个名为mysql的数据库中，当安装MySQL的时候，自动创建该数据库。在mys
sqoop中文手册：
一、准备1.sqoop1.4.6安装包：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/2.sqoop-1.4.6 jar包： http://central.maven.org/maven2/org/apache/sqoop/sqoop/1.4.6/3.mysql-connector
转载
2024-07-26 12:47:05
37阅读
1.简述Hadoop平台的起源、发展历史与应用现状。1、介绍：Hadoop不是指具体一个框架或者组件，它是Apache软件基金会下用Java语言开发的一个开源分布式计算平台。实现在大量计算机组成的集群中对海量数据进行分布式计算。适合大数据的分布式存储和计算平台。 Hadoop1.x中包括两个核心组件：MapReduce和Hadoop Distributed File System(HDFS) 其中
转载
2023-07-14 16:44:48
66阅读
1.Hive不存储数据，Hive需要分析计算的数据，以及计算结果后的数据实际存储在分布式系统上，如HDFS上。2.Hive某种程度来说也不进行数据计算，只是个解释器，只是将用户需要对数据处理的逻辑，通过SQL编程提交后解释成MapReduce程序，然后将这个MR程序提交给Yarn进行调度执行。所以实际进行分布式运算的是MapReduce程序3.因为Hive为了能操作HDFS上的数据集，那么他需要知
转载
2023-06-12 20:09:37
144阅读
这一个博客介绍一下MapReduce怎样读取关系数据库的数据，选择的关系数据库为MySql，因为它是开源的软件，所以大家用的比较多。以前上学的时候就没有用过开源的软件，直接用盗版，也相当与免费，且比开源好用，例如向oracle，windows7等等。现在工作了，由于公司考虑成本的问题，所以都用成开源的，ubuntu，mysql等，本人现在支持开源，特别像hadoop这样的东西，真的太好了，不但可以
转载
2023-09-01 08:21:06
0阅读
目录一、前置条件二、安装Mysql三、安装Hive四、安装Sqoop 一、前置条件需要安装下载方法Hive-1.2.1官网下载链接， 提取码：nzyuSqoop-1.4.6百度网盘下载 ， 提取码：82itJDBC驱动包官网下载链接， 提取码：7t8d以上三个的合集包百度网盘下载，提取码：m9dqMobaXterm百度网盘下载，提取码：f64v二、安装Mysql安装从网上下载文件的wget命令，
转载
2023-09-06 09:24:54
76阅读
一、嘛是数据仓库和数据库的区别？hive的是一个数据仓库，数据仓库是面向主题的，偏向于做OLAP（online-Analytical-Processing），只要工作是方便给决策人员提供报表，来做决策分析。而传统关系型数据库比如MySQL是面向应用，主要工作是在指定的隔离机制中做增删改查的，偏向OLTP（Online-Transation-Processing）联机事务处理，同样二者数据存储结构也
转载
2023-09-21 08:23:30
93阅读
Hive知识点1.概念1.1Hive和Hadoop的关系1.2什么是Hive1.3Hive的本质1.4Hive应用场合2.Hive架构3.Hive PK RDMBS 1.概念1.1Hive和Hadoop的关系Hadoop：HDFS、MR、YRAN Hive 处理的数据存储在HDFS 分析数据底层的实现MR 执行程序运行用YARN相当于Hive将Hadoop进行了封装1.2什么是Hive1.Hiv
转载
2023-07-12 14:29:13
63阅读
什么是HDFSHDFS是一个使用Java实现的、分布式的、可横向扩展的文件系统。是Hadoop的核心组件基于Linux/NiunxHDFS和Hadoop的关系Hadoop：一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。 HDFS: Hadoop实现了一个分布式文件系统（Hadoop Distributed
转载
2023-08-18 20:52:46
157阅读
1. 试述Hadoop和谷歌的MapReduce、GFS等技术之间的关系。Hadoop 是一个开源的分布式计算框架，其主要目的是为了处理大规模数据集。它包含了分布式文件系统 HDFS 和分布式计算框架 MapReduce，被广泛应用于大数据处理领域。谷歌的 MapReduce 和 GFS 技术则是 Hadoop 的灵感来源。MapReduce 是一种用于处理大规模数据集的编程模型和算法，它将数据分
转载
2023-11-30 06:18:51
747阅读
什么是ETL：即extract：提取transform：转换load：加载ETL其实是数据清洗后的数据 什么是数据中台：从抽取数据开始，到最终用户看到，这一系列过程都是数据中台；指的是一套数据应用和工具，包括分布式ETL、数据资产管理、数据标签管理、数据沙箱、自助分析平台、元数据管理、数据质量管理等等，底层则已现有的数仓、大数据平台等为数据源，为企业提供数据资产管理的能力，并持续挖掘数据
转载
2023-07-11 22:42:02
204阅读
1.1 Spark 是什么Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2 Spark and Hadoop在之前的学习中，Hadoop 的 MapReduce 是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架 Spark 呢，这里就不得不提到 Spark 和 Hadoop 的关系。 搜图 编辑 请输入图片描述首先从时间节点上来看:➢ Hadoop2006 年
转载
2023-07-25 00:26:46
80阅读
Hadoop：是一个分布式计算的开源框架HDFS：是Hadoop的三大核心组件之一Hive：用户处理存储在HDFS中的数据，hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序。Hbase：是一款基于HDFS的数据库，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为等。Hive与HBase的区别与联系区别：Hi
转载
2023-06-12 19:47:19
310阅读
实习期间使用了两个月的odps ，之后升级用Hadoop 的Hive ，让我对数据库与数据仓库增进了一些理解，记录下来。简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。数据库是为捕获数据而设计，数据仓
转载
2023-09-07 19:41:14
222阅读
之前尝试使用过一些国内外的云产品，特别是大数据分析型产品，例如：亚马逊的EMR、Redshift，Google的Bigquery以及阿里云的ODPS，现在更名为MaxCompute，https://www.aliyun.com/product/odps。相信大多数人对亚马逊的EMR、Redshift，Google的Bigquery都比较了解。但在尝试使用ODPS后，ODPS感觉也是一款不错的大
转载
2024-01-09 21:53:48
103阅读
作为这几年热度颇高的一款开源产品，ClickHouse在国内的互联网大厂也陆续有被使用。在大数据开发学习阶段，也不妨多了解一下ClickHouse，下面我们主要来对ClickHouse架构做个简单的介绍。ClickHouse技术背景ClickHouse是基于MPP架构的分布式ROLAP（Relational OLAP）分析引擎。采用C++编写，自成一套体系，对第三方工具依赖少。支持较完整的DDL和
转载
2024-01-25 21:05:53
54阅读
一、Storm基本概念 在运行一个Storm任务之前，需要了解一些概念： Topologies Streams Spouts Bolts Stream groupings Reliability Tasks Workers Configuration Storm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce jobs，而在Storm上运行的是拓扑（topolog
转载
2023-07-20 17:38:23
74阅读
Hadoop 2.0的本质 很多人提到Hadoop首先想到的是Map/Reduce，其实从2.0开始Hadoop已经从单纯的分布式M/R计算框架变成了 通用分布式框架 。
上图是Hadoop2.0的技术栈，在Hadoop 2.0中Hadoop底层划分为YARN和HDFS两个部分。YARN提供了集群资源管理，HDFS提供了分布式存储。在此之上开发出来的应用被称为 Applicat
转载
2024-01-23 22:34:53
75阅读
说起Hadoop，玩大数据的没有一个不知道，Hadoop是由Apache基金会所开发的一个分布式系统基础架构，包含分布式文件系统HDFS（HadoopDistributed FileSystem）、分布式计算框架MapReduce、HIve数据仓库、Avro序列化工具等。而今天我们要给大家介绍一位新朋友Hbase，它是基于HDFS的非关系型大数据（非常适合存储，因为可以像HDFS一样做到存储的线性
转载
2023-10-22 16:33:29
82阅读
Kafka简介Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是k
转载
2023-12-14 15:30:32
104阅读
