一、HDFS 的设计思路 1）思路切分数据，并进行多副本存储； 2）如果文件只以多副本进行存储，而不进行切分，会有什么问题缺点不管文件多大，都存储在一个节点上，在进行数据处理的时候很难进行并行处理，节点可能成为网络瓶颈，很难进行大数据的处理；存储负载很难均衡，每个节点的利用率很低； 二、HDFS 的设计目标Hadoop Distributed File Syste
转载
2024-02-02 17:51:11
32阅读
为什么要使用Jmeter从数据库中获取数据？1. 我们测试的软件项目所有的数据都存储在数据库1. 思路分析1) 连接数据库
2) 发送sql语句请求进行增删改查
3) 查看执行sql语句后的数据
4) 获取执行sql语句后的数据2. 案例使用Jmeter连接学生管理项目数据库，统计学院资源表中记录数；
数据库名：db.sqlite3
数据库位置：项目\studentManagementSyst
转载
2023-11-24 15:24:05
66阅读
hadoop HA搭建参考： （本节：用不到YARN 所以可以不用考虑部署YARN部分） Hadoop 使用分 布式文件系统，用于存储大数据，并使用 MapReduce 来处理。Hadoop 擅长于存储各种格式 的庞大的数据，任意的格式甚至非结构化的处理。Hadoop 的限制：Hadoop 只能执行批量处理，并且只以顺序方式访问数据。这意味着必须搜索整个数据集， 即使是最简单的
转载
2024-02-05 19:37:41
32阅读
1 数据处理：将三个“考研成绩”Excel表格处理后存入虚拟机 2.Hadoop：开启HDFS：start-all.sh并且查看进程是否全部开启！3 HBase（可以不用该步骤）开启HBase：start-hbase.sh并且查看进程是否全部开启！ 4. Hive 操作4.1在HIve创建数据库 create database kaoyan;用以存放我们的考研成绩数据表。4.2
转载
2023-08-18 20:40:41
149阅读
Hive入门（一）Hive与HDFS的数据映射集群启动Hive对象数据库表表的数据元数据映射Hive转换MapReduce功能映射执行解析metastore功能三种方式嵌入式数据库本地数据库远程Metastore服务两个位置默认位置自定义位置共享metastore服务metastore配置metastore启动 Hive部署Hive与HDFS的数据映射集群启动先启动HDFS：start-dfs.
转载
2023-07-21 14:27:47
61阅读
hadoop简介Apache Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。该库本身不是依靠硬件来提供高可用性，而是设计用于检测和处理应用层的故障，从而在计算机集群之上提供高可用性服务，每个计算机都可能容易出现故障。
hadoop的思想之源来源于Google在大数据方面的三篇论文
GFS
转载
2023-09-13 15:29:17
427阅读
最近在学习数据仓库.根据一篇文章一步一步建立一套完整的数据仓库(基于hadoop),先学习了ETL工具kettle这里记录一些使用的情况(踩的坑),供以后回过头来看. 首先,当然是下载kettle工具了...点击下载kettle工具,这里拿最新的版本7.1来举例.下载后,直接解压就可以使用了.但如果想链接hive还是很难受的.公司搭建了一套hadoop的环境,所有我就没有自己搭建环境来测
转载
2023-07-14 16:51:13
110阅读
简介Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件 映射为一张数据库表，并提供类 SQL 查询功能。本质是将 SQL 转换为 MapReduce 程序。主要用途：用来做离线数据分析，比直接用 MapReduce 开发效率更高。Hive 利用 HDFS 存储数据，利用 MapReduce 查询分析数据。数据库和数据仓库的区别在于：数据库是面向事务的设计，数据仓库是面向主题
转载
2024-05-21 06:51:10
765阅读
数据库信息包括数据库详细信息、数据库基本信息、基本表信息、列信息等内容1、获取数据库详细信息 DatabaseMetaData对象代表了一个数据库的详细信息，它的方法所获取的数据库系统的信息通常用ResultSet对象的开工返回，可以用ResultSet对象的方法取得数据信息，如getString, getInt等。当返回的数据不可用时，
转载
2024-01-26 07:27:03
47阅读
本文由FaceYe的haipeng根据实际开发工作整适...
原创
2023-07-13 18:12:52
50阅读
一、Hadoop简介1.什么是HadoopHadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的。2.Hadoop的核心架构Hadoop Common:提供基础设施； Hadoop HDFS:(Hadoop Distributed File System)一个高可靠、高吞吐量的分布式文件系统； Hadoop MapReduce:一个分布式的离线并行计
转载
2023-09-20 10:30:43
94阅读
1.大数据与数据库1） 从Hadoop到数据库大家知道在计算机领域，关系数据库大量用于数据存储和维护的场景。大数据的出现后，很多公司转而选择像 Hadoop/Spark 的大数据解决方案。Hadoop使用分布式文件系统，用于存储大数据，并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据，任意的格式甚至非结构化的处理。2） Hadoop的限制Hadoop非常适合批量处理任务，
转载
2023-11-08 19:01:26
109阅读
已有环境：1. Ubuntu:14.04.22.jdk: 1.8.0_453.hadoop:2.6.04.hBase:1.0.0详细过程：1.下载最新的Hbase，这里我下载的是hbase-1.0.0版本，然后打开终端，输入： tar zxvf hbase-1.0.0.tar.gz解压，然后将hbase放到合适的路径下（可以是用户目录，也可以是根目录，不太清楚是否必须要与hadoop放在用一个根目
转载
2023-10-10 15:22:08
132阅读
读了两篇关于hadoopDB数据仓库的论文之后，写一点关于hadoopDB的简介： hadoopDB是耶鲁大学的一个大学项目， 目的是为了构建一个数据仓库的工具。HadoopDB 结合了hadoop 和paralled RDBMS，结合两个技术的优点。HadoopDB is to connect multiple single_node database systemusing Hado
转载
2023-07-30 15:59:20
731阅读
Hadoop 3种发行版本:
Apache Hadoop旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。(实验用,有各种JAR包冲突问题!)
Hadoop CDH(企业一般选这个)
HDP(不常用)
Hadoop MapReduce：用于并行处理大型数据集的基于YARN的系统。
Hadoop YARN：作业调度和集群资源管理的框架。
Hadoop HDFS（
转载
2023-07-12 12:01:17
171阅读
转载一篇关系数据库与Hadoop的关系的文章1. 用向外扩展代替向上扩展 扩展商用关系型数据库的代价是非常昂贵的。它们的设计更容易向上扩展。要运行一个更大的数据库，就需要买一个更大的机器。事实上，往往会看到服务器厂商在市场上将其昂贵的高端机标称为“数据库级的服务器”。不过有时可能需要处理更大的数据集，却找不到一个足够大的机器。更重要的是，高端的机器对于许多应用并不经济。例如，性能4倍于标
转载
2023-07-20 23:26:02
91阅读
本节书摘来自华章社区《Hadoop大数据分析与挖掘实战》一书中的第3章，第3.1节概述，作者张良均 樊哲 赵云龙 李成华 ，更多章节内容可以访问云栖社区“华章社区”公众号查看3.1 概述3.1.1 Hive简介Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的，是建立在Hadoop上的数据仓库基础构架。作为Hadoop的一个数据仓库工具，Hive可
转载
2023-07-14 16:20:38
48阅读
最近在学习搭建数据库服务，因为跟产品相关所以需要从流量中拿到mysql的数据包。然后就想着在本机搭建mysql数据库，然后连接，用wireshark抓就行了。MySQL搭建用的是XAMPP，想说XAMPP真的是很强大啊，方便简单，对测试小白来说搭建简单的环境真是神器存在，说岔了......开启web服务和mysql服务之后，一通操作，什么添加用户，新建数据库表，然而wireshark并没抓到包。换
转载
2024-01-10 12:23:42
32阅读
关于Hadoop平台，网上有很多的资料，但是比较零碎，为了方便大家对这个平台有着充分的了解，笔者在此系统的介绍一下这个平台。1、什么是Hadoop?(1)Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS(文件系统，数据存储技术相关)+ Mapreduce(数据处理)，Ha
转载
2023-10-16 12:58:17
328阅读
# Python 如何抓取数据库唯一错误的解决方案
在数据库操作中，唯一性约束错误是常见的异常之一。它通常发生在尝试插入或更新记录时，如果某条记录的唯一键（如主键或其他唯一索引）已经存在，会报出相应的错误。在本篇文章中，我们将通过一个具体的实例，展示如何使用 Python 捕获这一错误并有效处理。
## 1. 问题描述
假设我们有一个用户注册的数据库表 `users`，该表有一个唯一的邮箱字
