简介 一、概述 1.HDFS是Hadoop中用于进行数据分布式存储的模块 二、特点 1.能够存储超大文件-分布式+切块 2.能够快速的应对和检测故障-心跳 3.高可用-副本+双namenode 4.能够动态扩展在廉价机器上-横向扩展 5.不支持低延迟响应 6.不建议存储小文件-每一个小文件会对应一条元数据，大量小文件则会产生大量元数据，元数据多了就会导致元数据的查询效率也变慢 7．简化的一致性模型
转载
2024-06-07 06:39:37
37阅读
总结与思考
虽是半路出家, 但也接触了几种编程语言(主要是 Delphi), 面对未知的程序语言也不再神秘了.所有这些语言, 最终都会编译成另一种语言(二进制的机器码)去和机器交流; 因为人们很难识别只有 0、1 构成的机器码, 所以才有了汇编、汇编还是有点麻烦所以才有了 Delphi 等高级语言, 说起来高级语言已经不算难了.所谓某种语言的功能强大, 其实是 "库" 的强大,
转载
2021-04-30 22:30:35
164阅读
# Hadoop实战HDFS总结
Hadoop是一个开源的分布式计算平台，其中HDFS（Hadoop Distributed File System）是其核心组成部分，负责存储大数据。对于刚入行的开发者来说，理解如何操作HDFS是非常重要的。本文将一步步引导你了解HDFS的基本操作，帮助你总结出HDFS的实践经验。
## 流程概述
在接下来的内容中，我们将通过以下步骤实现HDFS的基本操作：
  第一次参加工作时使用的网络框架是AsyncHttpClient，虽说该框架使用非常简洁，但是使用的过程同时也是初学者成长与思考的过程。在项目的不同阶段，重新查阅网络请求的代码，总能想到一些优化的方法，或大或小。
原创
2017-04-20 11:44:26
8355阅读
# Hive实战 实验总结
## 概述
在本文中，我将向你介绍如何使用Hive进行实战，并总结这个过程。Hive是一个基于Hadoop的数据仓库基础设施，它提供了类似于SQL的查询语言，使得开发者可以使用Hadoop集群来处理大规模的结构化数据。
## 实战步骤
为了让你更好地理解整个过程，我将使用表格来展示每个步骤。
| 步骤 | 描述 |
| --- | --- |
| 步骤一 |
原创
2023-12-29 07:16:54
66阅读
HDFS 文件系统HDFS 简介HDFS 是 Hadoop Distributed File System 的简称，即 Hadoop 分布式文件系统。它起源于谷歌发表的 GFS 论文， 是该论文的开源实现，也是整个大数据的基础。HDFS 专门为解决大数据的存储问题而产生的，具有如下特点： 可存储超大文件：HDFS 可存储 PB&
转载
2023-09-29 09:48:17
98阅读
昨天晚上出去和几个朋友交流了一下。聊了非常多，思考了一下这一年学习技术的经历，趁着在宿舍养病，将自己的想法记录了下来。 总结过去与思考 从開始决定当码农到如今将近两年零三个月，起初是由于自己专业的科研不是自己想象中的那样，加之对程序猿的羡慕和崇拜，于是就走上了码农的不归路。作为非科班出身的学生，和计
转载
2017-05-30 18:44:00
62阅读
2评论
在本篇博文中，我将详细记录如何进行"MySQL和HDFS操作实验总结"，涵盖环境准备、分步指南、配置详解、验证测试、优化技巧及排错指南等多个方面。
## 环境准备
在开始这个实验之前，确保你的软硬件环境满足以下要求：
- **软硬件要求**：
- 操作系统：Linux或Windows
- MySQL版本：5.7及以上
- HDFS版本：2.7及以上
- Java版本：JDK
实验目的： 了解HDFS分布式文件系统 学会建立maven项目，查看文件系统
转载
2023-12-21 23:12:44
329阅读
6.1 数组介绍可存放多个同一类型的数据。数组也是一种数据类型，是引用类型。6.2 数组的使用6.2.1 使用方式 1 -静态初始化初始化数组时，给定了固定的数组大小（即：数组的长度）案例演示// 法一
double[] scores = new double[5];
// 法二
double scores[] = new double[5];6.2.2 使用方式 2 -动态初始化初始化后，
导读：一般人都很喜欢用Stata来构建面板数据模型，我Stata相对较弱，更喜欢Matlab，这里就给出用Matlab来进行面板数据的混合效应建模实例，特别是code解读面板数据的四大好处面板数据(Panel Data)能够从时间和截面构成的二维空间来反映数据的变化规律，具有控 制个体的异质性、减少回归变量之间的多重共线性等优点，从而开始被广泛地应用于经济研究中，成为目前计量经济学领域研究的热点问
转载
2024-01-01 16:32:33
597阅读
一、概述 研究期货及量化有一段时间了，现在汇总一下这段时间的收获，也是总结记录一下。 二、期货量化的基本逻辑 首先与股票很大不同，期货是T+0交易，而且天然的就是多空双向买卖（股票的做空还得绕一下）。另外期货由于交割机制（一般都是好几个月后）的问题，投资者的投机倾向更强。所以总的来说最常见策略就是“趋势策略”，以及“网格策略”，总体上来说就是这两种以及这两种的延伸策略。那么是否存在其他
原创
2021-11-01 17:47:35
562阅读
以前听别人说起云计算的时候，总觉得它是一个高大上的一个东西，因为自己不知道，会觉得它会很难吧。但这几天自己自己静下心来，看了一些相关方面的书后，发现它没有想象中的那么深奥，只是时代发展的产物罢了，是随着互联网的发展产生的大数据应运而生的一种东西。Hadoop系统可以高效的存储、管理、分析海量数据，Hadoop的核心是MapReduce和HDFS，先
转载
2024-04-10 10:27:32
380阅读
一、概述 研究期货及量化有一段时间了，现在汇总一下这段时间的收获，也是总结记录一下。 二、期货量化的基本逻辑 首先与股票很大不同，期货是T+0交易，而且天然的就是多空双向买卖（股票的做空还得绕一下）。另外期货由于交割机制（一般都是好几个月后）的问题，投资者的投机倾向更强。所以总的来说最常见策略就是“趋势策略”，以及“网格策略”，总体上来
原创
2021-10-29 04:10:06
552阅读
实验指导：10.1 实验目的1. 理解Hive存在的原因；2. 理解Hive的工作原理；3. 理解Hive的体系架构；4. 并学会如何进行内嵌模式部署；5. 启动Hive，然后将元数据存储在HDFS上。10.2 实验要求1. 完成Hive的内嵌模式部署；2. 能够将Hive数据存储在HDFS上；3. 待Hive环境搭建好后，能够启动并执行一般命令。10.3 实验原理Hive是Hadoop 大数据生
转载
2023-09-15 15:33:32
1128阅读
2019/01/08，第一个判断是否有按键按下的操作好像有
原创
2022-04-18 15:18:21
682阅读
2019/01/08，第一个判断是否有按键按下的操作好像有问题，有空在修改！红色为修改部分：问题描述：当三个独立按键的某一个被按下后，相应的LED被点亮；再次按下后，LED熄灭，按键控制LED亮灭下面是LED灯的原理图：可见，LED是低电平亮，高电平灭。事实上，控制LED等的亮灭很简单，不是问题，对应的代码段如下：reg d1;reg d2;reg d3; ...
原创
2021-08-20 13:53:07
765阅读
写在最前本文适用于已经安装MySQL的读者。请打开cmd（按住Win+R，输入“cmd”之后回车），一步步按照下面的命令，玩转MySQL基本功能。实验开始首先，执行下面两条语句中的任意一条。mysql -h localhost -P 3306 -u root -p
mysql -u root -p输入密码，你便成功登录进了MySQL。如果出现报错，99%是因为你的MySQL安装或者是环境变量配置出
转载
2023-11-12 08:27:40
211阅读
文章目录一、实验目的二、实验内容三、实验原理四、实验环境五、实验步骤5.1 启动服务HDFS服务5.2 查看hdfs shell帮助命令5.3 使用shell命令创建和查看目录5.4 使用shell命令上传文件和文件夹5.5 使用shell命令下载文件和文件夹5.6 使用shell命令重命名文件和文件夹5.7 使用shell命令移动文件和文件夹5.8 使用shell命令删除文件和文件夹 一、实验
转载
2024-03-25 16:20:55
334阅读
