一.hive基本概念 1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。另外一个是Windows注册表文件。 2.Hive是建立在
转载
2023-07-12 13:11:48
660阅读
山大软工实践hive(14)-总结回顾一下，虽然我前面几篇都去看别人的解析，看算法思想，没有解析源码，但这一部分是十分必要的，如果我不知道输入的OPTree是个什么结构，不知道优化器的一些优化思想，哪怕我从一开始直接搜索Optimizer找到了优化器，也会全程不知道该干什么。而如果我从总体流程上寻找逻辑优化从哪里开始，是更困难的。 而导致我一开始这么困难的原因是任务分工，小组人员彼此不能看同一部分
实验指导：10.1 实验目的1. 理解Hive存在的原因；2. 理解Hive的工作原理；3. 理解Hive的体系架构；4. 并学会如何进行内嵌模式部署；5. 启动Hive，然后将元数据存储在HDFS上。10.2 实验要求1. 完成Hive的内嵌模式部署；2. 能够将Hive数据存储在HDFS上；3. 待Hive环境搭建好后，能够启动并执行一般命令。10.3 实验原理Hive是Hadoop 大数据生
转载
2023-09-15 15:33:32
840阅读
一、实验目的（1）练习数据库操作。（2）练习数据表操作。二、实验环境要首先自行搭建由3 台虚拟机构成的Hadoop环境及Hive环境。三、实验内容请参考《第5章 HiveQL:数据定义》文档进行Hive数据库操作实验及Hive数据表操作实验，要有实验步骤与实验截图，实验内容与截图不能实验指导手册内容相同。实验报告雷同一律零分。5.Hive中的数据库如果⽤户没有显示指定数据库，那么将会使⽤
转载
2023-07-20 19:48:05
764阅读
文章目录1.HDFS读写流程1.1HDFS写流程1.2 HDFS 读流程2.HDFS在读取文件的时候,如果其中一个块突然损坏了怎么办3.HDFS在上传文件的时候,如果其中一个DataNode突然挂掉了怎么办4.NameNode在启动的时候会做哪些操作4.1 首次启动NameNode4.2第二次启动NameNode4.3HDFS在启动的时候会自动进入安全模式，（在这个状态下只可以进行读操作）5.S
转载
2023-07-12 14:55:20
63阅读
文章目录开篇1 创建模式单例模式工厂方法模式构造者模式原型模式2 结构模式外观模式适配器模式装饰者模式代理模式享元模式组合模式3 行为模式迭代器模式命令模式策略模式责任链模式模板方法模式 开篇设计模式虽多，最常用的也就十几种，一开始看不懂大神运用设计模式写的代码，感觉代码绕来绕去。当意识到自己的业务代码写的像流水账，自己都看不下去的时候，就知道该合理应用一些设计模式改善她们是必要的。简单总结工作
转载
2023-08-21 09:20:03
23阅读
以下为主要内容： RHadoop实践系列文章 RHadoop实践系列文章，包含了R语言与Hadoop结合进行海量数据分析。Hadoop主要用来存储海量数据，R语言完成MapReduce 算法，用来替代Java的MapReduce实现。有了RHadoop可以让广大的R语言爱好者，有更强大的工具处理大数据1G, 10G, 100G, TB, PB。 由于大数据所带来的单机性能问题，可能会一去不复返了。
本实验将对汽车销售数据进行分析，使用HIVE QL语句来分析统计汽车行业、市场、个人等相关的数据。准备数据在桌面experiment文件夹中的cars.txt为山西省2013汽车销售数据数据字段说明时间、销售地点、邮政编码、车辆类型、车辆型号、制造厂商名称、排量、油耗、功率、发动机型号、燃料种类、车外廓长宽高、轴距、前后车轮、轮胎规格、轮胎数、载客数、所有权、购买人相关信息等。1. 创建数据库（名
了解Python，学会Python，实战python通过这次Python实训，我收获了很多，一方面学习到了许多以前没学过的专业知识与知识的应用，另一方面还提高了自我动手做项目的潜力。本次实训是对我潜力的进一步锻炼，也是一种考验。从中获得的诸多收获，也是很可贵的，是十分有好处的。在实训中我学到了许多新的知识，是一个让我把书本上的理论知识运用于实践中的好机会，原先，学的时候感叹学的资料太难懂，此刻想来
文章目录1 RDD创建1.1 从文件系统中加载数据1.2 通过并行集合2 RDD的操作2.1 转换2.1.1 filter2.1.2 map2.1.3 flatMap2.1.4 groupByKey2.1.5 reduceByKey2.2 行动2.2.1 count2.2.2 collect2.2.3 first2.2.4 take(n)2.2.5 reduce(func)2.2.6 forea
目录第五章 Hadoop的设计思想5.1 HDFS和HDFS设计思想5.1.1 分而治之5.1.2 备份机制5.2 HDFS的整体架构5.2.1 主节点（NameNode）5.2.2 从节点（DataNode）5.2.3 冷备份节点（SecondaryNameNode）5.3 HDFS的优缺点第五章 Hadoop的设计思想上一章提到过，Hadoop由Common、HDFS、Ma
实验3Hive数据操作实验目的及要求了解Hive的基本操作。了解Hive的内部表与外部表的区别。掌握表中数据的导入和导出的方法。实验系统环境及版本Linux Ubuntu 20.04JDK1.8Hadoop3.1.0MySQL8.0.28Hive3.1.2实验任务Hive表中数据的导入和导出。实验内容及步骤Hive数据的导入从本地文件系统中导入数据到Hive表。在Hive中创建一个test表，包含
前提条件： 安装好hadoop2.7.3（Linux系统下）安装好MySQL（Windows或Linux系统下）安装好Hive（Linux系统下）参考：Hive安装配置 题目：从搜狗实验室下载搜索数据进行分析下载的数据包含6个字段，数据格式说明如下：访问时间 用户ID [查询词] 该URL在返回结果中的排名 用户点击的顺序号
不能说是庆幸吧，正赶上公司要开发一个小小的MVC项目，于是这样任务就只有我自己承担，在这个项目中我才彻底感觉到自己之前有关MVC知识的无知，以为接触了皮毛就感觉能做项目，只要有心动脑思考就能完成一个完整的小项目，其实并不是这样的，还是踏踏实实的实战才是最有效的吧，之前也说要好好学习那，但是从开始北漂似乎就没有安静下来学习的吧，总是感觉有无数的事情想要去做，却总是忙不完，但是去想一下，其实并没有什么
转载
2023-07-13 18:38:29
26阅读
虽说在本命年的单身汪并不是一帆风顺，但从上海到杭州，跳槽找工作倒还是特别顺畅，一度让我有种错觉今年Android行情怎么这么好，后来一想，可能是我变（bu）强(yao)了（lian）。这不，又来到新公司了，入职第一天，一切准备妥当，向部门的前辈要到了项目的Git地址，打算先熟悉公司代码。于是我极其熟练的打开Sourcetree，准备clone。结果被前辈狠狠的鄙视了一把：“Android St
转载
2023-09-04 11:11:23
90阅读
CYD同学的Hadoop使用心得和大家分享下使用hadoop的map/reduce进行分布式运算已经有一段时间了，谈下自己的心得，纯粹是自己的感受，欢迎拍砖。首先是部署，在linux下的部署非常简单，随便在网上找个攻略就能搞定。关键是如何配置一个调试环境。在实验室，我是用ubuntu，直接在图形界面下用eclipse，非常方便。考虑到很多时候，linux没有图形界面，比如淘宝这种在windows
Java程序设计第五周学习总结
1. 本周学习总结1.1 尝试使用思维导图总结有关多态与接口的知识点。1.2 可选：使用常规方法总结其他上课内容。2. 书面作业**代码阅读：Child压缩包内源代码
Child.java源代码public class Child extends Parent{
public static void main(
转载
2023-07-31 18:59:28
37阅读
我做的项目是：基于Android应用《玩转英语》 娄老师，我会用我的方式按照软件工程的五个阶段：需求分析、总体设计、详细设计、编码测试、运行维护来做这个项目，争取五周内完成，到时候交一份报告给您。1.项目背景 如今，英语在人们的工作，学习中显得越来越重要了，而手机词典软件的出现无疑带来了极大的便利，遇到生疏的英语单词，现在只要拿起手机就能轻松解决。
转载
2023-09-10 22:05:17
266阅读
项目名称：二分法求函数的零点 问题描述：给定一个已知一定有根的单调函数，给出一个异侧的根的区间，要求通过二分法求出函数的解并保留小数点后六位。 算法描述： 因为该函数一定有根，通过两区间不断逼近必定能找到根，最后根据题目提醒的判别式判断是否等于0； 算法：开始用数组存储两个区间，通过区间算出“mid ...
转载
2021-09-28 21:13:00
81阅读
2评论
首先mapreduce的核心思想是分而治之:即将大的任务拆分成若干个小的任务(map阶段) ,之后再将小的任务的结果合并(reduce阶段)Mapreduce编程指导思想:(8个步骤记下来)mapReduce编程模型的总结：MapReduce的开发一共有八个步骤其中map阶段分为2个步骤，shuffle阶段4个步骤，reduce阶段分为2个步骤Map阶段2个步骤第一步：设置inputFormat类
