@[TOC]Hadoop一、Hadoop是什么？（1） Hadoop是一个分布式系统基础架构 （2） Hadoop主要解决海量数据的存储和海量数据的分析问题 （3） Hadoop可以指一个更广泛的概念——Hadoop生态圈二、Hadoop的优势（1）高可靠性:Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素出现故障，也不会导致数据的丢失。 （2）高扩展性：在集群间分布任务数据，可
转载
2023-07-21 14:34:57
86阅读
2 抽象类的概述及特点* A：抽象类概述* 抽象就是看不懂* B：抽象类的特点 * a:抽象类和抽象方法必须有abstract 关键字修饰* abstract class 类名{} * public abstract void eat();* b:抽象类不一定有抽象方
转载
2024-10-22 18:56:13
10阅读
人工智能的快速发展推动了大模型的广泛应用，它们在语言、视觉、语音等领域的应用效果已经越来越好。但是 的任务。AIGC（AI芯片）的出现进一步加快了大模型的推广，它可以提供更快的计算速度和更大的存储容量。本文将介绍AIGC下大模型微调的方法，包括微调所有层、微调顶层、冻结底层、逐层微调和迁移学习。
原创
2023-03-17 20:10:57
1260阅读
1 面试题1.1 简述Hadoop小文件弊端过多的小文件会加重 namenode 负担，增加寻址成本，降低处理效率，最终导致集群整体性能下降。1.2 HDFS中DataNode挂掉如何处理？HDFS namenode 与 HDFS datenode 具有周期性心跳通信机制，检查发现某个数据的副本数量小于冗余因子时，说明有 datanode 节点宕机，HDFS 就会启动数据冗余复制，为它生成新的副本
转载
2024-02-22 23:28:49
38阅读
前言本次作业是在《爬虫大作业》的基础上进行的，在《爬虫大作业》中，我主要对拉勾网python岗位的招聘信息进行的数据爬取，最终得到了2641条数据存在一个名为lagoupy.xls中。本次作业的任务主要有以下三点：1.对CSV文件进行预处理生成无标题文本文件，将爬虫大作业产生的csv文件上传到HDFS2.把hdfs中的文本文件最终导入到数据仓库Hive中，在Hive中查看并分析数据3.用Hive对
转载
2023-07-11 22:18:52
194阅读
一、Hadoop综合大作业 要求：1.将爬虫大作业产生的csv文件上传到HDFS爬取的数据总共有10个表格（分别是不同类别）2.对CSV文件进行预处理生成无标题文本文件对字段进行预处理：查看生成的table.txt：3.把hdfs中的文本文件最终导入到数据仓库Hive中启动hdfs：4.在Hive中查看并分析数据5.用Hive对爬虫大作业产生的进行数据分析，写一篇博客描述你的分析过程和
转载
2024-01-16 18:11:23
55阅读
大数据第二次作业操作大家好，我是【豆干花生】，这次我带来了大数据的第二次实践作业~ 主要内容为hadoop编程，使用GraphLite进行同步图计算 可以说十分具体了，包含了具体操作、代码指令、各个步骤截图。 文章目录大数据第二次作业操作一.作业内容二.第一个作业--hadoop编程1.具体代码如下：2.准备工作:3.具体操作三.第二个作业--同步图计算，SSSP1.具体代码2.准备工作3.具体操
转载
2024-03-14 05:44:43
92阅读
作业要求1.对CSV文件进行预处理生成无标题文本文件，将爬虫大作业产生的csv文件上传到HDFS2.把hdfs中的文本文件最终导入到数据仓库Hive中，在Hive中查看并分析数据3.用Hive对爬虫大作业产生的进行数据分析（10条以上的查询分析） 作业题目：爬取电影《何以为家》影评并进行综合分析大数据案列：1.准备本地数据文件对CSV文件进行预处理生成无标题文本文件，将爬虫大
转载
2023-12-13 12:02:55
244阅读
linux上，在
推荐
原创
2009-03-18 15:19:57
10000+阅读
点赞
8评论
先看一个例子 void fun(char *dest_str,const char *src_str){ strcpy(dest_str,src_str); } int main(void) { char dest_str[10]={0}; char src_str[]={"hello world" ...
转载
2021-07-12 22:06:00
81阅读
2评论
1. HADOOP背景介绍1． 1.1 什么是HADOOP1. HADOOP是apache旗下的一套开源软件平台2. HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3.
转载
2024-09-25 14:50:35
93阅读
meta是用来在HTML文档中模拟HTTP协议的响应头报文。meta 标签用于网页的<head>与</head>中，meta 标签的用处很多。meta 的属性有两种：name和http-equiv。name属性主要用于描述网页，对应于content（网页内容），以便于搜索引擎机器人查找、分类（目前几乎所有的搜索引擎都使用网上机器人自动查找meta值来给网页分类）。这其中最重...
原创
2023-04-24 14:30:28
63阅读
扩大作用域的范围我采用的技术是ThreadLocal类来实现 首先需要写一个过滤器 public class OpenSessionInView implements Filter{ @Override public void destroy() { // TODO Auto-generated m
转载
2016-04-05 20:48:00
301阅读
2评论
meta是用来在HTML文档中模拟HTTP协议的响应头报文。meta 标签用于网页的与中，meta 标签的用处很多。meta 的属性有两种：name和http-equiv。name属性主要用于描述网页，对应于content（网页内容），以便于搜索引擎机器人查找、分类（目前几乎所有的搜索引擎都使用网上机器人自动查找meta值来给网页分类）。这其中最重要的是description（站点在搜索引擎上的描...
转载
2008-05-05 22:46:00
87阅读
2评论
一 简介(1)异步消息：所谓异步消息，跟RMI远程调用、webservice调用是类似的，异步消息也是用于应用程序之间的通信。但是它们之间的区别是：RMI、Hession/Burlap、webservice等远程调用机制是同步的。也就是说，当客户端调用远程方法时，客户端必须等到远程方法响应后才能继续执行异步消息，顾名思义消息是异步发送，消息发送者不需要等待消息消费者处理消息，甚至不需要等待消息投递
要命的一个礼拜终于要过去了，这周我的一个系统（apache-jk-tomcat），总是在有大并发访问的时候出现tomcat宕掉。==================================================处理过程：1、查看日志，输出信息为tomcat连接数已满，线程阻塞，之后将tomcat-ajp的maxthreads为600，并做量为750的等待队列。就在我们都认为问题解
原创
2013-10-11 18:29:44
1155阅读
meta是用来在HTML文档中模拟HTTP协议的响应头报文。meta 标签用于网页的<head>与</head>中，meta 标签的用处很多。meta 的属性有两种：name和http-equiv。name属性主要用于描述网页，对应于content（网页内容），以便于搜索引擎机器人查找、分类（目前几乎所有的搜索引擎都使用网上机器人自动查找meta值来给网页分类）。这其中
转载
精选
2014-10-19 15:49:09
280阅读
调整网络为绑定模式，但启动时候会报错，此时执行命令 modprobe bonding 可以解决问题。
之前在磁盘方面遇到问题也是通过modprobe命令解决的，又遇到这个命令，似曾相识。于是看下该命令：
Linux命令：modprobe 。
功能说明：自动处理可载入模块。
语 法：modprobe [-acdlrtvV][--help][模块文件][符号名称 = 符号值]。
补充说明：modp
原创
2021-07-18 14:08:01
1189阅读
1.将爬虫大作业产生的csv文件上传到HDFS爬取豆瓣网战狼2电影的影评数据把爬取到的csv文件存放到ubuntn系统中，并创建存放的文件夹bigdatacase、dataset：把下载好的影评test.csv文件文本拷贝到dataset目录下并查看文件查看文件的前五条数据删除表头2.对CSV文件进行预处理生成无标题文本文件每个字段用\t隔开，这里有7个字段。把处理后文件保存到txt文件中启动ha
转载
2023-07-24 13:31:51
149阅读
Hadoop框架Hadoop框架概述Hadoop的优势Hadoop的组成HDFS架构YARN架构MapReduce架构 Hadoop框架概述什么是Hadoop？Hadoop是是由Apache基金会所开发的分布式系统的基础框架；主要解决海量数据的存储和分析计算问题，是大数据发展的起点，如今，Hadoop从广义上来说 通常指更广泛的概念–hadoop生态圈；Hadoop的优势Hadoop在处理大量的
转载
2023-08-03 14:32:14
37阅读
