Spark是Berkeley AMP实验室研究的最新成果。它是一个基于内存有容错性能的通用的集群计算框架。它的主要目的是用来处理iterative算法（机器学习）和iteractive查询（数据挖掘的一些工具）。这两种应用场景的共同点是对一个基本不变的数据集会重复访问。而mapreduce对这样的算法的处理性能比较一般。Spark的具体原理不在这里讲述，有兴趣的朋友可以去http://www.sp
1、爬虫实习(2月)如果公司已经搭建好了爬虫框架比如scrapy那么爬的方向可能也是固定的，代码复用率应该很高，只需要分析页面的逻辑，以及想要爬的字段，自己按照前辈写的代码修改就好了，如果公司没有搭建好框架，你是公司的第一个爬虫工程师，你要考虑对于爬取的数据是一次就够还是不定期都需要爬取，是否要搭建框架，只有当做的多了，需求一来，看看页面就知道做不做的了，后期可以往数据分析发展，大数据是以数据为基
转载
2023-10-08 12:50:31
1215阅读
一.大数据的特点： 数据多，类型多，更新快，更新内容多。二.分类（classification）与混淆矩阵（confusion matrix） 这里的分类说的是二分类问题，比如说把人分为好人和坏人，即非黑即白。混淆矩阵就是将Actual value和predicted&n
# Hadoop实验报告心得
## 概述
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。它提供了可靠性、可扩展性和容错性，使得处理大数据变得更加高效。在本次实验中，我们学习了Hadoop的基本概念和使用方法，并进行了一些简单的实验。
## Hadoop的基本概念
Hadoop由两个核心组件组成：HDFS（Hadoop分布式文件系统）和MapReduce。HDFS是一个分布式文件
原创
2023-08-20 07:56:54
737阅读
一：首先在我们更好的理解UML类图之前，我先用几个简单的小例子把UML类图所存在的关系给表达清楚-_-!1）第一个叫泛化，名字听起来很高级，也就是我们常说的继承，就像古代的皇帝快要驾崩了，需要指定皇子来继承王位，但“继承”可要比皇子继承皇位（单继承）要牛多了，他给人的印象就像是“一人得到。鸡犬升天！”（多继承）。表示形式为子类（皇子）带有空三角的实线指向（”皇子他爹“）基类。2）第二个叫实现，，没
实验指导：18.1 实验目的1． 了解Spark Streaming版本的WordCount和MapReduce版本的WordCount的区别；2． 理解Spark Streaming的工作流程；3． 理解Spark Streaming的工作原理。18.2 实验要求要求实验结束时，每位学生能正确运行成功本实验中所写的jar包程序，能正确的计算出单词数目。18.3 实验原理18.3.1 Spark
一、实验概述：【实验目的】掌握Spark计算环境的搭建方法；掌握Scala/Python语言下的Spark基本程序设计方法。【实验要求】保存程序，并自行存档；最终的程序都必须经过测试，验证是正确的；认真记录实验过程及结果，回答实验报告中的问题。【实施环境】（使用的材料、设备、软件） Linux操作系统环境，VirtualBox虚拟机，Hadoop、Spark等程序。二、实验内容第1题 Spark计
JAVA学习总结 很快，已经经历了一学期的JAVA编程的学习，但是仔细一想，我所学到的和本应该能得到的一比少之又少；但是起初我并不是这么想的，在C和Python都没有学的很好的前车之鉴下，我本想杀下心好好地去学一学郑老师所教授的JAVA这门编程课程，可能本身对语言之类的学习并不是很感兴趣，导致了在大学中和编程有关的学习中，对知识的掌握都不尽人意。以下是我对本学期的学习结果的
Hadoop实施已经有快一个月了，对Hadoop(1.0.3)的概念理解、使用，Linux 与 Shell脚本，甚至对 Mysql 都有了更多的理解。项目背景：用于互联网信息收集后的关键词匹配与内容提取。主要系统架构分为互联网爬虫、分析、业务应用三块： 简单架构描述
由于我在当中的角色主要负责分析架构的搭建，所以其他两块都画得简单，下面也不会过多的描述。 Hadoop理解
## Python GUI编程实验报告心得
### 引言
Python是一种流行的编程语言，它具有易于学习、可读性强和丰富的第三方库等特点。其中，Python的GUI编程能力使得开发人员可以创建交互式的图形用户界面，以增强用户体验。在本实验报告中，我将总结我的学习体验，分享我在Python GUI编程方面的心得和经验。
### 实验背景
在实验中，我们使用了Python中的Tkinter库
原创
2023-09-12 12:56:44
653阅读
spark前言spark安装注意事项一些warning&bug1. SLF4J: Class path contains multiple SLF4J bindings.2. Path does not exist: file:/README.md3. module java.base does not "opens java.net" to unnamed module @48a8a4
学习目录一.Spring框架认识1.什么是Spring2.Spring的优点二.Spring环境搭建与第一个项目环境搭建第一个项目三.IOCIOC理论推导几种常见的属性注入方式装配四.AOP什么是AOP呢？第一种实现方式第二种实现方式第三种实现方式五.Spring整合Mybatis 一.Spring框架认识1.什么是SpringSpring是一个开源的免费的框架（容器）！
Spring是一个轻量
PaddlePaddle图像分割七日打卡营——学习心得一、图像分割二、FCN网络图像分类和图像分割的区别FCN网络结构 本文参考图像均来自课程课件 一、图像分割首先介绍一些基本概念：图像分割：把目标物体和背景区分开来 图像语义分割：不光要区分开来还要知道该图像是什么，因此要给每个pixel(像素)分类 图像实例分割：比如一张图片上有两只猫，要对他们进行id编号，要知道哪个是第一只猫，哪个是第二
实验报告3一、实验名称：交换机端口隔离二、实验目的理解交换机VLAN的特点三、实验准备1、每小组3台可运行的计算机，RG-S2126交换机一台四、实验注意事项1、每组3个同学轮流操作，记住常用的show命令。2、验过程要做好每个步骤的操作和结果记录。五、实验步骤(在PC1上操作)1、配置交换机主机名为SahzxSwitch# !进入全局配置模式
Switch(config)# !修改主机名为Sah
在idea中进行操作//System.setProperty("hadoop.home.dir","+hadoop路径")去解决could not locate winutils.exe的问题
//spark配置，指定任务的名称，指定资源管理器等
val conf=new Sparkconf()
//本地模式（方便实验，开启本地的进程执行程序）
conf.setMaster("local"
转载
2023-11-06 21:51:16
165阅读
说明：此文是OSPF的详细总结，因笔者能力有限，故从网络、书籍等各个方面收集整理，耗费巨大精力，终成此篇。非常感谢文中引用的材料的作者，如若侵权，请联系我，立马整改希望广大读者能够从中吸取营养，如若发现个别问题或者补充，可留言。文章目录1 ospf产生原因1.1 其他路由协议存在缺陷1.2 ospf协议的基本特点2 ospf 的基础知识2.1 ospf协议的概念2.2 OSPF路由计算过程2.3
实验一 Java开发环境的熟悉 实验报告Java开发环境的熟悉-1第一步的内容相当基础，不再赘述。Java开发环境的熟悉-2断点的设置以及单步调试是编程中调试的重要方式。例如下图就是设置了一个断点。单步调试。Java开发环境的熟悉-3这次的实验指导这个环节才算是真正的开始。我的题目是第七题，也就是实现求两个数的最大公约数和最小公倍数的功能，数从命令行输入，并进行测试。我认为这个题目的核心有两点：第
1> 关于load 数据的时候，如果数据不是在本地，那么是不需要加上local关键字；此时，表示的是数据在HDFS上，可能会问：数据本来就是在HDFS上，那为什么还要load呢？load的目的就是将数据的目录修改，修改指向到/usr/hive/warehouse下面。因此，如果考虑和规划不当，那么会导致HDFS上目录的很大变化。 关于over
目录Numpy一、简介1、安装2、特殊的导包二、ndarray-多维数组对象1、创建ndarray数组1.1 array1.2 arange1.3 linspace1.4 zeros1.5 ones1.6 empty1.7 eye2、ndarray对象的特点3、ndarray的常用属性4、ndarray的数据类型5、索引和切片5.1 一维数组5.1.1 索引5.1.2 切片5.2 二维数组5.2.
转载
2023-11-02 09:08:12
985阅读
# MySQL索引视图实验报告心得
## 1. 整体流程
下面是实现"mysql索引视图实验报告心得"的整体流程：
| 步骤 | 操作 | 代码示例 |
|-------|----------------------------|-------
原创
2023-09-11 05:40:09
526阅读
