写在学习笔记之前的话：寒假已经开始好几天了，似乎按现在的时间算，明天就要过年了。在家的这几天，该忙的也都差不多了，其实也都是瞎忙。接下来的几点，哪里也不去了，静静的呆在家里学点东西。所以学习一下Hadoop的相关知识，跟自己的研究方向毛关系没有啊，就当自己的兴趣爱好吧。学习目标：（1）掌握Hadoop基本知识，进行Hadoop的HDFS和MapReduce应用开发，搭建Hadoop集群。（2）掌握
转载
2023-08-30 19:24:27
57阅读
1. 下载并解压Hadoop2.x1) 在本地下载压缩包，用rz上传。 2) 解压：sudo tar xfvz Hadoop-2.10.1.tar.gz 2. &nb
转载
2023-07-13 14:36:37
79阅读
可视化窗口、容错机制import docker
import sys
import tkinter
import tkinter.messagebox
import random
import paramiko
import tkinter.font as tkFont
from PIL import Image, ImageTk
from tkinter import ttk
import os
背景分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。具体到Hadoop集群，由于hadoop的HDFS对数据文件的分布式存放是按照分块block存储，每个block会有多个
转载
2024-02-26 20:51:15
35阅读
（我不是Hadoop专家，也只是一个初学者，这里我也只是就自己的学习体会，站在初学者的角度谈一下如何入门。）
首先我觉得应该思考这样一个问题：Hadoop对于我们来讲，是一种工具，那么Hadoop帮助我们解决了什么问题？或者换个角度想，没有Hadoop，我们做同样一项工作会增加什么任务？（想清楚了这问题，心里就会形成Hadoop到底是什么，能做什么的概念。初学者在最初时候很容易
转载
2024-01-23 22:54:28
47阅读
本篇博客主要参考了2017年的在ICLR会议上发表的论文《BI-DIRECTIONAL ATTENTION FLOW FOR MACHINE COMPREHENSION》。所谓机器阅读理解任务，指的就是给一段context描述，然后对应的给一个query，然后机器通过阅读context后，给出对应query的答案。这里做了一个假设，就是query的答案必须是能够在context原文中找到的一段话（
转载
2024-09-20 20:09:28
45阅读
Python Spark 机器学习（一）主要是MLlib包(基于RDD)和ml包(基于DataFrame)的使用Python Spark MLlib 决策树二元分类通过Kaggle上一个题目来实践： StumbleUpon Evergreen Classification Challenge该题目内容是判断一个网页内容是暂时性的(ephemeral)还是长青的(evergreen)，具体内容可以在
转载
2024-07-10 15:23:03
46阅读
# 机器学习和机器视觉
## 介绍
机器学习和机器视觉是人工智能领域中非常重要的两个子领域。机器学习是让计算机系统通过学习数据和模式来改进性能，而机器视觉则是让计算机系统能够理解和解释图像或视频数据。结合机器学习和机器视觉可以实现许多有趣和实用的应用，比如人脸识别、自动驾驶等。
在本文中，我们将介绍机器学习和机器视觉的基本概念，并通过一个简单的代码示例来说明它们的应用。
## 机器学习
原创
2024-06-28 05:42:37
120阅读
无论是在Hadoop集群中添加机器和删除机器，都无需停机，整个服务不中断。本次操作之前，Hadoop的集群情况如下：HDFS的机器情
转载
2011-11-09 12:43:00
110阅读
2评论
01 信号卷积一、作业简介 卷积运算是信号与系统分析中的重要运算。 卷积运算包括有连续时间信号的卷积和离散序列的卷积和。 卷积中积分的上下限需要根据参与卷积运算信号的起始和结束时间进行确定， 根据信号波形很容易确定卷积中积分中的上下限。 在第四次作业中第一题，则是要求直接根据公式计算信号的卷积， 这种方式适合于简单不分段无限长的信号计算相应的卷积， 通过这个作业练习也帮助我们掌
自然语言处理（Natural Language Processing，简称NLP）和机器学习（Machine Learning）是当前人工智能领域中非常热门的两个方向。NLP是指让计算机能够理解和处理人类自然语言的能力，而机器学习是指通过训练模型使计算机能够自主学习和进行预测的能力。本文将介绍NLP和机器学习的基本概念，并给出相应的代码示例。
## 什么是自然语言处理（NLP）？
自然语言处理
原创
2024-01-01 04:45:26
225阅读
## 如何实现GWAS和机器学习
作为一名经验丰富的开发者，你需要教导刚入行的小白如何实现GWAS和机器学习。这里我将为你详细解释整个流程，并提供每个步骤所需的代码和解释。
### 流程图
```mermaid
flowchart TD
A[收集数据] --> B[数据清洗]
B --> C[数据预处理]
C --> D[特征选择]
D --> E[模型训练]
原创
2024-07-14 07:40:57
126阅读
之前学习yolo觉得挺简单，不用记的，时过境迁，我终于向我的记忆力屈服了，这知识它不进我的脑子啊！所以现在把影响我理解的地方记下来。YOLO思想： yolo会输入图片分成SxS 的小格子，物体的中心点落到某个格子中，那么这个格子就负责检测出该物体。 对于每个格子，都会检测出B个bounding box(bbox)，而对于每个bbox，
转载
2024-07-21 14:47:17
76阅读
在这篇博文中，我们将探讨计算机视觉（CV）与机器学习领域中遇到的关键问题，尤其是如何通过结构化的方法来解决这些问题。CV作为一项快速发展的技术，结合机器学习，可以为许多行业带来颠覆性的创新。然而，在实际应用中，我们必须面对若干技术痛点。
### 背景定位
在众多用户需求中，不少用户希望能够自动检测和识别图像中的对象，以提高工作效率。然而，这个需求在实现时，往往会遭遇诸如数据标记、模型训练效率低下
由于学校开了门大数据的课程，在做实验的时候踩了许多坑，所以将Hadoop安装过程以及踩坑和如何避免踩坑在这里和大家分享一下。这次Hadoop平台的搭建主要是搭建一个三台服务器的集群，采用完全分布式的方式。看本博客前需要将linux系统在虚拟机上搭建好。一、网络配置注：三台服务器都需要配置网络。（也可以采用克隆的方式，但要记得对其他两台机器的网络信息进行修改）还是建议大家每台都操作一遍，熟悉过程
转载
2024-05-21 23:33:36
69阅读
什么是机器学习 机器学习是人工智能的一个子集，即用机器去学习以前的经验。与传统的编程不同，开发人员需要预测每一个潜在的条件进行编程，一个机器学习的解决方案可以有效地基于数据来适应输出的结果。 一个机器学习的算法并没有真正地编写代码，但它建立了一个关于真实世界的计算机模型，然后通过数据训练模型。 机器学习如何工作？ 垃圾邮件过滤是一个很好的例子，它利用机器学习技术来学习如何从数百万封邮件
原创
2023-04-19 10:05:21
158阅读
注：本系列文章是学习百度Paddle官网摘抄笔记，如有侵权，联系删除！文章目录1. 人工智能、机器学习和深度学习的概念及关系2.深度学习的历史和发展1. 人工智能、机器学习和深度学习的概念及关系人工智能、机器学习和深度学习的概念在近些年十分火热，但很多从业者也难以说清它们之间的关系，外行人更是雾里看花。学习深度学习，需要先从三个概念的正本清源开始。三者覆盖的技术范畴是逐层递减的，人工智能是...
原创
2021-06-18 14:14:28
1340阅读
机器算法包括传统机器学习和深度学习
机器算法是当今数据科学与人工智能领域的核心技术，主要分为传统机器学习算法和近年来兴起的深度学习算法。传统机器学习依赖于特征提取和各种学习模型来处理数据，而深度学习通过层次化的神经网络从原始数据中自动学习特征，展现了卓越的性能。理解这两者的差异与结合，能够帮助我们更好地应用这些算法解决实际问题。
```mermaid
flowchart TD
A[机器
由于小编在本学期有一门课程需要学习hadoop,需要在ubuntu的linux系统下搭建Hadoop环境，在这个过程中遇到一些问题，写下这篇博客来记录这个过程，并把分享给大家。Hadoop的安装方式单机模式:Hadoop默认模式为非分布式模式(本地模式)，无需 进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试伪分布式模式:Hadoop可以在单节点上以伪分布式的方式运行， Hadoo
转载
2024-02-23 11:26:57
17阅读
而今，“深度学习工程师”进入
原创
2023-08-07 23:30:58
327阅读
