linux的网络配置以及环境配置---(Day01)1.centos7 的网络配置(我们设置的虚拟网卡可以比作是windows和linux之间的一个交换机的网络设置)1.1 打开vmware虚拟机,在虚拟机中点击编辑下的虚拟网卡设置,如图1.2 点击之后设置子网(子网指的就是网段),子网掩码,然后点击NAT设置1.3 设置NAT ,这里设置的NAT指的就是设置虚拟机中交换机的ip地址&
转载
2024-09-09 17:37:58
28阅读
调研Hadoop颇久，就是想知道hadoop是什么？hadoop能做什么？怎么用hadoop？最主要是这三块，至于投入和风险也会随之出来（浓缩了我几十页的调研方案啊！！！）hadoop是什么？Hadoop是一个开源的框架，可编写和运行分不是应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存
转载
2023-07-12 12:38:51
122阅读
在Hadoop中ApplicationMaster是干什么的？ ...
转载
2021-10-24 12:50:00
239阅读
2评论
下载地址：https://github.com/mysqljs/mysql安装 $ npm install mysql 有关以前的0.9.x版本的信息，请访问v0.9分支。有时我也可能会要求您从Github安装最新版本，以检查是否有bug修复。 在这种情况下，请做： $ npm install mysqljs/mysql 介绍这是一个用于mysql的node.js驱动程序。 它是用JavaS
# Hadoop 预先安装 Vim 是干什么？
Hadoop 是一个开源框架，旨在处理和存储大规模数据集。随着大数据时代的到来，Hadoop 已成为数据处理领域的重要工具之一。Hadoop 的主要组件包括 Hadoop 分布式文件系统（HDFS）、MapReduce 和 YARN 等。在使用这些组件进行大数据处理时，用户往往需要一种简便的文本编辑工具来管理和修改配置文件以及脚本。此时，Vim 作
Node.js path模块提供了一些用于处理文件路径的小工具，我们可以通过以下方式引入该模块： var path = require("path") path模块介绍： 方法 1、path.normalize(p) 规范化路径，注意'..' 和 '.'。 2、path.join([path1][,
转载
2020-12-04 15:14:00
138阅读
2评论
1. Spring定义了多种作用域，可以基于这些作用域创建bean，包括： 单例（Singleton）：在整个应用中，只创建bean的一个实例。（默认）原型（Prototype）：每次注入或者通过Spring应用上下文获取的 时候，都会创建一个新的bean实例。 <1>如果使用组件扫描来发现和声明bean，那么可以在bean的 类上使用@Scope注解，将其声明为原型bean：
Hadoop是一个开源、高可靠、可扩展的分布式计算框架，主要用来解决海量数据的存储（HDFS）、海量数据的分析（MapReduce）、分布式资源调度（Yarn）等。Hadoop可以用于日志分析、基于海量数据的在线应用、推荐系统、计算广告、复杂算法、网盘和搜索引擎等。Hadoop的起源是Lucence，Lucence是用java编写的，用于实现和Google类似的全文检索功能，Hadoop是2005
转载
2023-07-12 12:38:59
120阅读
1、准备机器hadoopn1~~hadoopn62、创建hadoop用户，密码hadoop3、配置Java环境变量export JAVA_HOME=/home/hadoop/Public/bigdata/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin 4、修改主机名vim /etc/sysconfig/network 5、防火墙设置#关
Hadoop能够进行大批量数据的离线处理,但是在实时计算上的表现实在是不尽如人意;而Storm就可以担当这部分的角色，今天，就让我们看看关于Storm的精华问答吧。 1 Q：hadoop是什么A：Hadoop被公认是一套行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司，如EMC、Mi
转载
2023-09-13 23:24:55
33阅读
Pig包括两部分：用于描述数据流的语言，称为Pig Latin。用于执行Pig Latin程序的执行环境，当前有两个环境：单JVM中的本地执行环境和Hadoop集群上的分布式执行环境。 Pig内部，每个操作或变换是对输入进行数据处理，然后产生输出结果，这些变换操作被转换成一系列MapReduce作业，Pig让程序员不需要知道这些转换具体是如何进行的，这样工程师可以
转载
2023-07-25 00:35:07
138阅读
DBA 职责及日常工作职责:1.安装和升级数据库服务器,以及应用程序工具构建和配置网络环境.2.熟悉数据库系统的存储结构预测未来的存储需求,制订数据库的存储方案.3.根据开发人员设计的应用系统需求创建数据库存储结构.4.根据开发人员设计的应用系统需求创建数据库对象5.根据开发人员的反馈信息,在必要的时候修改数据库的结构6.管理数据库的用户维护数据库的安全性7.控制和监控用户对数据库的存取访问8.监
原创
2013-01-21 13:42:36
617阅读
摘要机器学习是让计算机从较多的数据中提取出有用的信息，最后拥有决策判别的能力，那么在研究这件事之前，先放一张图片来做一个总结：（图片来源于网络）当我第一次看到这个图的时候，就被吸引了，因为这么简单的6个小框框就诠释出了数据分析，机器学习，以及知识和信息的本质，那就是：数据经过处理和加工，变成了信息。信息之间产生了联系，形成了知识。通过现有知识，发现了一些知识之间的新关系，于是形成了洞见。把一系列洞
原创
2021-04-24 21:48:19
248阅读
摘要机器学习是让计算机从较多的数据中提取出有用的信息，最后拥有决策判别的能力，那么在研究这件事之前，先放一张图片来做一个总结：（图片来源于网络）当我第一次看到这个图的时候，就被吸引了，因为这么简单的6个小框框就诠释出了数据分析，机器学习，以及知识和信息的本质，那就是：数据经过处理和加工，变成了信息。信息之间产生了联系，形成了知识。通过现有知识，发现了一些知识之间的新关系，于是形成了洞见。把一系列洞
原创
2021-04-24 21:48:23
211阅读
redis是一个支持持久化的内存数据库，也就是说redis需要经常将内存中的数据同步到磁盘来保证持久化。redis支持四种持久化方式，一是 Snapshotting（快照）也是默认方式；二是Append-only file（缩写aof）的方式；三是虚拟内存方式；四是diskstore方式。下面分别介绍之。（一）Snapshotting &n
转载
2024-10-16 11:19:00
48阅读
现在好像大家都在讲 大数据 云计算 hadopp .那么hadoop究竟能做些什么呢? 网上的资料大多是这么写的： 一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点
转载
2023-08-04 10:43:52
38阅读
