1、Hadoop是什么? Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据
转载
2023-07-12 12:36:07
57阅读
MySQL中concat函数
使用方法：
CONCAT(str1,str2,…)
转载
2023-05-30 09:40:58
160阅读
1. CONCAT 字符串连接函数CONCAT的两个优点 ：
（1）.当数据类型不一致的时候可以自动类型转换 ；（2）.对于null的处理，自动将null转换成‘’ 。
SELECT CONCAT('CONCAT',null,'是个','很好用的','字符串连接函数') --[CONCAT是个很好用的字符串连接函数] （多字段连接）
--SQL
转载
2023-05-31 09:00:47
11阅读
在服务器上搭建了hadoop的伪分布式环境。大神的博客上是使用eclipse来调试，但是我入门以来一直用的是idea，eclipse已经不习惯，于是便摸索着配置了idea远程调试hadoop的环境。步骤一：下载与服务器上的hadoop同版本的hadoop安装包，我下载的是hadoop-2.7.7.tar.gz，下载后解压到某个目录，比如D:\Software\hadoop-2.7.7，
转载
2023-07-12 11:34:19
93阅读
大数据Hadoop 二一、Xshell安装（以Xshell5）为例1、安装前准备（前一篇文章有下载连接）2、打开xshell5_5.0332.exe安装Xshell二、FileZilla安装1.打开FileZilla_3.47.2.1_win64-setup.exe安装FileZilla三、通过Xshell连接虚拟机master（开启状态下）1、查看master的IP地址a） 使用root用户登
转载
2023-10-24 11:20:15
119阅读
最近公司让我搭建64位的集群，我重新编译了一下
hadoop的源码，并部署环境。在这个过程中遇到了一些问题：问题1：hdfs-site.xml文件的配置问题，在配置 <property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/grid/
转载
2023-07-12 11:34:04
75阅读
# Hadoop 日期函数转字符串的探索
在大数据处理中，日期和时间的管理是一项重要且复杂的任务。Hadoop是一个流行的分布式计算框架，而在使用Hadoop时，处理日期和时间是不可避免的。在这个过程中，将日期格式转换为字符串格式是一项常见的需求。本篇文章将介绍如何在Hadoop中实现日期函数转字符串，以及一些实际的代码示例。
## 什么是Hadoop中的日期函数？
在Hadoop的生态系统
原创
2024-10-13 05:03:59
33阅读
用eclipse连接集群查看文件信息提示9000port拒绝连接的错误
Cannot connect to the Map/Reduce location: hadoop1.0.3
Call to ubuntu/192.168.1.111:9000 failed on connection exception: java.net.ConnectException: 拒绝连接1.
转载
2023-09-14 08:20:04
219阅读
第一次写Blog。数据库（NoSql），现在想使用Hadoop对数据库的数据进行处理，涉及到数据库的连接，及相关的CRUD操作。所以，要实现一个Hadoop的连接器。类似于Mongodb，连接到数据库，需要先得到数据库对象db，然后得到数据库的collectionSpace，再得到collection，然后，就可以进行数据的读取与写入操作。元数据都是用BSON/JSON结构。下面进入Hadoop连
转载
2024-07-30 15:43:21
54阅读
文章目录前言一、认识并使用strcat函数二、模拟实现strcat函数1.明确思路2.代码实现 前言strcat函数又称字符串追加或字符串连接函数，函数的功能就是在一个字符串后面追加上另外一个字符串。一、认识并使用strcat函数1.库函数中strcat函数的声明->头文件string.hchar* strcat(char* Destination, const char* source)
转载
2024-01-02 13:13:54
81阅读
目录一.strcat_s 函数简介二.strcat_s 函数原理三.strcat_s 函数实战一.strcat_s 函数简介strcat_s函数和strcat函数一样，主要用于字符串拼接；strcat_s是系统的安全函数，微软在2005后建议用一系统所谓安全的函数，这中间就有strcat_s取代了strcat，原来strcat函数，没有方法来保证有效的缓冲区尺寸，所以它只能假定缓冲足够大来容纳要拷
转载
2024-04-20 20:37:59
42阅读
# 连接字符串函数 MySQL 实现步骤
在实现连接字符串函数 MySQL 的过程中，首先需要了解整个流程。下面是连接字符串函数 MySQL 的实现步骤的表格展示：
| 步骤 | 操作 |
| --- | --- |
| 1 | 导入 MySQL 驱动 |
| 2 | 建立与数据库的连接 |
| 3 | 创建游标对象 |
| 4 | 编写 SQL 语句 |
| 5 | 执行 SQL 语句 |
原创
2023-08-01 14:41:47
59阅读
strcat是连接字符串的函数。函数返回指针，两个参数都是指针，第一个参数所指向的内存的地址必须能容纳两个字符串连接后的大小。char *my_strcat(char*dest, const char*src)//把src所指字符串添加到dest结尾处(覆盖dest结尾处的'  
原创
2015-11-19 00:08:05
802阅读
字符串连接函数strcat
转载
2018-05-04 13:22:32
6449阅读
1、CONCAT(str1,str2,…) 返回结果为连接参数产生的字符串。如有任何一个参数为NUL
原创
2022-06-15 17:13:16
219阅读
目录一、概述（1）大数据的发展历程（2）大数据的特征及核心工作内容（3）常见的大数据技术框架及其负责的场景二、Apache Hadoop三、Hadoop HDFS部署（1）分布式的基础架构（2）HDFS的基础架构（3）Vmware Workstation部署HDFS集群（4）云服务器上部署HDFS集群四、Hadoop HDFS的Shell操作（常见命令）（1）进程的启停管理（2）文件系统操作命令五
转载
2024-08-02 13:53:26
42阅读
目录一、概述二、EFAK kafka鉴权配置（zookeeper无鉴权）1）kafka Kerberos 鉴权 配置1、启动zookeeper服务2、启动kafka服务3、配置EFAK4、把配置copy到几个节点5、启动EFAK服务6、测试验证2）kafka 账号密码鉴权 配置1、启动zookeeper服务2、启动kafka服务3、配置EFAK4、把配置copy到几个节点5、启动EFAK服务6、测
转载
2023-12-13 21:49:37
147阅读
目录一.前言二.hive的启动与连接2.1 启动hadoop2.2 启动hive2.3 一些注意事项一.前言 太久没用hive了，今天想重新熟悉一下，结果发现自己甚至忘记了怎么启动。。于是特此记录篇笔记，便于以后忘记时查阅，不会写的太细。 &nbs
转载
2023-09-01 08:40:37
183阅读
到官网下载eclipse，这里我下载2021-6版本的eclipse，网站https://www.eclipse.org/downloads/packages/（2）解压刚刚下载好的eclipse压缩包，可以到文件夹中双击带有一个大齿轮图片文件名为eclipse的文件来启动安装程序也可以通过shell命令执行eclipse-init文件来安装，如下图：（3）安装选择java Developers选
转载
2023-11-11 23:57:39
68阅读
首先打开虚拟机centos以及他的三个克隆机，并打开xshell连接到这四台虚拟机。 到此就已成功打开和连接。然后在xshell中连接的主机centos7上输入如下命令打开集群：（一条一条的输入）cd /opt/hadoop-3.1.4/sbin
./start-dfs.sh
./start-yarn.sh
./mr-jobhistory-daemon.sh start historys
转载
2023-09-17 13:23:01
215阅读
