江上晚风吟n的博客_大数据运用

pig编程应用

查询气温（1）气温数据文件temperature.txt的内容hadoop@ddai-desktop:~$ vim temperature.txthadoop@ddai-desktop:~$ more temperature.

pig

mapreduce

hadoop

大数据

java

原创 2022-05-09 21:35:22 179 阅读

pig安装应用

pig安装1、客户端主机安装软件并解压hadoop@ddai-desktop:~$ cd /opt/hadoop@ddai-desktop:/opt$ sudo tar xvzf /home/hadoop/pig-0.

大数据

hadoop

pig

desktop

数据

原创 2022-05-09 21:35:14 506 阅读

HIVE CLI数据库实操

1、建立基本数据hadoop@ddai-desktop:~$ sudo vim /score.txt#一个tab键分割字符610213 Tom 85 79610215 John 80 85610222 Marry 75 872、

hive

hdfs

大数据

hadoop

数据库

原创 2022-05-09 21:34:45 255 阅读

初入Ubuntu常见问题以及集群前的必要配置（2）

文章目录NTP时间同步主节点1、安装NTP软件2、配置NTP3、启动NTP服务从节点（slave1 和 slave2）1、安装NTP软件（同主节点）2、配置NTP3、启动NTP服务4、测试查看时间修改时区，改为中国北京（主节点和从节点都要进行）SSH免密证书登录1、各集群节点创建用户hadoop，UID、GID设为一样2、添加用户hadoop到用

hadoop

ssh

大数据

用户组

时间同步

原创 2022-05-09 21:34:22 124 阅读

初入Ubuntu常见问题以及集群前的必要配置（1）

具体详细过程请看以下博客：server安装desktop安装https://developer.aliyun.com/mirror/一开始进来Ubuntu不是root用户登录的

linux

ubuntu

大数据

vim

desktop

原创 2022-05-09 21:14:22 80 阅读

Ubuntu中实现mapreduce编程

注意：在写本文前，已经完成了三台机的Hadoop集群，desktop机已经配好了网络、yum源、关闭了防火墙等操作，详细请看本专栏第一、二篇部署eclipse1

hadoop

mapreduce

ubuntu

大数据

desktop

原创 2022-05-09 21:13:26 361 阅读

Ubuntu中实现Hadoop集群

文章目录hadoop集群java安装1、上传jdk安装包，并解压2、所有节点编辑环境变量3、使jdk环境变量生效4、复制到从节点5、测试hadoop安装1、上传hadoop安装包2、所有节点编辑hadoop环境变量3、使所有节点hadoop环境变量生效4、编辑hadoop配置文件（5个）5、复制到从节点hadoop启动测试1、格式化namenode2

hadoop

大数据

linux

ubuntu

hdfs

原创 2022-05-09 21:07:50 298 阅读

hive编程小案例

1、删除表程序编写删除表程序hadoop@ddai-desktop:~$ vim drop_test_external.javaimport java.sql.SQLException;import java.sql.Connection;import java.sql.DriverManager;import java.sql.Statemen

hive

jdbc

mysql

大数据

ubuntu

原创 2022-05-09 21:04:36 146 阅读

hive数据仓库搭建

mysql安装1、主节点安装mysqlhadoop@ddai-master:~$ sudo apt updatehadoop@ddai-master:~$ sudo apt install mysql-client mysql-server2

hive

大数据

hadoop

ubuntu

mysql

原创 2022-05-09 21:04:15 546 阅读

MySQL与Hive/HBase数据转移

文章目录MySQL与Hive之间数据转移1、MySQL的dept表导入Hivebug 1bug 22、查看Hive表数据3、清空MySQL的dept表4、Hive表数据导出到MySQL5、查询dept表的confi

mysql

hive

sqoop

大数据

hbase

原创 2022-05-09 21:03:47 519 阅读

hbase的部署应用

hbase安装1、上传hbase安装包并解压hadoop@ddai-master:~$ tar xzvf /home/hadoop/hbase-2.2.6-bin.tar.gz -C /opt/2、修改配置文件（4个）

hbase

ubuntu

zookeeper

hadoop

大数据

原创 2022-05-09 21:02:45 523 阅读

hive与hbase集成案例

1、创建外部表hive> create external table hive_score ( key string, name map<string,string>, class string, java string, python string ) stored by 'org.apache.hadoop.hive

hbase

大数据

hive

hadoop

spark

原创 2022-05-09 21:02:12 271 阅读

mysql与hdfs的数据迁移（sqoop）

文章目录1、查看mysql数据2、查看mysql表3、mysql表导入到hdfs4、查看hdfs5、清空dept表6、数据从hdfs导出到MySQL表7、查询dept表8、Sqoop Import 增量导入到 HDFS打开一个 dektop 终端

hdfs

ubuntu

sqoop

mysql

hadoop

原创 2022-05-09 20:59:34 556 阅读

sqoop与mysql-client的部署

文章目录客户端安装sqoop1、上传下载的 sqoop 软件并解压2、解压sqoop压缩包并修改属性3、修改sqoop配置参数4、修改环境变量并生效5、上传 mysql-connector-java-5.1.48.jar安装mysql

hadoop

mysql

linux

sqoop

大数据

原创 2022-05-09 20:59:17 168 阅读

spark部署

文章目录主节点安装软件（1）下载Scala和Spark软件包并解压设置Spark参数（1）修改spark-env.sh文件（2）修改slaves文件（3）修改环境变量并生效Slave节点安装软件（1）登录从节点1节点安装软件（2）登录从节点2节点安装软件（3）修改从节点1节点和从节点2节点环境变量并生效测试Spark（1）登录各集群节点启动Zookeeper服务并查看服务状态（

hadoop

大数据

spark

linux

zookeeper

原创 2022-05-09 20:36:14 215 阅读

spark数据分析

spark案例1、sparkpihadoop@ddai-master:/opt/spark-2.1.0-bin-hadoop2.7$ vim SparkPihadoop@ddai-master:/opt/spark-2.1.0-bin-hadoop2.7$ run-example SparkPi 10 >

spark

大数据

hadoop

java

mapreduce

原创 2022-05-09 20:35:22 512 阅读

spark编程应用

文章目录搭建Scala-IDE环境单词计数编程使用Scala语言实现Java语言实现搭建python环境实现k-means聚类算法搭建Scala-IDE环境1、下载安装开发包由于当前有个eclipse-ide

大数据

python

聚类

hadoop

spark

原创 2022-05-09 20:34:48 197 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Above the cloud

pig编程应用

pig安装应用

HIVE CLI数据库实操

初入Ubuntu常见问题以及集群前的必要配置（2）

初入Ubuntu常见问题以及集群前的必要配置（1）

Ubuntu中实现mapreduce编程

Ubuntu中实现Hadoop集群

hive编程小案例

hive数据仓库搭建

MySQL与Hive/HBase数据转移

hbase的部署应用

hive与hbase集成案例

mysql与hdfs的数据迁移（sqoop）

sqoop与mysql-client的部署

spark部署

spark数据分析

spark编程应用