星辰大数据的博客_安全技术,项目管理,云服务,汇编语言,PostgreSQL,Linux tools,GIS

程序员快速学习的十大网站

菜鸟驿站：https://www.runoob.com/w3school：https://www.w3cschool.cn/易百教程：https://www.yiibai.com/腾讯云开发者手册：https://cloud.tencent.com/developer/devdocs阿里云开发者学习资源库：https://developer.aliyun.com/...

java

前端

后端

云计算

html

原创点赞0 阅读219 收藏0 评论0 2022-04-29

大数据进阶之 shell 脚本开发

shell脚本赋权chmod 777 file.sh1、for循环打印数组arr1=(20 21 23 24 25)arr2=(a b c d e f g)for i in ${arr1[*]};do echo -e $i "\c"doneechofor i in ${arr2[@]};do echo -e $i "\c"doneecho# -e：...

shell

linux

for循环

bash

遍历数组

原创点赞0 阅读34 收藏0 评论0 2022-04-22

QT5.14.1调用动态链接库

一、创建项目1、创建项目New -> Application -> Qt Console Application -> Choose2、项目名称这里的项目名称：DllConsole，之后一直默认选择点击下一步3、语言选择语言可以选择中文或者不选择，这里默认选择为None4、选择编译器编译器这里默认选择全部，推荐默认全选5、版...

qt

qt5

动态链接库

创建项目

绝对路径

原创点赞0 阅读113 收藏0 评论0 2022-04-22

QT5.14.1生成动态链接库

一、创建C++ Libaray 项目1、进入Qt Creator主界面，点击 New -> Libaray -> C++ Libaray2、这里名称填InitDll（随便起名），之后一直默认，下一步语言可以选择中文，这里推荐不选LanguageQT安装的时候会有编译器选择，这里推荐吧编译器全选上如果项目用到Git或者svn则选择，这里默认不...

qt5

qt

编译器

#include

创建项目

原创点赞0 阅读74 收藏0 评论0 2022-04-22

CDH 6.3.2 安装（一）

1、安装vimyum -y install vim2、主机名配置vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=cdh13、网络配置vim /etc/hosts

大数据

cloudera

hadoop

mysql

java

原创点赞0 阅读23 收藏0 评论0 2022-04-22

VMware15 Pro 安装 Centos7

一、Centos系统下载Centos镜像地址：://man.linuxde.n

centos

linux

虚拟机安装

原创点赞0 阅读25 收藏0 评论0 2022-04-22

QT5连接MySQL实现增删改查

#include <QCoreApplication>#include <QSqlD

qt5

sql

#include

数据库

原创点赞0 阅读7 收藏0 评论0 2022-04-22

大数据入门之 ssh 免密码登录

1、root用户登录，每台机器生产公钥和密

ssh

linux

远程连接

回车键

root用户

原创点赞0 阅读14 收藏0 评论0 2022-04-22

QT 5.14 dll 库的生成和调用

QT5.14.1生成动态链接库：://blog..net

qt

qt5

驱动程序

动态链接库

javascript

原创点赞0 阅读70 收藏0 评论0 2022-04-22

Java连接H2数据库

一、Maven依赖 <!--h2database--

内存数据库

gis

sql

java

2d

原创点赞0 阅读60 收藏0 评论0 2022-04-22

CDH6.3.2 组件版本和Maven依赖版本

目录remoterepositorycomponent versiondependencytemplateartifact versionremoterepository<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM...

maven

cloudera

hadoop

apache

hive

原创点赞0 阅读217 收藏0 评论0 2022-04-22

oozie调用shell脚本

job.propertiesnameNode=hdfs://cdh01:8020resourceManager=cdh01:8032queueName=defaultexamplesRoot=examplesoozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/sshexec...

hadoop

shell

oozie集成

xml

bash

原创点赞0 阅读31 收藏0 评论0 2022-04-22

拒绝VMware，使用 VirtualBox 安装虚拟系统

1、下载安装包VirtualBox下载：https://www.virtualbox.org/wiki/Downloads2、安装VirtualBox

开发工具

windows

虚拟光盘

菜单栏

linux

原创点赞0 阅读68 收藏0 评论0 2022-04-22

spark操作hbase的两种方法

添加数据之前先 createtablecreate 'student','cmf1','cmf2','cmf3'1、RDD[(String,String)]类型添加package com.xtd.hbaseimport org.apache.hadoop.hbase.client.{Put, Result}import org.apache.hadoop.hbase....

spark

cloudera

hbase

apache

hadoop

原创点赞0 阅读32 收藏0 评论0 2022-04-22

CentOS7 离线安装 Nginx 1.6.2 和反向代理

1、依赖包准备Nginx官方文档：https://www.nginx.com/resources/wiki/start/依赖包可在此网站下搜索：http://vault.centos.org/7.4.1708/os/x86_64/Packages/pcre-devel-8.32-17.el7.x86_64.rpmzlib-devel-1.2.7-18.el7.x86_64.rpmopenssl-devel-1.0.2k-8.el7.x86_64.rpmpcre2-10.23-2.el

nginx

linux

centos

tomcat

反向代理

原创点赞0 阅读51 收藏0 评论0 2022-04-22

cdh6.3.2 oozie HA 高可用配置

1、配置Oozie Load Balancer（1）进入Oozie配置页面，搜索关键字 port（2）在Oozie Load Balancer栏输入需要开启oozie的host，以逗号隔开cdh01,cdh02,cdh03,cdh04,cdh05,cdh062、配置 Oozie Load Balancer HTTP、HTTPSPort注意：定义的 htt...

cloudera

oozie集成

hadoop

apache

xml

原创点赞0 阅读79 收藏0 评论0 2022-04-22

shell脚本监控文件夹文件实现自动上传数据到hive表

createtb.sh#!/bin/bash#string="tablename;field1,field2,field3,field4;partition1,partition2,partition3"string=$*group=(${string//;/ })for i in ${group[@]};do ((m++)) if [[ m -eq 1 ]]...

shell

linux

hive

数据

表名

原创点赞0 阅读140 收藏0 评论0 2022-04-22

spark上传文件和追加文件到hdfs

一、代码实现package com.xtd.hdfsimport java.io.Fileimport org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs.{FileSystem, FileUtil, Path}import scala.collection.mutable.{ArrayBuffer, ListBuffer}object HDFSUtils { def main(args: Array[

spark

scala

hadoop

大数据

hdfs

原创点赞0 阅读51 收藏0 评论0 2022-04-22

Win10安装Hadoop3.0.0（大数据入门必经之路）

一、下载hadoop3.0.0下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-3.0.0/下载文件：hadoop-3.0.0.tar.gz二、下载winutils工具下载地址：https://github.com/steveloughran/winutils下载文件：hadoop-3.0.0/bin三、解...

hadoop

hdfs

mapreduce

window

java

原创点赞0 阅读27 收藏0 评论0 2022-04-22

CDH spark submit error：Can't create directory Permission denied

问题描述cdh系统重新配置之后，发现spark任务提交失败，报错信息是本地目录创建的权限问题Can't create directory Permission denied问题解决在yarn配置中搜索 cgroup，把“始终使用 Linux Container Executor”选项取消勾选，再重新部署配置...

cloudera

spark

linux

搜索

权限问题

原创点赞0 阅读36 收藏0 评论0 2022-04-22

CDH报错：Resource management is disabled for host cdh03 but at least one of its roles has cgroup parame

问题描述Resource management is disabled for host cdh03 but at least one of its roles has cgroup parame问题解决CDH进入YARN配置页面，搜索 cgroup ，将以下两个选项配置勾选将 CGroups 用于资源管理yarn.nodemanager.linux-cont...

cloudera

hadoop

linux

资源管理

apache

原创点赞0 阅读68 收藏0 评论0 2022-04-22

cdh6.3.2 环境变量配置

# /etc/profile# System wide environment and startup programs, for login setup# Functions and aliases go in /etc/bashrc# It's NOT a good idea to change this file unless you know what you# are doing. It's much better to create a custom.sh shell script.

shell

cloudera

hadoop

java

其他

原创点赞0 阅读42 收藏0 评论0 2022-04-22

SparkSQL保存DataFrame为CSV文件

ReadShipMMSITwopackage com.xtd

spark

scala

csv

git

java

原创点赞0 阅读179 收藏0 评论0 2022-04-22

hadoop集群动态扩展节点

一、修改hostnamehostnamectl set-hostnam

shell

hadoop

linux

云端

spark

原创点赞0 阅读9 收藏0 评论0 2022-04-22

spark向hbase写入数据报错：tried to access method com.google.common.base.Stopwatch.＜init＞()V from class...

问题描述spark向hbase

spark

hbase

maven

apache

java

原创点赞0 阅读77 收藏0 评论0 2022-04-22

CDH6.3.2 Maven Repository: report

CDH 6.3.2The following table lists the pr

cloudera

hadoop

apache

hive

翻译点赞0 阅读37 收藏0 评论0 2022-04-22

IDEA 编写第一个spark项目

scala 2.11.12 下载：://.scala-lan

spark

scala

maven

cloudera

jar

原创点赞0 阅读47 收藏0 评论0 2022-04-22

spark2.4.0 scala2.11.12 Maven构建 pom.xml

<project xmlns="://maven.apache.org/POM/4.0.0" xmlns:xsi="://.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="://maven.apache.org/POM/4.0.0 ://maven.apache.org/maven-v4_0...

maven

spark

scala

apache

原创点赞0 阅读30 收藏0 评论0 2022-04-22

spark 操作 MySQL数据库

pom.xml：://blog..net/26259

spark

mysql

scala

数据

原创点赞0 阅读74 收藏0 评论0 2022-04-22

gis地理数据处理：geotools将多个线段生成buffer并融合成多边形

一、Maven配置 <scala.abi.versio

gis

java

1024程序员节

scala

maven配置

原创点赞0 阅读58 收藏0 评论0 2022-04-22

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客

12160681

程序员快速学习的十大网站

大数据进阶之 shell 脚本开发

QT5.14.1调用动态链接库

QT5.14.1生成动态链接库

CDH 6.3.2 安装（一）

VMware15 Pro 安装 Centos7

QT5连接MySQL实现增删改查

大数据入门之 ssh 免密码登录

QT 5.14 dll 库的生成和调用

Java连接H2数据库

CDH6.3.2 组件版本和Maven依赖版本

oozie调用shell脚本

拒绝VMware，使用 VirtualBox 安装虚拟系统

spark操作hbase的两种方法

CentOS7 离线安装 Nginx 1.6.2 和反向代理

cdh6.3.2 oozie HA 高可用配置

shell脚本监控文件夹文件实现自动上传数据到hive表

spark上传文件和追加文件到hdfs

Win10安装Hadoop3.0.0（大数据入门必经之路）

CDH spark submit error：Can't create directory Permission denied

CDH报错：Resource management is disabled for host cdh03 but at least one of its roles has cgroup parame

cdh6.3.2 环境变量配置

SparkSQL保存DataFrame为CSV文件

hadoop集群动态扩展节点

spark向hbase写入数据报错：tried to access method com.google.common.base.Stopwatch.＜init＞()V from class...

CDH6.3.2 Maven Repository: report

IDEA 编写第一个spark项目

spark2.4.0 scala2.11.12 Maven构建 pom.xml

spark 操作 MySQL数据库

gis地理数据处理：geotools将多个线段生成buffer并融合成多边形