文章目录注意事项Hadoop 和 Hive 整合搭建Hive1. 安装MySQL2. 安装Hive3. 启动Hive4. DataGrip连接hive 注意事项Hive是一款基于Hadoop的数据仓库软件，不管使用何种方式配置Hive Metastore，必须先保证服务器的基础环境正常，Hadoop集群健康可用服务器基础环境集群时间同步、防火墙关闭、主机Host映射、免密登录、JDK安装Hado
一、离线项目整体技术二、离线项目功能演示三、离线项目步骤处理一、离线项目整体技术对于Hadoop离线项目来说：1、存储存储在Hadoop集群2、Hive计算（面试的时候问你Hive的认识，如果你说就是写sql，基本人没了）使用MapReduce对数据进行清洗，清洗后的数据存储在hdfs上，在Hive中创建一张分区表，分区字段(day=20200416)，清洗完的数据需要使用：alter table
1.HDFS优势:(1) 处理超大文件(2)运行于廉价的商用机器集群上(3)高容错性和高可靠性,通过副本机制实现。(4)流式的访问数据，HDFS的设计建立在更多地响应」次写人、多次读写”任务的基础上，这意味着一个数据集一由数据源生成，就会被复制分发到不同的存储节点中，然后响应各种各样的数据分析任务请求。在多数情况下，分析任务都会涉及数据集的大部分数据，也就是说，对HDFS来说，请求读取整个数据集比
##起因（屁话）##最近由于公司电脑不够用，所以暂时使用自己的笔记本做开发，i5+4G+win7这配置看个视频、听个音乐还好，可我是做安卓开发的呀，AndroidStudio这神器一运行瞬间整个电脑就变成砖头一样。用了一天内心已经崩溃了，想起之前也玩过Ubuntu，尽管自己对linux还不是很熟悉，无奈之下还是决定安一个Ubuntu。于是 u盘 + ultraiso + ubuntu-16.04-
介绍 Rsync(remote sync)是类unix系统下的数据镜像备份工具，支持大多数的类unix系统，无论是Linux、Solaris还是BSD，都经过了的测试，现在也有支持windows下的rsync(cwRsync)也已经测试通过，rsync 是一个节约带宽的备份方案，不像传统的 ftp 会下载所有的文件，不管是否有更新，而 rsync 只下载那些做了更新的数据。它的特性如下：
前面我们部署了单节点的fabric，下面我们开始学习部署分布式的fabric。 先在三台机器上安装环境。不会的看上个博客步骤。IP节点名称192.168.119.144orderer.example.com192.168.119.145peer0.org1.example.com192.168.119.146peer0.org2.example.com提前准备好fabric二进制文件及镜像上传到服
Centos7.6离线安装显卡驱动背景:今天要给客户的机器远程装一个需要GPU才能跑的服务，客户是台干干净净刚虚拟化过的服务器，没有网路的单机环境。1、查看显卡有关的信息lshw -numeric -C display可以看到客户的显卡是Matrox G200eW3，然后可以到官网上去找对应驱动网址:https://www.nvidia.cn/Download/index.aspx?lang=cn
本文章根据Gentoo官方安装文档在网线连接的物理机环境验证下而写，相当于官方安装文档的简洁版，如有疑问可以去查阅官方文档安装顺序为：刻盘、配置网络、分区、安装Gentoo基本系统（stage3文件）、配置Linux内核、配置系统文件、安装系统工具、配置系统引导程序一、准备工作 1、从Gentoo官网 获取Minimal Installation CD可引导镜像和Stage 3（我选的deskto
在网速不好的情况下，如何用离线的方式安装pytorch。这里默认大家已经安装了anaconda了。安装Nvidia驱动、cuda、cudnn等依赖首先安装vs社区版，如果已经安装过可以跳过这一步，下载地址 安装以下两个组件即可，不用全部装上。之后安装nvidia驱动，注意自己显卡和驱动的对应关系，下载地址 我的显卡是940M，对应如下选项：安装cuda 这里要注意查看驱动和cuda的对应关系，首先
折腾了好几天，终于装上了。
先装VirtualBox就不用说了，下一步下一步就好了。
安装Gentoo的参考是，http://www.gentoo.org/doc/en/gentoo-x86-quickinstall.xml。
我没有设置网络，所以采用U盘作为中转，本来是想用VirtualBox提供的“分配数据空间来弄”，但是发现它的增强功能必须要装
如何在服务器上离线配置CUDA环境查看显卡驱动以及适配的最高CUDA版本下载Miniconda对应的安装包安装Anaconda or Miniconda测试conda命令为Miniconda写入清华镜像为pip写入镜像并且设置延迟时间离线创建虚拟环境+修改虚拟环境的python版本激活环境安装cudatoolkit cudnn和mkl安装PyTorch or TensorFlow测试GPU环境
目前经常有的情况是，需要在不能联网的机器上部署深度学习环境。给定一个已经装好的系统（这里以Ubuntu16.04为例），下面完成对cuda、cudnn的离线安装精准解释，无废话一次成功，小白一次入门！即使有网环境，采用如下方法也是最快最便捷的，必定一次成功！一、cuda安装1、首先，要确定cuda的版本，注意cuda的版本完全由显卡驱动的版本来确定，和你显卡本身型号没有关系，前提是你的显卡本身支持
前言Oh My ZSH真香，我一开始是在macOS中使用，使用习惯了ssh远程我的服务器反而不习惯了。毕竟从奢入俭难。那么如何在CentOS中安装Oh My ZSH呢？网上教程挺多的，但是我安装时发现我的服务器连接 https://raw.github.com不是很顺畅。也就是执行下面命令会报错。sh -c "$(curl -fsSL https://raw.github.com/ohmyzsh/
目录正确离线安装supervisorsupervisor简介supervisor 会涉及三个重要的命令1、python安装2、setuptools安装3、meld3安装4、supervisor安装supervisor配置创建必要目录和文件启动superviosr1、unlink一下2、启动supervisor：3、查看程序运行状态查看效果进一步测试将supervisor加入到开启启动服务中1、写服
一、前言 为什么有离线安装这种需求呢？在高度注重信息安全的今天，很多时候办公都是在独立的网络环境中称作内网，无法访问外部网络即外网。当内网开发需要某个库时，安装是一件痛苦的事情，下载了需要的库后还要下载一些列依赖库，而依赖库往往是在安装中才发现的，这样就形成了反反复复的外网找库传内网安装的操作。有没有更好的办法呢？当然有！二、外网下载库 &n
转载
2023-08-25 16:10:36
140阅读
1、在有网的环境下安装好包比如说pyautogui，一定得python版本相同>pip install pyautogui 可以看出依赖的包其实挺多的安装前执行下 pip freeze >requirements_before.txt2.打包已安装的包若已配置好环境变量>pip freeze >requirements_after
转载
2023-06-26 14:59:59
1076阅读
离线状态下使用Yum安装软件镜像链接：https://pan.baidu.com/s/1Jg66BsqgYjvT54RT-S-5iQ 提取码：5hli 1、我们先打开设置将虚拟机的网络连接磨是切换为仅主机模式。2、执行如下命令去查看网卡配置。3、在配置文件中将“BOOTRPOTO”后该为“static”，添加IPADDR=IP地址，添加NETMASK=子网掩码，添加GETWAY=网关IP
概观HDFS是Hadoop的一部分，它具有下载当前名称节点快照的命令。我们可以通过Spark
原创
2023-06-15 14:30:45
164阅读
//解决nameservice无法解析，导致下不了rmp包的问题，离线安装，这就要求先把要获取的rmp获取，网上，或者安装一次之后从yum缓存中获取。注意依赖性，用这个解决：
//转向yum的更新源，代替RHN
//os.chdir("/etc/yum.repos.d")
//当然在离线安装之前要把相应的gz,py.sh等先传到服务器，之后再在虚拟机端链接服务器，从服务器来下来s
一、应用背景在企业内部网络要使用python操作mysql数据库。然而，python未自带访问MySQL数据库的函数库pymysql，需要另外安装。网上有很多安装pymysql都需要互联网支持。本文主要阐述如何离线安装pymysql,并简要介绍pymysql如何进行mysql操作。pymysql是一个纯Python编写的MySQL数据库驱动，基于Python DB-API 2.0规范。它不仅支持P
