51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
开源基础软件社区
元宇宙大会
AISummit人工智能大会
移动端
公众号矩阵
博客
免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2022年软考 PMP项目管理
在线学习 企业服务
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 开源课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙技术社区视频号

常用的Linux命令

删除超过30天的文件和文件夹sudofindFolder\-mtime+30-execrm-rf{}\;

常用
Linux命令
置顶 原创 点赞0 阅读1136 收藏0 评论0 2019-05-15

常用的Windows脚本

删除超过33天的文件ForFiles/p"G:\Ensky\Jaeger\FATP"/s/d-33/c"cmd/cdel/Q@file"Pendinghowtoremoveemptyfolder?Ifadd/safterdel/Q/S,willdeleteallthefilesinsubfolder.同步NTP时间C:\Users\sim>nettim

Windows
bat
脚本
置顶 原创 点赞0 阅读1237 收藏0 评论0 2019-05-10

rsync的妙用

对于小文件的策略同步所有文件名包含txt的文件，完成后删除源文件rsync -azv --remove-source-files --include="*/" --include="*txt*" --exclude="*" /src_folder/* -e "ssh -i /abc/key" user@1.2.3.4:/dst_folder/同步csv格式的文件rsync -azv --inclu

rsync
原创 点赞0 阅读23 收藏0 评论0 6 天前
Synology 使用SSH Key验证

Synology 使用SSH Key验证

默认没有用户home目录，需要自己创建/var/services/homes/your_user_folder/赋予用户文件夹权限sudo chown your_user.users your_user_folder然后在这个用户文件夹里建一个.ssh文件夹mkdir .ssh然后创建key：ssh-keygen这样公钥和私钥就建好了，将公钥传到远程机器的authorized_key上，然后使用命

Synology
SSH
Key
原创 点赞1 阅读34 收藏0 评论0 12 天前
Storage Gateway 客户端的配置

Storage Gateway 客户端的配置

Storage Gateway创建好后，需要将其挂载到Ubuntu Server上，当作一个Drive来使用。分配一个Elastic IP，固定IP地址，不然服务器关机重启IP改变，会导致所有通过SSH自动连接到这部机器的远程机器需要更新IPEC2 默认无法使用密码登陆，进入后修改/etc/ssh/sshd_config 将PasswordAuthentication 从no改为yes，然后ser

storage
gateway
配置
原创 点赞1 阅读22 收藏0 评论0 21 天前
Spyder上import pymysql报错

Spyder上import pymysql报错

 File "D:\python\untitled0.py", line 9, in <module>    import pymysqlModuleNotFoundError: No module named 'pymysql'查询后，用管理员打开Anaconda Prompt, 输入命令：conda install pymysql

mysql
python
pymysql
原创 点赞1 阅读113 收藏0 评论0 2022-05-16
关于AWS RDS备份恢复和访问的一些问题

关于AWS RDS备份恢复和访问的一些问题

同事不小心修改了一批数据，需要通过RDS快照恢复昨日的数据。到RDS控制界面，Snapshots-- > System选定需要恢复的快照，然后右边点选Restore snapshot根据要求填写相关信息，其中DB cluster identifier的意思是新DB instance的名字，恢复的时候，系统会创建新的RDS然后将数据恢复到这个RDS instance里，可以先按默认将publi

数据库
rds
aws
数据恢复
原创 点赞1 阅读143 收藏0 评论0 2022-05-07
Navicat 导入数据时要注意的地方

Navicat 导入数据时要注意的地方

最近用Navicat导入数据，发现有很多数据竟然漏掉了，查询后发现时之前默认的导入选项有问题，如果按照软件页面提示一直默认下一步的话，到导入提示最后界面时是这样的，只有一个追加的选项，这样会导致有些SN相同的数据会被过滤掉。更加保险的方式是在前面选项前加上主键设置，这样后面选项就能选择追加/更新这些项目，使数据导入更加准确。

导入数据
数据导入
navicat
原创 点赞1 阅读271 收藏0 评论0 2022-04-20
Tableau Prep Builder对比数据差异的一种方式

Tableau Prep Builder对比数据差异的一种方式

有2个excel表，都有SN这个栏位，需要对比两边的数据，找出各自excel表中不包含的SN。由于数量超过10万，用excel自身的对比功能，反馈说很慢。尝试用Tableau Prep Builder的联接功能可以很容易快速实现。具体配置如下图：重点是中间的空位，即表示不在两者内的，即没有交集的部分。

数据
对比
tableau
原创 点赞0 阅读141 收藏0 评论0 2022-04-08
Ubuntu Server安装Desktop环境

Ubuntu Server安装Desktop环境

sudo apt-get updatesudo apt-get install ubuntu-desktop或者 （sudo apt-get install --no-install-recommends ubuntu-desktop ##(will exclude major softwares and tools like libreoffice, firefox , thunderbird

ubuntu
desktop
安装
原创 点赞0 阅读368 收藏0 评论0 2022-03-24
Pentaho PDI 过滤/排除数据的一种方式

Pentaho PDI 过滤/排除数据的一种方式

数据库有一批数据，需要对比一个排除某些栏位数据的表，标出这些数据，这样后续计算时，可以排除这些数据。可以使用到如下组建：Table_Input:读取数据表和需要对比的参照表栏位，两个表的栏位需要一致，因此可以先手工构造参照表的栏位，提取填充需要对比的栏位数据值Filter_Row:过滤掉不需要的栏位数据Fuzzy_Match:对比源表和参照表的数据Table_Output: 数据写到一个数据表流程

数据
数据过滤
数据排除
pentaho
pdi
原创 点赞0 阅读323 收藏0 评论0 2022-03-24
AWS Windows EC2 安装Docker 和运行Superset

AWS Windows EC2 安装Docker 和运行Superset

花了一下力气查询测试才搞定，特记录之。去AWS EC2界面，搜索container，然后找到这个2019-Container版本，这样机器才支持docker，不然后续docker安装后无法运行，提示hyper-v虚拟机错误弄好后，进去pwoershell，输入docker --version, 会提示docker信息，不过这个只有命令行，去下载docker desktop版本​​https://w

EC2
docker
superset
原创 点赞0 阅读225 收藏0 评论0 2022-03-21
Pentaho Data Integration 9.2 安装

Pentaho Data Integration 9.2 安装

下载：​​https://sourceforge.net/projects/pentaho/​​这个版本跟8.x对java环境对要求还是有点不同，被折磨了一下，好记性不如烂笔头。一般默认系统是64位，因此安装java也要用64位，而且这个9.x要求jre和jdk，8.x我装jdk就够了。到系统参数处，配置这3个JAVA_HOME:C:\Program Files\Java\jdk1.8.0_311

java
系统参数
pentaho
pdi
安装
原创 点赞0 阅读634 收藏0 评论0 2022-03-17
AWS EC2 Ubuntu 根目录扩大空间

AWS EC2 Ubuntu 根目录扩大空间

/dev/root提示10G空间不够用，于是在aws console界面增加到15G然后进入ubuntu界面输入lsblk 查询硬盘信息输入命令：sudo growpart /dev/nvme0n1 1接着输入：sudo resize2fs /dev/root然后再查询就发现已经生效了。

ubuntu
EC2
扩展root
空间
原创 点赞0 阅读224 收藏0 评论0 2022-03-13
Ubuntu Server 创建普通用户只能访问自己的home文件夹

Ubuntu Server 创建普通用户只能访问自己的home文件夹

因为安全的原因，云端服务器需要允许不同用户访问，但是不允许这些用户看到系统文件夹，而且限定只能看到管理员开放的资源。查询后发现jailkit这个开源包可以实现，测试成功，具体步骤如下。目前最新版是2.23，网址：​​https://olivier.sessink.nl/jailkit/​​下载安装最新版wget https://olivier.sessink.nl/jailkit/jailkit-

ubuntu
jailkit
限制用户
原创 点赞0 阅读574 收藏1 评论0 2022-01-27
连接VPN后允许访问本地网络

连接VPN后允许访问本地网络

VPN连接后一般就跟本地网络连接中断了，但是如果是通过Windows自带的连接方式创建的VPN，而不是使用VPN客户端或者网页版VPN的话，可以实现同时联通VPN网络和本地网络。打开设定好的VPN连接鼠标右键选择Properties双击TCP/IPv4选择Advanced进入后，将打勾的2个选项去掉

网络连接
客户端
VPN
原创 点赞0 阅读1946 收藏0 评论0 2022-01-27
Zabbix Agent 安装

Zabbix Agent 安装

Windows比较简单，在官网下载安装包安装即可Ubuntu安装sudo apt-get updatesudo apt-get install zabbix-agentsudo vim /etc/zabbix/zabbix_agentd.confServer=[zabbix server ip]   ///  Hostname=[Hostname of client

下载安装
ubuntu安装
zabbix
agent
原创 点赞0 阅读172 收藏0 评论0 2022-01-07

新Ubuntu服务器配置记录

Server RequirementRAID 5 or RAID 10OS: Ubuntu Server 16.04 64bit or the latest versionDuring installation, select SSH and SambaService: SSH, SambaCommand:Create user aa for Samba and SSH access sudo u

ubuntu
原创 点赞0 阅读205 收藏0 评论0 2021-12-15
Ubuntu Server 20.04安装Zabbix Server 5.4

Ubuntu Server 20.04安装Zabbix Server 5.4

之前一直使用4.0的，查了一下升级，没有什么头绪，因此还是不如直接安装新版好了。​​https://www.zabbix.com/cn/download​​要注意这里要选择对应的版本，然后下面出现的指导文档步骤命令才是正确的，刚开始的时候没有留言，下错了版本，导致一直提示dependency的问题，无端浪费了时间。以下命令都是在root用户下输入 #wget https://repo.zabbix

mysql
ubuntu
zabbix
原创 点赞0 阅读897 收藏0 评论0 2021-12-08
安装配置hMail Server

安装配置hMail Server

下载： ​​https://www.hmailserver.com/download​​安装过程如果提示需要dotnet framework, 怎需要下载安装完成后即可登陆设置一个域名然后再创建一个用户客户端使用Foxmail登陆

hmail server
原创 点赞0 阅读833 收藏0 评论0 2021-12-08
Ubuntu Server 20.04在工控机上安装的一些设置

Ubuntu Server 20.04在工控机上安装的一些设置

在 研勤工控机上安装价格2199，将此机作为服务器使用此机默认已经安装了Ubuntu Desktop，我需要重装系统刚开始接上显示器屏幕无显示，重启过程有显示，然后就黑屏了，咨询后发现原来此机的分辨率有限，因此不支持高清显示器，因此找了一台旧显示器才能正常显示按Delete键是进入BIOS，开机按 F11 选择启动项，选择使用U盘启动，第一个U盘用Rufus制作了启动盘，开机后却检测不到，换USB

ubuntu
vim
u盘
ip地址
重装系统
原创 点赞0 阅读701 收藏0 评论0 2021-11-25

Ubuntu Server 系统升级

16.04 升级到 18.04sudo apt-get updatesudo apt-get upgradesudo apt-get autoremovesudo apt dist-upgradesudo rebootsudo apt-get install update-manager-coresudo do-release-upgrade完成后要求重启查看版本信息：cat /etc/issue

版本信息
Ubuntu
系统升级
原创 点赞0 阅读292 收藏0 评论0 2021-11-04
Ubuntu 20.04 rsync命令参数

Ubuntu 20.04 rsync命令参数

通过rsync同步数据到远端，原来远端服务器是Ubuntu 18，客户端上使用这个命令没有问题rsync -az /shareDoc/TestLog/Source/* -e "ssh -i /root/s3sync" user@1.2.3.4:/abc/Destination/后来远端服务器升级成20.04后，客户端rsync的时候，提示没有权限：failed: permission denied

ubuntu
服务器
权限问题
rsync
原创 点赞40 阅读291 收藏2 评论0 2021-11-03

Ubuntu Server High Loading 事故

通过top命令查询发现load average一直很高，而且不断升高的趋势，已经达到8000级别，但奇怪的是CPU使用率却不高，只有2～3%，另一个特别的指标是sleep的进程达到60000万多，都处于状态D，查询后发现D表示等待io中，鉴于这部机器是挂载S3转储文件，因此估计是rsync同步数据太多导致，因此开始往这个方向查，grap rsync进程发现有非常多，然后到触发rsync的客户端机器

数据
top命令
客户端
服务器
死循环
原创 点赞7 阅读103 收藏0 评论0 2021-11-03
Ubuntu Server 添加swap空间

Ubuntu Server 添加swap空间

服务器挂了，查询日之后发现说内存不足，查了一下竟然没有分配swap空间，立即去设定。swap空间计算大概按照内存的两倍计算，例如要分配20G内存，则 1024x (1024x20) = 20971520执行如下命令sudo dd if=/dev/zero of=/swapfile bs=1024 count=20971520sudo chmod 600 /swapfilesudo mkswap /

内存不足
Ubuntu
swap
原创 点赞0 阅读221 收藏0 评论0 2021-11-01
通过http和浏览器访问Samba共享文件夹

通过http和浏览器访问Samba共享文件夹

环境：Ubuntu Server 18.04sudo apt install nginx-fullsudo vim /etc/nginx/sites-available/default在location处添加 location / { try_files $uri $uri/ =404; alias /shareDoc/; # directory to listautoindex on

samba
nginx
http
原创 点赞0 阅读2656 收藏0 评论0 2021-09-18
用keepalived实现Samba高可用

用keepalived实现Samba高可用

结构如图 keepalived 虚拟IP: 172.31.193.1 SMB1: 172.31.206.55 (MASTER) SMB2: 172.31.207.120 (BACKUP) 安装 sudo apt-get install keepalived sudo vim /etc/keepalived/keepalived.conf 在机器SMB1上 vrrp_instance smb1 {

keepalived
samba
高可用
原创 点赞0 阅读536 收藏0 评论0 2021-09-17
通过inotify和incron实现事件驱动自动数据传输

通过inotify和incron实现事件驱动自动数据传输

机器环境Ubuntu Server 20.04 LTS inotify 安装sudo apt-get install inotify-tools 脚本，保存为inosync-new.sh #!/bin/shwhile inotifywait -mrq --format "%w%f" -e create,modify,delete /shareDoc/TestLog/test; do {rsync

inotify
incron
原创 点赞0 阅读244 收藏0 评论0 2021-09-16
CTDB+Samba实现高可用 ----一次失败的尝试

CTDB+Samba实现高可用 ----一次失败的尝试

这次实验没有成功，两个Nodes，只有一个显示ok, 按照配置添加global环境到smb.conf文件，却导致smbd服务无法启动，具体原因未明。   具体命令记录如下： 安装samba sudo apt-get updatesudo apt-get install sambasudo service smbd statuscd /sudo mkdir shareDoccd shareDoc/

ctdb
samba
高可用
原创 点赞0 阅读546 收藏0 评论0 2021-09-09
AWS S3的费用优化

AWS S3的费用优化

之前启用将超过360天的数据，自动转入Glacier, 以此来节省成本，看到费用确实下来了，如下图，5月份相比4月份立即少了2K多，但是最近检查发现费用又快速上升到7K以上，数据量剧增，因此想继续优化S3的费用。 查询的S3的技术文档，主要是不同存储级别的价格和特性 根据目前情况，衡量了实际使用，发现如下方式更适合，IA的话也能保证数据能即时读取不像Glacier到等待3~5小时恢复，虽然去

AWS
S3
成本
控制
优化
原创 点赞0 阅读349 收藏0 评论0 2021-08-30
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

Copyright © 2005-2022 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 意见反馈 了解我们 全部文章
在线客服 网站地图 热门标签
友情链接
开源基础软件社区 51CTO学堂
51CTO