臭臭粑粑的博客_python,自动化运维,微软认证,云服务,其他云技术,Spark,Docker,云平台,PowerShell,Linux,Citrix

聊聊Delta Lake - 1

©著作权归作者所有：来自51CTO博客作者臭臭粑粑的原创作品，如需转载，请注明出处，否则将追究法律责任什么是Delta Lake？看看Delta Lake官网给出的定义：Delta Lake就是一个开源的存储框架，而且是用来构建Lakehouse架构的存储框架。这里简单说一下Lakehouse架构这个概念，Databricks应该是在2020年左右提出的，Databricks的联合创始人们2021

delta lake

delta

Spark

Databricks

大数据

置顶原创 2月前 35 阅读

Azure Function EventhubTrigger本地debug的正确姿势

©著作权归作者所有：来自51CTO博客作者臭臭粑粑的原创作品，如需转载，请注明出处，否则将追究法律责任想在本地debug EventhubTrigger类型的Azure Function代码，结果用VS Code debug功能之后，就报错：Missing value for AzureWebJobsStorage in local.settings.json. This is required

json

原创作品

sed

重启

kafka

置顶原创精选 2021-11-03 14:14:08 1470 阅读 3点赞 2收藏

Spark ODBC Driver配置连接Azure Databricks测试

©著作权归作者所有：来自51CTO博客作者臭臭粑粑的原创作品，如需转载，请注明出处，否则将追究法律责任最近德国同事问有没有办法在终端用户电脑上，直接测试与Azure Databricks的连通性，因为公司网络有代理服务器，Tableau安装起来，流程也挺麻烦的。查了官方文档，答案是可以的。首先下载安装Databricks ODBC驱动并安装。如有需要，请移步官网下载:https://da

spark

ODBC

Azure Databricks

Azure

置顶原创精选 2021-11-01 13:28:50 1273 阅读 2点赞

Azure数据工厂最佳实践之Self-hosted Integration Run小坑

©著作权归作者所有：来自51CTO博客作者臭臭粑粑的原创作品，如需转载，请注明出处，否则将追究法律责任今天分享一下有关Azure Data Factory Self-hosted Integration Runtime的一些小tips。先看一下Self-hosted Integration Runtime的位置，下面这个架构图很有代表性，很容易理解。关于如何创建Self-Hosted Integr

Azure

ADF

Azure数据工厂

Integration Runtime

Self-hosted

置顶原创精选 2021-10-19 17:25:49 1566 阅读 1点赞

Azure Cost Management API的小坑

©著作权归作者所有：来自51CTO博客作者臭臭粑粑的原创作品，如需转载，请注明出处，否则将追究法律责任最近客户有个需求: 如果某个Azure订阅过去3天的cost > 限定额度，比如说大于1000€，就发送一封邮件到指定的邮箱，收到邮件的同事就可以去查看一下到底什么服务花了那么多钱！先说一下，Azure是有Cost Management功能的，可以设置budget alert。

Azure

AzureCostManagement

CostManagement

API

AzureAPI

置顶原创精选 2021-07-14 13:47:26 821 阅读 1评论

如何监控Azure Databricks集群资源使用率

Azure Databricks可以监控吗？如何监控Azure Databricks呢？这篇文章给你答案！

Azure Databricks

Databricks

监控

AzureDatabricks监控

Monotor

置顶原创推荐 2021-05-21 15:19:58 2560 阅读 1点赞

Terraform踩坑记之：Azure Provider配置

©著作权归作者所有：来自51CTO博客作者臭臭粑粑的原创作品，如需转载，请注明出处，否则将追究法律责任好久没用Terraform管理Azure上面的资源了，这周有时间复习了一下，却发现在使用AzureProvider的时候又出了幺蛾子。根据Terraform官方文档关于AzureProvider的使用说明，首先你得先配置一下Azure相关的认证信息。其实就跟你平时使用Azure一样，你想使用Azu

Terraform

Azure

AzureChina

Azure中国

DevOps

置顶原创推荐 2021-03-24 09:41:12 2553 阅读 1点赞

用Dockerfile部署你的Flask Web应用

背景故事话说去年年底给另外一个组的同事写了一个简单的工单查询系统，用flask写的，当时是部署在我们组的一台测试物理机上，操作系统是Redhat7。后来我们组的这台测试物理机要做其它用途，领导给两天时间让把应用迁走，问了使用这个应用的同事，他们组自己有一台测试机，可以部署到他们自己的测试机上，于是又搞一通部署。最近使用这个应用的同事又跑过来找我，说他们那台测试机要重装系统，有其它用途。彻底无语，忍

Docker

docker

flask

flaskdocker

原创 2020-08-24 12:55:31 1311 阅读 1点赞

PowerShell unable to resolve package source

如果你想在公司电脑上使用PowerShell，导入一些module或者查找一些module，可能会遇到下面的报错：unabletoresolvepackagesource‘https//www.powershellgallery.com/api/v2/’问题就是公司有代理，打开PowerShell，运行下面的命令，完美解决。$webclient=New-ObjectSystem.Net.WebCl

PowerShell

powershell-dsc

DSC

Windows

powershell代理

转载 2020-07-17 16:36:28 1981 阅读 1点赞

Splunk专题之一：初识Splunk

在决定写Splunk这个专题之前，我思考了很久，到底要以什么样的方式来给大家分享Splunk的相关知识呢？最终决定，还是白话点儿，少用高大上的词语，在轻松愉快的氛围之下来学习Splunk。闲话少说，咱们正式开讲！先来个灵魂拷问：Q:你是谁？A：人称Splunk，这是logo裸奔的时候是这个样子：给我传点数据，我可以变成这个样子：可以变成这个样子：还可以这个样子：以及这样的，给各位看官来张动图。。。

Splunk

大数据

Splunk监控

运维

运维监控

原创 2020-04-11 14:39:00 2208 阅读 1点赞

聊聊SSL证书

在做运维工作之前，只是听说过SSL证书，做运维工作之后，也只是听说过SSL证书，因为不做这方面的工作，也不太去关心这个。不过现在，是时候学习一下，补充一下这方面的知识的时候了。网上搜了很多文章资料，但是感觉能把SSL证书介绍的通俗易懂，比较容易理解的，几乎没有啊！我就按照自己的理解，再写一篇有关SSL证书的文章吧。如有理解不对之处，还请帮忙指正，我也会及时更新过来。我们先来看看什么是SSL。SSL

SSL

SSL证书

HTTPS

HTTP

原创 2019-11-01 16:59:52 816 阅读 1点赞

Linux下制作U盘系统安装盘

最近又想搞搞Linux了，就把原来的Windows10给重装了Ubuntu，安装之后试了一天，发现一个问题，就是系统桌面老是假死，点鼠标没有反应，网上搜了一下，说是通病，需要用ctrl+alt+F1~6先切换到命令行窗口，登录，然后再切换到桌面窗口模式，就好了。可是这个问题发生的太频繁了，受不了。所以又想试试CentOS怎么样，但是有个问题，这个U盘系统启动盘怎么刻录呢？只知道Windows下用U

Linux下U盘刻录

Linux

U盘系统盘制作

dd

原创 2019-10-20 17:28:00 2497 阅读 1点赞

部署一个flask项目踩过的坑

最近在部署一个flask项目，中间遇到的一些坑，记录一下：想用virutalenv来控制项目的环境，毕竟跟别人使用同一台server，以免有冲突。这个时候就需要安装一些依赖包的，就需要pip，但是默认是python2.7的pip，这就比较扯淡了。尝试了一下：root@ubuntu:~/smtvenv$pip3-bash:pip3:commandnotfound没有pip3，那就安装，如下：root

Flask

部署Flask

原创 2019-08-22 17:26:28 1546 阅读 1点赞

Ansible之模块参数（二）

前一篇文章我们说了，如果你不加-m这个参数，默认是使用command这个模块的，但是你要跟-a这个参数，就是Linux的命令和参数，那么应该是什么格式呢？网上搜了一把，就举个栗子：[root@controller~]#ansiblewebservers-a'ls-l/tmp/'运行结果如下图：对于命令格式，简单说一下：ansible：给你干活的工具名，必须要有webservers：

Ansible

Ansible模块

Ansible参数

Ansible模块参数

自动化运维

原创 2019-06-21 17:36:35 777 阅读 1点赞

Ansible之模块参数（一）

为了运行Ansible的第一个命令，我们前期做了大量的配置工作，在controller主机和各个node主机上。为什么这么做，就是为了能够直接使用ansible，远程指挥一堆一堆的服务器，copy文件，安装软件包，更新软件，更改配置文件等等等等。。。如果你查看了ansible官方文档，人家也是要让你从最最基础的命令开始，就像你学任何编程语言，第一个例子永远都是打印一句：helloworld!对于a

Ansible

Ansible命令

Ansible基本命令

Ansible模块

CentOS7

原创 2019-06-21 17:17:38 3544 阅读 1点赞

Ansible之controller主机安装Ansible

写了两天的blog，之前都是关于主机环境的配置，今天终于轮到主角——Ansible上场了。Ansible安装:初学者，不用非得了解那么多安装方法，简单粗暴点，直接到官网找安装文档，如下图，一条命令搞定：$sudoyuminstallansible已经是root管理员的话就直接：yuminstallansibleAnsible官方文档：https://docs.ansible.com/ansible

Ansible

Ansible安装

CentOS7

Linux

原创 2019-06-21 13:10:48 683 阅读 1点赞

Ansible之controller免密登录其它node主机

经过之前在各个主机上面的配置，现在通信已经没什么问题了。但是如果你从controller主机上ssh到其它node主机，还是需要输入密码的，既然作为管理员，当然想省事儿点，在controller主机上已经是root用户，那我ssh到其它node主机，也用root账号登录，可以做到免密登录么？答案是可以的，这里给出一个方案：输入以下命令：#ssh-keygen默认文件，直接按回车直接回车默认为空再次

ansible

Linux

CentOS7

免密登录

CentOS免密登录

原创 2019-06-20 21:55:03 995 阅读 1点赞

Ansible之controller与Node节点主机通讯

现在，我在controller主机上去ping其它node节点的主机，网络配置没问题的话，他们之间是可以正常通讯的，如下图：但是，如果我用node节点主机的hostname来ping呢？从上图可以看到，是不可以ping通的。原因是什么呢？我这些VM都是用的NAT模式，如下图所示：再查看一下VMWareWorkstation的NAT配置信息：可以看到，我们的DNS设置是自动detect，我尝试pin

Linux

CentOS

Ping

LinuxHost

Host文件

原创 2019-06-20 18:06:01 996 阅读 1点赞

Ansible之node配置

这篇文章我们来介绍一下node被控节点机器的配置。由于我在安装CentOS完成之后，未做任何配置，关机，创建了一个快照，所以我们clone几台CentOS，我这里clone出3台。分别命名为node1，node2和node3。现在我们来把这3台node节点的机器IP地址更改为：192.168.137.101~103具体如何修改网络配置，更改为静态IP，请参考上篇文章https://blog.51c

Linux

CentOS7

CentOS更改主机名

Ansible

原创 2019-06-20 17:16:29 672 阅读 1点赞

Ansible之controller配置

最近打算每天看看Linux，总得找个切入点来学一下。考虑到日常运维工作，那就从运维开始吧！之前有同事分享过一个自动化运维神器——Ansible，所以，就它了。接下来就是要有个环境了，自己的笔记本太旧，古董级的，所以就用公司的笔记本吧！12G跑几个Linux还可以的。LinuxOS就选CentOS7了。开搞：一、安装CentOS，需要的工具如下：VMware®Workstation14Pro（14.

Linux

CentOS

Ansible

CentOS网络

CentOS主机名

原创 2019-06-20 14:52:16 757 阅读 1点赞

ansible key验证配置

ansible的控制端与被控制主机直接若想建立连接，默认验证方式是基于key验证的，下面就是在ansible控制端创建并copy到被控制主机的详细步骤：[root@controller~]#ssh-keyssh-keygenssh-keyscan[root@controller~]#ssh-keygenGeneratingpublic/privatersakeypair.Enterfileinwh

ansible

linux

centos

原创 2019-06-14 18:07:17 1453 阅读 1点赞

CentOS7与Windows AD集成之二Windows域账户登录CentOS7

上一节我们已经成功将CentOS7加入到Windows域控当中，那么我们是否可以用Windows的域账号直接登录加入域中的CentOS7呢？首先，我们在Windows域控当中新建一个测试账号：sshuser001打开putty，输入CentOS7的IP地址，尝试登录一下可以看到，Windows的域账号可以成功登录到CentOS7：这里需要注意一下登录时用户名的格式：username@domainn

Linux

Windows

Linux与Windows域控集成

CentOS加入Windows域控

原创 2019-06-06 17:40:39 2432 阅读 1点赞

CentOS7与Windows AD集成之一CentOS加入Windows域控

首先准备好以下测试机：WindowsAD一台：192.168.137.137CentOS7一台：192.168.137.130CentOS7上操作如下：[root@centos130~]#yuminstallsssdrealmdoddjoboddjob-mkhomediradclisamba-common[root@centos130~]#cat/etc/resolv.confsearchexam

Linux加入WindowsAD

Linux与Windows域控集成

LinuxWindows

Linux

Windows

原创 2019-06-06 17:24:54 7382 阅读 1点赞 1收藏

Windows Server 2016 ISO

记录一下WindowsServer2016ISO下载连接地址：https://software-download.microsoft.com/download/pr/Windows_Server_2016_Datacenter_EVAL_en-us_14393_refresh.ISO说明：此版本为evaluation版本Evaluation=180天

Windows

Server2016

Server2016ISO

原创 2019-06-05 16:54:57 7932 阅读 1点赞 1收藏

CentOS7配置proxy

在公司电脑上安装了一个VMWareWorkstation，然后在上面又安装了一台CentOS7，安装完成之后，发现以下问题:尝试ping公司电脑IP，不通，安装CentOS时设置网络是桥接模式。更改网络为NAT之后，再次尝试ping公司电脑IP，可以ping通了。见下图。尝试ping外网，不通。尝试yum安装软件，提示如下错误。突然想起来，公司是有proxy的。先解决一下yum安装软件问题吧！所以

CentOS7

Proxy

VMWare

VMWareWorkstation

原创 2019-06-05 14:02:27 4364 阅读 1点赞 1收藏

Windows10如何开启鼠标显示指针轨迹

最近3DVDI用户反馈，Windows10从v1803升级到v1809后，进入3DVDI后鼠标指针丢失，但是功能还是可以用的。又是一个蛋疼的问题。查了Citrix官网，已经是Citrixknownissue了，而且在Windows10v1809上也很多其它的knownissue。具体请参考Citrix官网：https://support.citrix.com/article/CTX234973目前

Citrix

3DVDI

鼠标指针不显示

鼠标指针丢失

原创 2019-04-24 18:34:11 1122 阅读 1点赞

git设置代理

对于github初学者，刚配置的环境可能会遇到各种坑，比如如果本地电脑使用的是公司网络，那有可能按照正常操作：去github上clone一个project的时候，就会提示C:\myproject\vue01>gitclonehttps://github.com/hemiahwu/vue-basic.gitCloninginto'vue-basic'...fatal:unabletoacces

git

git clone

vue

原创 2019-04-19 10:37:25 4269 阅读 1点赞

npm安装配置vue

小白开始接触前端开发，听大佬们谈论各种框架，听的云里雾里，今天试了一把，根据网上的文章写的步骤，还算顺利。推荐一下一篇文章，适合小白入门：https://www.cnblogs.com/liluxiang/p/9592003.html

npm

vue

python

转载 2019-04-17 11:20:20 551 阅读 1点赞

npm install semantic-ui安装失败

npm

semantic-ui

Python

Web

原创 2019-04-16 13:34:09 4686 阅读

Windows troubleshooting工具集 —— process-explorer

今天介绍一下Windowstroubleshooting工具——process-explorer。在日常排错时，你有没有遇到过想删除一个文件，结果报错，说某个文件正在被系统或者某个application或者进程使用中，所有你无法删除文件夹或者文件。process-explorer工具了解一下，马上找到幕后黑手。下载连接：https://docs.microsoft.com/en-us/sysint

Windows

ProcessExplorer

ProcessTool

排错

原创 2019-03-27 17:01:11 943 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

苦逼攻城师的笔记