beanxyz的博客_AWS

AWS ALB + Cognico 用户验证

今天需要做个简单的PoC，在不改变服务器源代码的前提下，通过ALB和Cognico做验证服务。首先搭建个基本的ACM+ALB+ASG，这个就不多说了,ACM生成证书，配置ALB，ALB后面跟了个ASG的webserver，里面起了个简单的apache服务器，随便写了个index.html总之效果就是下面这样!image.png(https://s2.51cto.com/images/202210/

aws

alb

cognico

原创 2022-10-11 17:01:03 648 阅读

配置AWS RDS Router EC2

背景最近同事需要给一个PowerBIGateway配置防火墙以便访问一个RDS实例。然后问题出现了，RDSendpoint的域名倒是不会变，但是他对应的IP地址是动态的，而防火墙规则只能使用IP地址而不能使用域名。解决方法是配置一个EC2实例，EC2可以有一个静态的IP，然后把这个EC2当成一个软路由转发数据库的请求到RDS上。下面看看具体如何实现的。配置主要参考资料来自于AWS的这篇博客http

rds

aws

static ip

原创 2022-09-09 06:57:50 565 阅读

AWS SES 的监控和日志

简单的记录一下最近完成的一个任务。AWSSES服务可以允许开发人员在软件中发送批量的邮件通知。具体怎么配置的，这里就不赘述了，这里主要记录一下他的监控和告警的配置和实现。SES批量发送邮件很容易被对方的邮件判断成垃圾邮件，因此他有Metrics里面两个指标，一个是bouncerate，一个是complaintrate。前者是接收方的邮箱不存在或者无法发送导致反弹回来，后者是对方认为SES是垃圾邮件

SES

Lambda

S3

原创 2022-08-04 19:35:03 1991 阅读

GITHUB ACTION - 推送AWS Lambda 文件

继续学习GithubAction,下面的例子里面我尝试上传一个lambda_function.py的python文件,自动检测语法无误之后，给我更新到指定的AWSLambdaFunction上面去。https://github.com/vetpartner/lambdatestname:deploy-py-lambdaon:push:branches:-masterjobs:build:runs-

aws

lambda

github action

ci/cd

原创 2021-02-03 09:23:47 1283 阅读

Athena 查询安全组的变化

今天早上有个诊所无法连接他们的EC2实例，简单的Troubleshoot了一下，发现安全组被人改动了，他们的IPsubnet被移除了3389的访问权限，自然无法远程连接。把对应的子网加进去，就都okay了。这个操作估计是某个管理员无意造成的。我们可以通过cloudtrail来进行删选。比如说我们可以查看revokesecuritygroupIngress的操作，就可以知道谁进行了安全组inboun

aws

athena

security group

cloudtrail

json

原创 2021-01-11 13:28:28 1200 阅读

AWS Key Pair 和EC2

学习AWSEC2的第一件事情一般都是创建一个新的实例，然后最后他会要求用户创建一个KeyPair，然后通过这个KeyPair来进行SSH的连接。他的本质其实是创建了一个公钥/私钥对之后，把公钥保留在EC2的实例上，然后用户下载私钥。系统创建的KeyPair我们可以在EC2旁边的KeyPairs里面找到。我们也可以自己创建之后，手动上传PublicKey的BASE64的内容。手动创建的话Linux/

aws

ec2

key pairs

公钥

私钥

原创精选 2021-01-06 12:46:22 5184 阅读

CloudWatch Metric Filter - AWS KMS 删除 CMK 自动警报

Cloudwatch在AWS的服务里面占据了很重要的部分。他的基本功能是监控服务的性能，发送警报以外，还可以通过各种事件来触发Lamda等服务，他还可以接收第三方的app和服务的日志等等。下面我们来看看如何通过Cloudwatchlogs的Metricfilter来自定义一个Metric，并通过他来发送一个警报。例子：当一个用户删除KMS的CMK时候，给管理员发送一个警告邮件。首先我们来配置一下C

aws

cloudwatch

cloudtrail

metric filter

原创 2021-01-05 11:07:40 2372 阅读

AWS KMS - 导入 Key material

当我们使用AWSKMS的时候，我们可以选择三种Keymaterial的来源，当然最简单的是KMS，完全由AWS提供，我们也可以选择External，也就是从第三方平台导入，下面看看如何实现。进入KMS，新建一个CMK，选择Symmetric和External添加名字选择Key的管理员和用户Review一下选择算法为SHA1，因为之后我用openssl，他只支持这个，下载我们的wrappingkey

aws

kms

key material

openssl

原创 2021-01-05 07:59:31 1770 阅读

AWS KMS 和 S3加密

AWSKMS服务是AWS提供的一个托管服务，用户可以用这个服务来创建和管理CMK，加密秘钥等等任务。值得注意的是，KMS的硬件平台是对多个用户开放的，尽管逻辑上他们彼此不能访问，但是如果特别在意安全性的话，可以使用AWSHSM模块，这个就是指定的设备了，当然他的价格就贵了几十倍不止了。下面看看如何使用KMS加密来加强我们S3Bucket的安全性。例子：我们打算创建2个用户James和Johnny，

aws

kms

s3

原创精选 2021-01-05 07:12:15 3777 阅读

AWS CLI Presigned URL

S3里面的对象默认都是私有的，仅仅所有者可以访问。但是，所有者可以通过自己的权限对对象文件创建presignedURL，这样子在指定的时间内允许其他人来下载这个文件。AWSPresignedURL一般是在SDK里面使用，允许生成一个临时的URL，这个URL里面包含了Token和过期时间，这样子用户可以通过这个临时的URL来访问S3的资源。我们用AWSCLI也可以生成PresignedURL。比如说

aws

s3

presigned url

原创 2020-12-31 13:01:22 2382 阅读

AWS权限冲突-IAM Policy, S3 Bucket Policy 和 Bucket ACL

AWSS3的权限设置一直是一个重难点，而且是比较混淆的一个概念。比较混淆的地方在于，用户可以通过三个不同的地方进行权限管理，这三个地方分别是IAMPolicy，BucketPolicy以及BucketACL。下面通过一些简单的例子来看看这三个东西到底是怎么用的，如果有了冲突的设置，顺序是怎么处理的。首先简单的说明一下他们的应用场景，IAMPolicy是global级别的，他是针对用户来设置的，比如

S3

ACL

Bucket Policy

IAM Policy

原创推荐 2020-12-31 09:23:38 10000+阅读

迁移服务器到AWS

豆子最近在忙着做服务器的迁移，大概有20多个站点的服务器都需要迁移到AWS上去。说说自己的心得和一点浅见。几年前我最开始使用的传统的迁移方式是VMImport/Export,这个简单的说就是上传虚拟机文件到S3bucket上，然后通过Import的命令转换成AMI镜像，最后通过镜像生成EC2实例。这个确实工作，就是宕机时间太长了，没有一天的时间别想弄完；后来呢，很多第三方的备份软件都支持还原到EC

aws

rehost

cloudedure

原创精选 2020-12-04 20:17:00 2315 阅读

【AWS 征文】AWS Lambda 自动拷贝EC2 快照

这周老板给了个指示，有几个关键业务的服务器的备份需要额外的再做一个异地备份，以防万一。目前公司的服务器都在EC2上，每天会自动定时做快照服务。EC2的快照是保存在S3上面的，S3standard号称提供了11个9的可靠性，99.999999999%，理论上整个region大区的所有数据中心都挂了的情况不太可能发生，不过既然老板要求了，那么就来看看如何实现吧。尽管EC2的快照是备份在S3上面的，但是

aws

lambda

boto3

snapshot

有奖征文

原创 2020-07-30 20:50:47 1469 阅读

【AWS征文】AWS 迁移MSSQL 数据库到 Aurora

AWS提供了RDS这样传统的关系型数据库，也提供了Dynamodb这样的NoSQL数据库。那么问题来了，如何把现有的数据库迁移到AWS上呢？当然，数据库本身就提供了备份和还原的功能，我们完全可以手动拷贝备份到对应的服务器上然后进行还原的操作。这种操作对于相同平台的数据库来说还是比较方便的，但是如果涉及到不同的数据库平台，那就比较麻烦了。AWS本身就提供了一个数据库迁移的服务，叫做DatabaseM

aws

有奖征文

数据库

迁移

dms

原创 2020-07-24 11:42:18 10000+阅读

【AWS征文】AWS 清理安全组

豆子今天用AWSTrustAdvisor查看了一下安全组的设置，发现里面有N多安全组的端口设置都没有限制IP，还有几十个安全组明细是测试的产物，但是测试完了没有删除，就这么扔在那里。这些安全组的名单可以下载为Excel文件。我需要处理两件事情，第一，找到这些安全组对应的EC2实例，查看之后做好对应的修改；第二，那些完全没有用的安全组我可以删掉。下面看看怎么做的。我有一台EC2的管理服务器，上面已经

aws

安全组

powershell

trust advisor

原创 2020-07-21 09:36:04 1372 阅读

迁移虚拟机到AWS EC2的两种方式

迁移虚拟机到AWS上有很多方式，比如很多第三方的备份软件都有类似的功能，把本地的虚拟机备份成AMI镜像文件，然后通过AMI来创建EC2实例。AWS本身也提供了2种常见的方式。第一个方式是AWS的命令行方式。简单的说有4个步骤：把虚拟机的磁盘文件，比如vhd，vmdk上传到S3的bucket里面通过AWSCLI的命令ec2import-image导入生成一个AMI镜像，生成AMI的这个过程可能会花很

aws

migration

sms

hyper-v

原创 2020-05-21 12:08:35 2087 阅读

AWS Cloudformation Update Stack注意事项

我们通过Cloudformation创建了Stack之后，如果发生需求改变，那么需要进行修改。UpdateStack的操作其实很容易，不过有几点需要注意。进行Update操作之前，请执行stackdrift的操作，以确保一致性。进行Update操作的时候，请查阅相关的resource的属性，判断是否会导致某些服务中断有些属性，例如EC2的PublicIP，如果没有绑定EIP，那么重启之后会变化，这

aws

cloudformation

update stack

change set

template

原创 2020-04-30 07:24:11 1509 阅读

AWS Cloudformation - Stack drift

Cloudformation的基本思想就是softwareasinfrastruture。很多时候，可以作为一种快速有效的架构的备份方式。当我们使用Cloudformation配置了stack和对应的resource之后，如果有管理员有意或者无意地在控制台手动修改了对应的服务配置，那么导致实际运行的架构和我们的cloudformationtemplate不一致，这种情况就叫做stackdrift。

aws

cloudformation

stack drift

aws config

stack

原创 2020-04-27 08:44:57 990 阅读

如果企业使用AWS云，会有那些开支，如何构建才能最大力度上节省开支

AWS目前是世界上市场份额最大的云服务商，在国内的市场比例因为各种原因远远比不上阿里云，但是在国际市场上，尤其是IaaS这一块，AWS，Microsoft和Google几乎是三分天下。云是否便宜？这是一个相对有争议性的话题，我抛砖引玉说说自己的看法。一般说起云服务，很多用户的第一反应就是便宜。从成本考虑的话，因人而异，我不认为云服务就一定会比线下的服务器更便宜。豆子的部门需要对集团旗下140多个大

aws

bill

原创 2020-04-02 05:47:45 974 阅读

AWS CloudWatch Agent 的配置和使用

AWS的Cloudwatch可以很方便的监控各种数据，但是他的缺陷在于默认情况下他只能监控Hypervisor的数据，而不会监控客户端OS级别的数据。传统的解决方式，比如我们需要监控内存，硬盘使用状况，或者其他自定义的数据，我们需要自己写个脚本，发送到对应的CloudwatchAPI。这种方式相对而言，不算太友好，AWS提供了一个官方的解决方案，叫做Cloudwatchagent(https://

AWS

cloudwatch

ssm

memory

cloudwatch agent

原创 2019-12-11 07:54:05 6177 阅读

AWS Lambda 自动化和 Python - 自动创建S3 Bucket lifecycle

最近经常需要创建一些S3Bucket用于备份。每个新建的Bucket都应该配置lifecycle，自动删除旧的数据，以便节约空间和开支。豆子写了一个简单的Lambda函数来自动实现。每次当我们创建一个Bucket的时候，他会调用对应的API，Cloudtrail监测到这个事件后，会发送给Cloudwatch,然后Cloudwatch会自动调用我的函数来创建lifecyclepolicy。下面是简单

aws

lambda

s3

lifecycle rule

bucket

原创 2019-11-29 17:26:18 1872 阅读

AWS Ops Automation 和自动化备份

AWS的EC2备份可以有很多方法，如果管理员熟悉脚本和Lambda，完全可以通过Cloudwatch的事件来定时备份，甚至可以直接在Windows的计划任务里面跑个简单的PowerShell脚本都能实现。AWS官方也提供了一个一揽子的解决方案叫做opsautomation，这个很适合对于脚本完全不懂的管理员，配置好以后管理员通过对应的tag可以进行灵活的自定义操作。下面这个截图是官方的示意图具体的

aws

ops automation

backup

tag

ebs

原创 2019-11-28 06:37:13 1118 阅读

Lambda，AWS和Python的自动化管理操作 - 自动Resize S3上传的图片

这节来学习一个经典的案例，这个案例我在三个不同的培训视频里面都看见过，不知道最初的原创者是谁:)简单的说就是创建2个S3的bucket，在其中一个上传照片，他会自动压缩尺寸并保存在另外一个bucket里面。下面来看看如何实现。首先创建2个bucket，一个source，一个destination然后创建对应的role然后创建一个Lambdafunction，选择上面配置的role添加一个触发器，这

aws

boto3

python

s3

lambda

原创 2019-10-12 19:45:26 3172 阅读 1点赞 3评论

Lambda，AWS和Python的自动化管理操作 - 自动创建快照，删除快照

这一节看看如何通过boto3来管理EC2的快照。在实际生产环境中，豆子使用的是AWS提供的解决方案EBSSnapshotScheduler,直接导入Cloudformation的stack，会自动配置Lambda函数和DynamoDB数据库，然后我们可以通过标签来进行设置。从学习的角度，我们直接来弄一个超简易的版本。我们可以直接写两个Lambda函数，一个进行创建，一个进行删除。首先，设置一个ta

aws

python

boto

lambda

snapshot

原创 2019-10-09 18:23:44 1860 阅读

Lambda，AWS和Python的自动化管理操作 - 自动开机和关机

上一篇豆子已经配置在PyCharm里面添加了boto3和pyboto3，因此写脚本的时候可以直接在自己的PyCharm里面编写。下面是一个例子遍历所有的region查找EC2，如果状态是开机，那就关掉；或者倒过来也可以写成如果是关机状态，就开机。importboto3deflambda_handler(event,context):#Getlistofregionsec2_client=boto3

aws

ec2

lambda

boto3

python

原创 2019-09-18 19:43:23 2333 阅读

Lambda，AWS和Python的自动化管理操作 - 创建新的EC2 实例

最近开始从头学习Lambda在AWS里面的自动化运用。我的操作主要是基于Python3.7的版本，AWS的Python模块叫做Boto。具体的语法和概念都不赘述了，直接来看具体的例子。首先来看看第一个简单的操作，如何创建一个新的EC2实例。第一步，创建一个新的lambda函数，选择authorfromscratch，这里他默认会自动创建一个IAM的role，并赋予访问cloudwatchlog的权

AWS

lambda

python

boto

自动化

原创 2019-09-16 19:17:02 3695 阅读

AWS - Serverless 和 lambda

AWS里面无服务器服务模式（Serverless）是一个近两年很热门的技术，他可以允许服务无需任何服务器配置就可以在需要的时候执行代码。下面看一个简单的例子如何通过Lambda，APIGateway,S3等云服务来实现一个最基本的无服务器架构模式。例1：在某个网页上点击一个按钮,更新网页的内容。简单说明一下流程，用户访问S3的一个静态网站，点击一个按钮，执行一个javascript的AJAX的Ge

aws

s3

serverless

lambda

api gateway

原创 2019-02-08 18:50:47 9941 阅读 1评论

AWS 通过成本分配标签来查看账单

公司的AWS上运行了很多不同的服务，EC2，S3，×××等等，他们属于10多个不同的诊所。之前的管理员并没有进行很好的Tag，因此每个月底的账单都只能看见一大堆总的开支，具体到每个服务，每个诊所很难确定具体的开支。为了解决这个问题，可以对每个服务都进行自定义的Tag标签，然后在CostAllocationTag的控制台里激活自定义的标签，一天之后，就可以在Billing账单里面根据自己定义的标签来

aws

billing

tag

原创 2019-02-08 08:42:58 5644 阅读

搭建本地，AWS和Azure之间的IPSec 连接

背景因为业务需要，需要在公司，AWS和Azure之间都搭建IPSec的连接。主要挑战在于：AWS只支持IKEv1Azure默认支持IKEv2，如果使用IKEv1的话只能搭建一个policybased连接；公司的路由器是CiscoRV340,最新的版本支持IKEv2，但是不支持BGP动态路由，和AWS连接没问题，但是和Azure连接默认只能使用policybased连接，也就是有一个连接的限制，如果

aws

azure

ipsec

vpn

ikev1

原创 2019-01-24 11:24:46 4070 阅读

AWS Athena 分析日志

AWS里面可以用Athena来分析S3里面保存的日志，他把日志转换成数据库表的格式，这样就可以通过sql语句进行查询了。这个功能和在windows服务器上用logparser来分析Exchange或者IIS的日志很相似。下面做个演示，通过Cloudtrail记录管理日志，然后通过Athena来查询日志内容。首先选择CloudTrail,CloudTrail是一个日志记录的服务，他和cloudwat

aws

athena

cloudtrail

logs

原创 2019-01-02 11:43:10 6232 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

麻婆豆腐

AWS ALB + Cognico 用户验证

配置AWS RDS Router EC2

AWS SES 的监控和日志

GITHUB ACTION - 推送AWS Lambda 文件

Athena 查询安全组的变化

AWS Key Pair 和EC2

CloudWatch Metric Filter - AWS KMS 删除 CMK 自动警报

AWS KMS - 导入 Key material

AWS KMS 和 S3加密

AWS CLI Presigned URL

AWS权限冲突-IAM Policy, S3 Bucket Policy 和 Bucket ACL

迁移服务器到AWS

【AWS 征文】AWS Lambda 自动拷贝EC2 快照

【AWS征文】AWS 迁移MSSQL 数据库到 Aurora

【AWS征文】AWS 清理安全组

迁移虚拟机到AWS EC2的两种方式

AWS Cloudformation Update Stack注意事项

AWS Cloudformation - Stack drift

如果企业使用AWS云，会有那些开支，如何构建才能最大力度上节省开支

AWS CloudWatch Agent 的配置和使用

AWS Lambda 自动化和 Python - 自动创建S3 Bucket lifecycle

AWS Ops Automation 和自动化备份

Lambda，AWS和Python的自动化管理操作 - 自动Resize S3上传的图片

Lambda，AWS和Python的自动化管理操作 - 自动创建快照，删除快照

Lambda，AWS和Python的自动化管理操作 - 自动开机和关机

Lambda，AWS和Python的自动化管理操作 - 创建新的EC2 实例

AWS - Serverless 和 lambda

AWS 通过成本分配标签来查看账单

搭建本地，AWS和Azure之间的IPSec 连接

AWS Athena 分析日志

欢迎