Kubernetes (K8s) 是一种用于自动部署、扩展和管理容器化应用程序的开源系统,而 MinIO 则是一个开源的对象存储服务器,兼容 Amazon S3 协议。通过结合使用 K8s 和 MinIO,我们可以在 Kubernetes 集群中部署一个 S3 兼容的对象存储服务。接下来我将向你介绍如何在 K8s 中部署 MinIO,并使用 S3 API 来进行对象存储。
整个流程主要分为以下步            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-03-21 09:39:06
                            
                                174阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            目前文件存储一般采用obs存储,也就是对象存储比较流行的有: minio 阿里云 华为云 阿里云 腾讯云 七牛云 百度云 ,对于贫穷的我来            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-10-21 14:40:09
                            
                                65阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            具体streamsets crate 集成可以参考 streamsets crate 以下文档只关注minio 集成的配置 minio 服务 搭建 具体搭建参考:            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-07-19 16:02:57
                            
                                376阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            cerbos 支持blob 存储,以下是关于minio s3 的集成试用 环境准备 docker-compose version: "3" services: minio: image: mini1:9001" command:            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2023-11-17 10:36:24
                            
                                95阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            目前文件存储一般采用obs存储,也就是对象存储比较流行的有: minio 阿里云 华为云 阿里云 腾讯云 七牛云 百度云 ,对于贫穷            
                
         
            
            
            
            以前有写过使用minio gataway 代理nas 的,实际上还可以代理s3 ,hdfs。。。。,以下是一个gatway 带来nas 以及s3 集成的模式 环境准备 docker-compose文件 version: "3" services: gateway: image: minio/mini            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-07-18 21:55:23
                            
                                2068阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            drill 支持s3数据的查询,同时新版的通过简单配置就可以实现minio 的集成 测试使用docker 运行drill 参考 ,minio 安装也可以使用docker minio bucket            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-07-19 16:41:20
                            
                                282阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            支持s3是cubestore 一个很不错的特性,可以提高系统的扩展性 参考修改 主要是添加endpoint 以及配置使用path格式请求 s3.rs impl S3RemoteFs { pub fn new( dir: PathBuf, region: String, endpoint:String            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-07-25 12:02:30
                            
                                179阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            chainlit s3 默认对于minio 的支持没有明确说明,但是我们可以通过配置解决(环境变量以及~/.aws/config 都可以) 使用 代            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-09-14 10:22:18
                            
                                116阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            cronicle 后端存储是可配置的 ,通过使用不同的存储配置,我们可以解决多实例部署以及数据共享的问题 cronicle 的后端存储模型,设计的特别方便,包含了基于文件的,基于s3 的,同时我们也可以开发自己的 存储引擎 以下是一个集成minio s3 部署单master,多slave 实际上我们            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-07-19 11:33:42
                            
                                439阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            lancedb 是一个灵活高效的向量数据库,提供了方便的存储模式支持(本地以及对象存储的)以下是关于集成minio s3 的一个简单示例 代码 s3-lance.py import lancedb from lan            
                
         
            
            
            
            作者: 靳献旗 汽车之家 DBA,TUG 2021 MVA 1.背景 TiDB 集群的备份方式有很多种,主流的包括:逻...            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2022-08-12 14:26:45
                            
                                268阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            客户端名称:minio clientminio中文官网地址:http://docs.minio.org.cn/docs/master/minio-client-complete-guideminio英文官网地址:https://min.io/docs/minio/linux/index.html?ref=docs-redirect使用方法:下载二进制文件,并复权wget https://dl.mi            
                
                    
                        
                                                            
                                                                        
                                                                推荐
                                                                                        原创
                                                                                    
                            2022-12-21 17:35:08
                            
                                1619阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            minio 是一个aws s3 兼容的对象存储系统,我们可以通过s3fs 进行数据桶的挂载,这样可以做好多方便的事情 环境准备 使用docker-compose 运行 minio docker-compose 文件 version: "3" services: s3: image: minio/mi            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-07-18 23:13:26
                            
                                5653阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            对于新版本的nexus 已经支持s3 存储了(3.12),但是企业内部可能还是需要使用私有部署的 还好我们有minio,具体的介绍就不说了 minio 项目运行 参考项目: https://github.com/rongfengliang/mino-thumbor-openresty 尽管里面的功能            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-07-20 10:28:52
                            
                                3682阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            MinIO通过配置桶策略关闭列表展示,以下为操作教程。下载:s3browser官网安装完成S3 browser后,添加账号 修改桶policy,选择桶public右键 删除 s3:ListBucket(取消访问桶下的xml文档树)自动生成的策略模板这里设置了"s3:ListBucket"关闭前:关闭后在访问此地址则自动跳转登录页。            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-05-01 21:50:14
                            
                                4018阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            
                    
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-01-12 15:40:59
                            
                                280阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            参考集成玩法 细节说明 rpm 需要key,可以基于gpg 工具生成,同时我们的repo 可以做为为一个rpm包,方便打开开启使用 默认repo 的rpm格式(可以直接使用fpm制作rpm包) ├── etc │ ├── pki │ │ └── rpm-gpg │ │ └── RPM-GPG-KEY            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-05-02 16:15:17
                            
                                367阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            1 # 安装 2 curl "https://s3.amazonaws.com/aws-cli/awscli-bundle.zip" -o "awscli-bundle.zip" 3 unzip awscli-bundle.zip 4 ./awscli-bundle/install -b ~/bin            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2023-11-30 10:27:11
                            
                                134阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            S3的考试内容在助理级解决方案架构师的考试中出现的频率比较多,因此需要重点学习并且最好能多做实验。S3的基本特性S3是一种对象存储,你可以保存文件到S3存储桶上 
  不能用来保存操作系统,用来保存操作系统的是块存储,比如EBS (Elastic Block Storage)每一个S3的文件大小可以从 0 字节到 5TB使用Single Operation上传只能上传最大5 GB的文件使            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-09 08:50:27
                            
                                212阅读
                            
                                                                             
                 
                
                                
                    