以下是官方关于cubestore 配置的说明，我们可以用来参考部署集群（router以及woker） 参考配置 参考资料 https://cube.dev/docs/caching/running-in-productionhttps://cube.dev/docs/reference/enviro
原创
2021-07-18 14:18:40
185阅读
官方提供了docker-compose 的运行模式 环境准备 docker-compose 文件 version: "3" services: cubestore_router: restart: always image: cubejs/cubestore:latest environment:
原创
2021-07-18 14:28:16
195阅读
实际上官方支持auth 的认证的，只是模式为None,我们可以自定义自己的一个auth，以下主要说明下关于mysql 协议的，因为特殊性 http 走的是websocket（后期添加） 参考修改的代码 auth #[async_trait] impl SqlAuthService for SqlAu
原创
2021-07-18 14:20:28
160阅读
昨天有说明关于mysql协议支持auth的，今天说明下driver支持auth 的方法（已经支持了，只是代码处理需要调整下） cubestore 源码修改 添加auth支持 基于环境变量进行是否进行auth支持的判断 CUBESTORE_AUTH_ENABLE=1 使用，默认没有配置的就不使用 #[
原创
2021-07-18 14:21:30
183阅读
目前已经构建了一个支持minio的cubestore 镜像dalongrong/cubestore 参考使用 docker-compose 文件 version: "3" services: postgres: image: postgres:12.2 environment: - POSTGRES
原创
2021-07-25 11:21:10
152阅读
使用到的技术 parquet，apache arrow，以及datafusion 参考机制 参考使用模式 传统 基于cubestore 存储模式 支持本地存储以及云模式（s3.。。） 工作机制 一个router 处理请求，管理数据库的元数据构建查询计划以及调度执行 多个worker节并行进行数据预热
原创
2021-07-18 14:24:03
262阅读
cubestore 已经设计支持基于s3的扩展方案，我们基于s3（s3兼容方案也是可以的）可以扩展我们的服务 官方参考扩展 一张参考图 基于s3的扩展 说明 对于s3兼容存储的支持目前我发起了一个pr，等待官方的合并，目前测试还不错，可以使用 参考资料 https://cube.dev/blog/i
原创
2021-07-18 14:20:09
173阅读
目前cubestore 进行时间的处理是有点问题的（主要是依赖的DataFusion） 现象 参考日志 Error: Error: Internal: Error during planning: Coercion from [Utf8, Utf8] to the signature Exact([
原创
2021-07-18 14:22:37
248阅读
最近几个版本的cube.js 默认会安装cube-store ,但是会有一个问题就是cube sotre 下载比较慢，而且很多是否我们暂时用不到 禁用方法 通过环境变量 CUBESTORE_SKIP_POST_INSTALL=true 参考资料 https://github.com/cube-js/
原创
2021-07-18 14:45:26
176阅读
支持s3是cubestore 一个很不错的特性，可以提高系统的扩展性 参考修改 主要是添加endpoint 以及配置使用path格式请求 s3.rs impl S3RemoteFs { pub fn new( dir: PathBuf, region: String, endpoint:String
原创
2021-07-25 12:02:30
179阅读
通过尝试运行cubestore 发现了一个问题，以下是一些整理 共享存储问题 如果注意查看官方文档以及docker-compose 环境会发现都是挂载了同一个数据卷，这个很重要，目前官方没说明通过实践发现这个是必须的（使用blob 存储会好些，s3.。。） 参考配置 目前官方对于共享配置提供了完整的
原创
2021-07-18 14:23:33
267阅读
主要是上次碰到的关于基于cubestore 进行存储使用read only 问题的解决 解决方法 主要修改packages/cubejs-query-orchestrator/src/driver/BaseDriver.js 说明 通过查看github 上issue 的解决方法，发现通读源码还是比较
原创
2021-07-18 15:18:26
163阅读
官方的建议，推荐的使用方法是rollup类型的，直接基于originalSql的存在时间类型的问题（date类型并不是所有） 参考资料 https://cube.dev/docs/pre-aggregations#rolluphttps://github.com/cube-js/cube.js/is
原创
2021-07-18 14:22:11
163阅读
今天cube.js 发布了0.27.31 版本，提供了以下特性 变动 playground 支持query tab，方便使用queryTransformer 变动为了 queryRewrite（目前兼容）这个名称看着更加合理了预聚合推荐处理（尤其是大量数据加载的时候）这个目前cubestore 还是
原创
2021-07-18 14:10:10
173阅读
最近几次cube.js 的变动还是提供了比较多的特性的，一些是一个简单的整理 特性 playground 支持分组操作 cubestore 更新依赖的datafusion（支持更多的特性） 以及处理了import 完成之后才能执行查询 添加配置检查（严模式） bug 修复 外部预聚合的时候优化了数据
原创
2021-07-16 16:49:11
224阅读
昨天cube.js 推送了新版本的一些特新的汇总，实际上如果关注了官方issue 以及文档 应该会发现好多新特新已经很明确了，而且我以前也有简单的介绍 cubestore 新的数据预处理框架，我有介绍过，以下是官方的明确说明（当然基于基于了apache parquet,arrow ）以及rocksd
原创
2021-07-18 15:11:24
340阅读
cube.js 的预聚合是一个很不错的功能，但是目前是有一些问题的，比如我们包含了大量的数据（几十完，上百万） 目前官方相关的解决方法 数据拆分 基于文件模式的文件处理（比如cubestore支持csv格式的） 基于stream模式的数据处理（目前官方也比较推荐的模式） 一些说明 目前方案都不太好，
原创
2021-07-18 14:17:37
239阅读
