1.开发环境语言：python3 开发工具：pycharm 工具库：PyQt5 5.12.1 pyqt5-tools 5.11.2.1.3注：导入上面两个库要先导入sip库2.简介介绍：关于气象预警信息问题，采用Python、QT编程方法，借助聚合数据提供的气象信息接口，制作出一个简单的气象预警软件；达到了对各个省份，不同时间段气象的查询功能，实现了对查询结果复制功能和将结果保存到文件中
转载
2023-08-07 22:18:52
242阅读
Doris 高可用集群的部署 一、主机规划IP主机名安装包10.207.228.64doris-1FE、BE、Broker10.207.228.194doris-2FE、BE、Broker10.207.228.197doris-3FE、BE、Broker二、JDK 部署(1) 下载安装包jdk-8u301-linux-x64.tar.gz(2) 解压tar -xf jdk-8
转载
2023-10-26 05:32:38
257阅读
参考资料 [1] MySQL体系架构简介 [2] MySQL 整体架构一览 目录1. 路径2. 文件3. 配置4. 逻辑系统架构4.1 应用层4.2 MySQL 服务层4.3 存储引擎层5. SQL SELECT语句执行过程第1步：Connectors ：客户端/服务端通信协议第2步：查询缓存第3步：Analyzer分析器第4步：Optimizer优化器：查询优化第5步：查询执行引擎Actuato
转载
2023-07-30 14:41:13
549阅读
Doris集群机器规划以下是Doris集群的服务器规划配置信息，目前采用3节点混部模式。FE3个实例，BE3个实例，构成最低配集群。服务器名服务器IP角色Doris-node0110.19.162.103FE、BEDoris-node0210.19.162.104FE、BEDoris-node0310.19.162.106FE、BEDoris简介官网：首页 - Apache Doris核心组件简介
转载
2024-05-14 14:33:29
243阅读
# 使用 Java 调用 Doris 接口的介绍
Doris 是一款现代化的分布式系统，专为快速的分析和实时的业务需求而设计。它可以支持大规模的数据处理，尤其在进行 OLAP（联机分析处理）时表现出色。本文将为你介绍如何使用 Java 调用 Doris API，并提供示例代码。
## 1. Doris 简介
Doris 是由百度开源的一款高性能、简单易用的分布式分析数据库，主要用于在线分析和
doris的三种数据模型：一、Doris三种数据模型Doris 的数据模型主要分为3类:
- Aggregate
- Uniq
- DuplicateAggregate 模型 聚合模型：聚合模型需要用户在建表时显式的将列分为 Key 列和 Value 列。该模型会自动的对 Key 相同的行，在 Value 列上进行聚合操作。当我们导入数据时，对于 Key 列相同的行会聚合成一行，而 Value 列
转载
2024-06-25 12:51:54
116阅读
6月29日，Doris有幸得到中国信通院云大所、大数据技术标准推进委员会的支持，在中国信通院举行了0.11.0新版本预览线下沙龙。各位嘉宾都带来了干货满满的分享。关注Doris官方公众号，后台回复“0629”即可获取各位嘉宾分享PPT及现场录像。 今天是朱良昌同学代表百度智能云流式计算团队带来Spark Streaming对接Doris 设计与实现的分享。 业务场景
一、doris是什么Apache Doris是一个现代化的MPP（大规模并行分析）分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。令数据分析工作更加简单高效！二
转载
2024-05-14 21:34:58
283阅读
文章目录1. 学习目标2. 操作讲解3、作业结果1. 学习目标理解并实现基于方差和标准差的投资风险理解并实现基于协方差的投资风险2. 操作讲解上一节，我们学习了如何定义并计算投资收益。但是投资不仅要考虑回报，还要考虑风险。现实生活中，风险其实是由很多因素决定的，而我们在这里不可能涵盖所有的客观因素。所以，我们会从投资的价值变化来考虑风险问题。今天的任务会考虑两种风险，一种是股票价格不确定性风险，一
转载
2023-09-24 20:46:31
10阅读
背景今日我的Python心路历程是 股票实战可视化风险评估操练)分析股票风向评估之前，需要先做两个准备工作： 一方面是抓取整理其中的几只数据，如下图所示：另一方面是需要将数据进行一次转换，即求得每个公司的每日股票变化情况（daily-return）。如下所示：#每日差距分析
top_tech_dr = top_tech_df.pct_change()
print top_tech_
转载
2023-10-09 09:56:14
3阅读
背景线上的系统在运行中，发生故障时怎么及时的通过手机通知到相关人员？当然这是个很简单的需求，现有的方法有很多，例如：如果我们用的云产品，那么一般都会有配套对应的监控预警功能，根据需要配置一下即可，支持短信，邮箱通知。如果我们已经搭建了一套运维监控系统，比如zabbix之类的，那么我们学会zabbix，然后配置也即可，支持短信，邮箱通知。…但如果我们希望有一个比较简单轻便，能灵活定制和快速实施的方法
转载
2023-09-27 15:35:22
184阅读
背景预警和智能分析是当今数据产品不可缺少的功能之一。 本文分享我在工作中遇到的的预警和智能分析的技术方案。需求描述：用户可对多个指标设置多个预警规则，次日达到预警条件则发送预警消息，并根据预警消息进行归因分析，生成智能分析报告。用户可根据消息查看对应的智能分析报告。整体流程如图:1.预警1.1 预警流程设计整个预警功能的难点就是跑批模块，整个技术方案也是经过多次技术评审，不断反复沟通、迭代，并确定
转载
2024-08-22 15:11:42
357阅读
一、方案背景随着夏季暑期的到来，孩童、学生溺水的警钟又不断敲响。预防夏季溺水，不仅要求学校方面要加强安全宣传教育，同时相关部门也需要加强对河流、湖泊、水库、池塘等水域的监控和人员靠近预警。目前水库、河湖、堤坝、河湖岸线、深水潭等危险水域的监管能力不足，导致孩童、学生及其他群众溺水预警不及时，无法在事故发生的第一时间采取救援措施。因此，通过智能化视频监控技术，进一步加强对河道、水库、河湖岸线等水域危
转载
2024-06-14 14:28:13
45阅读
自从今年鼎石科技公开了自家的DorisDB后（相关视频见B站）， Apache Doris 在社区中掀起了一波热潮， 我也跟风来学习一下，相关总结与大家分享。首先简单的说下啥是Doris吧，Doris是一个基于mpp的交互式SQL数据仓库，是一个面向多种数据分析场景的、 兼容MySQL协议的， 高性能的， 分布式关系型列式数据库，用于报告和分析。它最初的名字是Palo，由百度开发。在于2018年捐
转载
2023-10-24 21:44:53
343阅读
目录概述导入方式批量删除Broker LoadRoutine LoadStream load概述Doris现在支持Broker load/routine load/stream load/mini batch load等多种导入方式。
spark load主要用于解决初次迁移，大量数据迁移doris的场景，用于提升数据导入的速度。导入方式所有导入方式都支持 csv 数据格式。其中 Broker l
转载
2023-12-19 20:11:49
206阅读
Doris–基础–1.3–理论–架构1、名词1.1、FE(Frontend)Doris 的前端节点。开发语言：以 Java 为主功能
接收和返回 客户端请求元数据 管理集群 管理生成 查询计划1.2、BE(Backend)Doris 的后端节点。开发语言：以 C++ 为主功能：
负责 数据存储负责 数据管理执行 查询计划1.3、Tablet是一张表，是实际的物理存储单元
一张表按
转载
2024-05-15 21:53:36
120阅读
目录一、概述二、Hudi 数据管理1）.hoodie文件2）数据文件三、数据存储四、Hive 与 Hudi 集成使用1）安装mysql数据库2）安装 Hive1、下载2、配置3、解决Hive与Hadoop之间guava版本的差异4、下载对应版本的mysql驱动包5、初始化元数据6、修改hadoop配置文件core-site.xml,表示设置可访问的用户及用户组7、将hudi-hive的jar包放到
转载
2024-04-26 11:55:16
416阅读
简述Apache Doris 是一个现代化的 MPP 分析型数据库产品，仅需 亚秒级 响应时间即可获得查询结果，能有效地支持实时数据分析。
本文主要介绍如何使用 CloudCanal 快速构建一条稳定高效运行的 PostgreSQL 到 Doris 数据同步链路。技术点基于 StreamLoad 的导入方式Doris 提供了多种导入方式。CloudCanal 采用了 StreamLoad 的方式进
转载
2023-11-30 18:34:56
283阅读
前提：已有多年大数据经验，熟悉多种架构，与其他框架类比后总结的doris一些特性，新手勿入1. Doris基础学习1.1 doris 简介Apache Doris 是一个现代化的 MPP(Massively Parallel Processing，即大规模并行处理) 分析型数据库产品亚秒级响应时间即可获得查询结果可以支持 10PB 以上的超大数据集满足多种数据分析需求，例如固定历史报表，实时数据分
转载
2024-03-13 11:55:28
309阅读
参考Hive安装 王家林DT大数据梦工厂场景Hive存在的意义，怎么安装？如何把本地数据导入到Hive中来？分析简介1、Hive是分布式数据仓库，同时又是查询引擎，所以Spark SQL取代的只是Hive的查询引擎，在企业实际生产环境下Hive+SparkSQL是经典组合。 2、Hive本身是一个简单单机版本的软件，主要负责： a) 把HQL翻译成Mapper(s)-Reducer-Mappe
转载
2024-02-28 14:54:41
189阅读
