搞政府大数据平台的，标准规范是一个绕不过去的内容，而且政府项目对标准规范貌似都特别看重，这是与做企业项目很大的不同。政府大数据平台的标准规范可以从以下几个方面制订：数据接入，包括结构化、非结构化数据，以及实时、批量数据的接入汇聚；数据治理，包括数据质量、数据清洗融合、数据模型设计等；数据服务，主要是对应用、委办局的数据支撑，包括数据文件、API接口等；数据安全，此处主要是通过数据脱敏、数据加密等手
转载
2024-01-08 13:49:36
37阅读
一、项目需求与组件架构1.1需求1、三种日志内容：行为日志、内容日志、业务日志。针对这三种日志会采取不同的手段，将数据采集到hdfs中，再建立转化为不同的hive表，以供后续的数据需求分析2、行为日志和内容日志被采集到hdfs中时，要自动按照每一天的日期来划分数据存储目录。3、数据采集好之后，统一使用azkaban来进行shell脚本的调度。因为数据的采集过程需要很多步骤来完成，而这些步骤统一使用
转载
2024-03-04 02:09:29
96阅读
# 星环大数据 Python 接入指南
在大数据时代，数据处理和分析成为了各行各业中不可或缺的一部分。星环大数据作为一个功能强大的大数据平台，提供了多种接入方式，其中 Python 接入是最常用和方便的途径之一。在本篇文章中，我们将介绍如何使用 Python 连接星环大数据，并提供具体代码示例，帮助你快速上手。
## 为什么选择星环大数据？
星环大数据不仅性能优越，还支持多种数据源和编程语言
大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和展现的有力武器。一、大数据接入 1、大数据接入 已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入 2、大数据接入技术 &n
转载
2023-07-17 11:46:30
222阅读
大数据的好处大家都知道，说白了就是大数据可以为公司的未来提供发展方向。利用大数据就离不开数据分析。而数据分析一般都要用一定的步骤，数据分析步骤主要包括4个既相对独立又互有联系的过程，分别是：设计数据分析方案、数据收集、数据处理及展现、数据分析4个步骤。 设计数据分析方案 我们都知道，做任何事情都要有目的，数据分析也不例外，设计数据分析方案就是要明确分析的目的和内容。开展数据分析之前，只有明
转载
2023-08-08 23:39:23
95阅读
选择太多，是一件好事情，不过也容易乱花渐欲迷人眼。倘若每个平台（技术）都去动手操练一下，似乎又太耗时间。通过阅读一些文档，可以帮我们快速做一次筛选。在将选择范围进一步缩小后，接下来就可以结合自己的应用场景去深入Spike，做深度的甄别，这是我做技术选型的一个方法。技术没有最好，只有最适用。在做技术选型时，需要选择适合需求、适合项目类型、适合团队的技术。这是实用主义的判断，而非理想主义的追捧。若是在
转载
2024-08-16 16:13:39
57阅读
谈谈数据中台的大门口，数据接入系统，对应的领域是工业大数据，舆情大数据，设计数据接入系统，首先不应该只局限于怎么将数据接入，而要根据整个中台的数据流向来综合考虑。从数据中台的最终目标来看，数据中台的使命是实现价值数据流 抑或是为其他业务系统提供价值数据流。所以简单点来说，就是业务系统或者最终指标需要什么类型的数据，我就需要将这部分数据接入进来。但更深层次的问题在于，接入的数据是抽象的，是来源多样的
转载
2023-08-17 22:18:41
267阅读
大数据平台-spark数据接入到hive保证数据幂等性方案
原创
2024-02-22 17:42:48
45阅读
组件介绍:Apache Kafka 是一个可扩展，高性能，低延迟的消息队列，允许我们像消息系统一样读取和写入数据。 Spark Streaming 是 Apache Spark 的一部分，是一个可扩展、高吞吐、容错的实时流处理引擎。使用 Scala 语言开发的，支持 Java API。技术架构: Kafka有两类客户端，Producer（消息生产者的）和Consumer（消息消费者）。消息生产者将
转载
2024-03-04 12:39:25
64阅读
一、定IP或者公网动态IP+DNS解析服务。此种方案向先INTERNET运营商申请ADSL等宽带业务。1、中心公网固定IP：监控点直接向中心发起连接。运行可靠稳定，推荐此种方案。2、中心公网动态IP+DNS解析服务：客户先与DNS服务商联系开通动态域名，监控点先采用域名寻址方式连接DNS服务器，再由DNS服务器找到中心公网动态IP，建立连接。此种方式可以大大节约公网固定IP的费用，但稳定性受制于D
转载
2024-03-21 09:41:16
61阅读
1、外部数据是怎样的接入到kafka的？外部数据接入到kafka的流程示意图：（1）接入数据流程（1）producer先从broker-list的节点中找到该partition的leader；（2）然后producer将消息发送给作为leader的partition；（3）leader收到消息后，将消息写入本地log；（4）followers从leader中pull消息，实现replication
转载
2023-09-02 22:18:08
112阅读
我上大学时那时候安卓的版本才到安卓4.4,在智能手机出来普及以前,各大网站的数据量并没有那么多,但是随着智能手机的普及,互联网巨头家里的数据呈现几何级增长,像什么微博,微信,视频网站的数据;需要找到合适的存储方式—>>分布式存储架构,可以水平扩展,实现存储数据类型多样化,二维可以实现高容错高吞吐量,轻松实现大文件存储(支持P级别的
原创
2023-03-15 11:01:42
572阅读
随着电商行业的飞速发展，API接口已经成为了一种不可或缺的技术。作为中国最大的电商平台，淘宝也拥有着自己的API接口。本文将重点讲解淘宝API接口技术，包括其基本原理、使用方法、优缺点等方面，帮助大家进一步了解淘宝API接口的奥秘。一、基本原理API，即“Application Programming Interface”，中文含义为“应用程序接口”。它是一组预定义的程序接口，用于不同软件之间的交
原创
2023-05-29 11:46:20
196阅读
本文介绍如何通过观测云的外部事件检测，将第三方系统产生的异常事件、告警信息集成到观测云中进行统一监控和告警管理。
大数据啊大数据！浪尖浪尖聊大数据开始本文之前，希望大家参与一下下面的投票。做这个投票的主要原因是最近经常有找浪尖咨询大数据，自学，培训及找工作的事情，问题归类如下：大数据要不要培训自学一段时间，发现很痛苦，没人指导想放弃，培训费用太高了培训发现跟不上，举步维艰培训结束了，为啥面试机会甚少下面分类回答一下。1.大数据需要培训吗？对于java老鸟，因为有比较强的编程经验，可以买点视频或者找大牛付费专栏
原创
2021-03-19 13:47:02
10000+阅读
Tendon 数据接入模块，包含数据源定义、数据集成、数据目标定义。数据接入有时也叫数据采集、ETL等。Agent数据探针“探针”也叫数据代理，部署到目标机器中，用来收集目标机器的数据。常见的Agent有：Filebeat（推荐）、logstash等Source定义用来描述数据在什么存储系统中，常见的如：KAFKA、文件系统等。通常，如果数据以日志的形式存储在业务系统中，需要安装Agent数据代理
原创
2023-04-11 14:58:54
112阅读
1.大数据对思维方式的影响是使得分析全样而非抽样、效率而非精准、相关而非因果。 2.区别：大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；云计算本质上旨在整合和优化各种IT资源，并通过网络以服务的方式廉价地提供给用户；物联网的发展目标是 实现物物相连，应用创新是物联网发展的核心。 联系：从整体上看
转载
2024-01-16 00:39:18
318阅读
