1 面试官：请简短的做个自我介绍。面试官，您好！我叫 xxx , xxxx 年 x 月毕业于 xxx 学校，xx 学历，目前就职于 xxx 公司 xxx 部门，职位为：大数据开发工程师，主要从事于 Flink 流计算组件、平台的开发工作。工作以来，我先后参加了 xxx 项目、xxx 项目以及 xxx 项目，积累了丰富的项目经验，同时，这 x 个项目都得到了领导的一致好评。我对流计算组件有着浓厚的兴
转载
2023-09-05 15:49:09
72阅读
序言基于官网教程整理的一个教程。基于Flink1.12.0版本。目前该版本的Flink支持的source与sink如下所示参考资料：
https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/try-flink/index.html
转载
2023-09-27 17:35:38
77阅读
1. 什么是流处理一种被设计来处理无穷数据集的数据处理系统引擎2. 流处理的几个概念1. 无穷数据（Unbounded data）：一种持续生成，本质上是无穷尽的数据集。它经常会被称为“流数据”。然而，用流和批次来定义数据集的时候就有问题了，因为如前所述，这就意味着用处理数据的引擎的类型来定义数据的类型。现
转载
2023-08-15 14:52:47
118阅读
# Python流数据处理框架入门
随着大数据时代的到来，流数据处理变得尤为重要。流数据处理框架允许我们实时处理和分析数据流，从而更及时地做出决策。在Python中，有多种流数据处理框架可供选择，如Apache Kafka、Apache Flink和Apache Spark 等。
## 什么是流数据处理？
流数据处理是对持续生成的数据流进行实时处理的一种计算方式。与批处理不同，流处理能够在数
原创
2024-08-02 11:52:47
57阅读
# Python流数据处理引擎的探索
随着大数据技术的发展，流数据处理变得越来越重要。流数据是指实时生成的数据，可以是用户行为、传感器数据、社交媒体信息等。为了有效地处理这些数据，Python作为一种强大的编程语言，提供了一些流数据处理引擎，如Apache Kafka、Apache Flink，以及Python自身的库如Streamz和Dask。本文将带你了解流数据处理的基本概念，介绍一些Pyt
一、Spark 基础知识1.1 Spark 简介 Spark是专为大规模数据处理而设计的快速通用的计算引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等。1.2 核心概念介绍Spark常用术语介绍Application: Spark的应用程序，包含一个Driver program和若干ExecutorSparkContex
转载
2023-08-13 23:03:10
190阅读
Spark Streaming的流数据处理和分析 Spark读写Kafka一、流是什么二、Spark Streaming1、简介2、流数据处理框架3、内部工作流程三、StreamingContext Spark Streaming读kafa数据1、创建2、入门 Spark Streaming读kafa数据示例无状态流处理有状态流处理四、Spark Streaming 写数据到kafka对Kafk
转载
2023-11-09 14:52:30
70阅读
# Android流数据处理入门指南
在现代的Android开发中，流数据处理是一项非常重要的技能。流数据处理涉及到从固定或动态数据源实时获取并处理数据。这一过程常用于网络请求、传感器数据处理等场景。本文将带你一步一步了解如何在Android中实现流数据处理。
## 流程概述
以下是流数据处理的基本流程：
| 步骤 | 描述 |
|------|------|
| 1 | 确定数据源
# 流数据处理架构入门指南
作为一名刚入行的开发者，你可能对流数据处理架构感到陌生。不用担心，本文将为你提供一份详细的入门指南，帮助你快速掌握流数据处理的基础知识。
## 流数据处理架构流程
流数据处理架构通常包括以下步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 数据源接入 |
| 2 | 数据采集 |
| 3 | 数据传输 |
| 4 | 数据处理 |
| 5
原创
2024-07-18 13:28:59
35阅读
# Java流数据处理
在Java编程中，流数据处理是一种处理数据集合的方式，它可以帮助我们更高效地操作大量的数据。在Java 8之后，引入了Stream API，它提供了丰富的API方法，可以让我们以一种更加函数式的方式来处理数据。
## 什么是流数据处理
流数据处理是一种基于数据集合的处理方式，它允许我们以更简洁、更清晰的方式来处理数据。在传统的数据处理中，我们通常需要使用循环来遍历数据
原创
2024-05-18 06:25:23
36阅读
TIOBE已公布2020年11月的编程语言排行榜。Python势不可挡超越Java！C仍然是第一，但现在是Python占据了第二的位置。Python最近的流行是由于数据挖掘、人工智能和数值计算等领域的蓬勃发展。 ▲TIOBE2020年11月排行榜前20名同时需要注意到的是有一个叫R的语言居然来到了前10名，因为它也是做数据分析和数据科学的编程语言。1、数据科学家使用最多的三种编程语言Kaggle的
转载
2024-05-14 14:03:35
36阅读
进行数据分析时，需要预先把进入模型算法的数据进行数据预处理。一般我们接收到的数据很多都是“脏数据”，里面可能包含缺失值、异常值、重复值等；同时有效标签或者特征需要进一步筛选，得到有效数据，最终把原始数据处理成符合相关模型算法的输入标准，从而进行数据分析与预测。下面将介绍数据预处理中的四个基本处理步骤： 目录 一、数据清洗1.缺失值1.1缺失值可视化1.2缺失值处理2.异常值2.
转载
2023-06-25 10:36:36
199阅读
1. MapReduce 与 HDFS 简介 什么是 Hadoop ？ Google 为自己的业务需要提出了编程模型 MapReduce 和分布式文件系统 Google File System，并发布了相关论文（可在 Google Research 的网站上获得：GFS、MapReduce）。Doug Cutting 和 Mike Cafarella 在开发搜索引擎 Nutch 时对这两篇论文
转载
2023-11-18 23:33:44
104阅读
? IndexFlink核心模型介绍Flink的架构介绍Flink与Spark的异同之处? Flink核心模型介绍Apache Flink就是其中的翘楚，它采用了基于操作符（operator）的连续流模型，可以做到微秒的延迟。Flink最核心的数据结构是Stream，它代表一个运行在多个分区上的并行流，它没有边界，随着时间的增长而不断变化，而且它是逐条进行操作的，每当有新数据进行就会被
转载
2024-02-20 21:31:28
196阅读
概述Excel固然功能强大，也有许多函数实现数据处理功能，但是Excel仍需大量人工操作，虽然能嵌入VB脚本宏，但也容易染上宏病毒。python作为解释性语言，在数据处理方面拥有强大的函数库以及第三方库，excel作为主要基础数据源之一，在利用数据进行分析前往往需要预先对数据进行整理。因此，本文就python处理excel数据进行了学习，主要分为python对excel数据处理的常用数据类型以及常
转载
2023-08-09 10:53:15
327阅读
Python是数据科学家十分喜爱的编程语言，其内置了很多由C语言编写的库，操作起来更加方便，Python在网络爬虫的传统应用领域，在大数据的抓取方面具有先天优势，目前，最流行的爬虫框架Scrapy、HTTP工具包urlib2、HTML解析工具、XML解析器lxml等，都是能够独当一面的Python类库。Python十分适合数据抓取工作，对于大数据的处理，Python在大数据处理方面的优势有：1、异
转载
2023-06-28 15:50:52
429阅读
Redis 流技术目录Redis 流技术WhatRedis 流ID规则Redis 消息结构DemoHowWhatRedis Stream 是 Redis 5.0 版本新增加的数据结构。Redis Stream 主要用于消息队列（MQ，Message Queue），Redis 本身是有一个 Redis 发布订阅 (pub/sub) 来实现消息队列的功能，但它有 个缺点就是消息无法持久化，如果出现网络
转载
2023-06-13 15:20:47
173阅读
注：由于排版问题，现在重新修正一、向本地默认地址存储文件 1 public void save(String filename, String content) throws Exception
2 {
3 FileOutputStream outStream = context.openFileOutput(filename, Context.MODE_PRIVATE);
4
转载
2023-10-20 17:02:46
38阅读
1. spark 是什么？>Apache Spark 是一个类似hadoop的开源高速集群运算环境 与后者不同的是，spark更快（官方的说法是快近100倍）。提供高层JAVA,Scala,PythonI ,R API接口.而且提tools：Spark SQL for SQL 处理结构化数据, MLlib for machine learning,&
转载
2024-01-05 22:29:29
49阅读
pandas 是基于NumPY 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。习惯上，我们会按下面格式引入所需要的包：一、 &nbs
转载
2023-12-07 09:01:34
68阅读
