去年年底出的一本学习Spark大数据的教程，文笔上言简意赅，只讲最常用的内容，很适合入门学习。
原创
2016-06-22 11:41:07
2209阅读
1评论
金融大数据分析是一项重要的工作，可以帮助金融机构更好地理解市场走势、风险管理和投资决策。Python是一种功能强大的编程语言，被广泛应用于金融数据分析领域。在本文中，我们将介绍如何使用Python对金融大数据进行分析，并通过示例代码演示具体操作步骤。
首先，我们需要准备金融数据，这里我们以股票数据为例。我们可以使用pandas库来读取股票数据，并进行数据清洗和处理。下面是一个示例代码：
```
原创
2024-02-24 05:13:38
187阅读
大数据开发工程师的职责大数据开发工程师的职责1职责：1、负责数据采集、数据存储、数据查询、数据计算等基础平台的设计和开发工作;2、利用Hadoop、Spark、Flink等技术进行离线和实时数据开发 ;3、负责大数据平台的规划升级、平台维护和优化 ;4、和其他部门或团队沟通、资源协调并落实工作。任职要求1、本科及以上学历;2、3年以上大型大数据平台建设实施经验 ;3、掌握常用大数据组件hadoop
转载
2023-07-25 20:11:38
70阅读
HadoopHadoop基本概念Hadoop是一个由Apache基金会所开发的分布式系统基础架构，是用Java语言开发的一个开源分布式计算平台，适合大数据的分布式存储和计算平台。Hadoop是目前比较常见的大数据支撑性平台，Hadoop平台提供了分布式存储（HDFS）、分布式计算（MapReduce）、任务调度（YARN）、对象存储（Ozone）和组件支撑服务（Common）。Hadoop的框架最
转载
2023-09-15 18:06:54
810阅读
在如今的信息时代，数据是非常重要的一部分内容。特别是在互联网时代，数据的获取和处理是一项非常重要的工作。对于Java开发者而言，数据的爬取也是一个非常重要的技能。因此，在这篇文章中，我们将为大家带来一篇关于Java爬取数据的实例教程，帮助大家掌握这一重要的技能。1、爬取数据前的准备工作在进行爬取数据之前，我们需要进行一些准备工作。首先，我们需要确定需要爬取的网站，并且了解该网站的页面结构和数据结构
转载
2023-07-25 10:13:08
76阅读
这个时代是大数据时代，也是大数据人才稀缺的时代。由于中国人才缺口比较大，大数据也迅速成为行业和市场的热点，更多的企业无论是对人才的招聘还是在培训都成了刚需，这也促使大数据人才的薪资在同岗位中是很高的，掌握大数据技术，工资提升40%左右是很常见的。”大数据的就业领域是很宽广的，不管是科技领域，还是食品产业，零售业等等，都是需要大数据人才进行大数据的处理，以提供更好的用户体验，以及优化库存，降低成本，
转载
2023-07-20 17:50:34
67阅读
基础篇语言基础篇关于编程语言这部分，大部分同学都是Java附带Scala技能加点，当然如果你学了一点Python的东西也是一个加分项。那么关于Java语言你可以参考下面这个视频，尤其是如果你的语言基础极差，都没有用过Java语言。如果你有一定的语言基础，想看看自己掌握到了什么程度？OK，下面这个视频就满足你的胃口了。这个视频从关键字到新特性，带着问题的形式，边学边考。数据结构篇如果你还在读书，结合
转载
2024-04-29 13:59:40
58阅读
准备在正式开始本内容之前，需要先从github下载相关代码，搭建好一个名为mysql_shiyan的数据库(有三张表：department，employee，project)，并向其中插入数据。具体操作如下,首先输入命令进入Desktop：cd Desktop然后再输入命令，下载代码：git clone http://git.shiyanlou.com/shiyanlou/SQL4下载完成后，输入
转载
2023-12-08 09:54:37
77阅读
RTBDA概述当被分解到其最简单的形式时，大数据分析包括两部分，以便将自身与数据仓库和商业智能进行区分：实时行动分布式，并行处理大数据分析能够解决处理大量无关且不能存放在一个单一的服务器或数据库的数据集所带来的普遍的挑战问题。而这个问题可以通过使用分布式并行处理分布在多个服务器的大型数据集得以解决，每台服务器处理并行数据的一部分。大数据分析可以与结构化和非结构化数据工作，因为它并不需要一个特定的结
转载
2023-12-19 09:42:05
146阅读
实验任务这篇博客是我们一个学期作业，记录在这里，只是方便我写作和一些解决过程的记录。具体实验步骤参考：http://dblab.xmu.edu.cn/post/7499/ 任务如下：本地数据集上传到数据仓库Hive；Hive数据分析Hive、MySql、HBase数据互导；利用Python/R进行数据可视化分析；利用Apriori基于关联规则的购物篮分析。 本地数据集上传到数据仓库Hive实验数据
转载
2023-07-20 17:51:44
379阅读
# MySQL数据实例的创建步骤
## 概述
本文将介绍如何使用MySQL创建数据实例，并向刚入行的小白开发者传授相关知识。
## 步骤概览
下表列出了创建MySQL数据实例的步骤概览：
| 步骤 | 描述 |
| --- | --- |
| 1 | 安装MySQL数据库 |
| 2 | 创建数据库实例 |
| 3 | 创建数据表 |
| 4 | 插入数据 |
| 5 | 查询数据 |
现
原创
2023-09-07 03:14:51
61阅读
目录 一、Hive做离线批处理1、实现步骤①、启动hadoop，启动hive②、在hive下创建weblog库，并使用③、 创建外部表管理数据④、为总表添加当天分区数据⑤、建立数据清洗表，用于清洗出业务所需的字段。⑥、业务处理⑦、创建业务表并插入数据⑧、从清洗表查询得到当天的统计指标，插入到业务表中⑨、利用Sqoop工具从HDFS上将数据导入到Mysql数据库中二、Hive的占位符与文件
3.3. UDF 开发实例3.3.1. Step 1 创建 Maven 工程 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec --> <dependency> <groupId>org.a...
原创
2022-03-04 16:39:50
187阅读
3.3. UDF 开发实例3.3.1. Step 1 创建 Maven 工程 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec --> <dependency> <groupId>org.a...
原创
2021-08-18 10:39:58
293阅读
Python入门 一、基础语法 1、Python中数据类型 整数，浮点数，字符串，布尔值，空值（None） 2、print语句 注意： 1.当我们在Python交互式环境下编写代码时，>>>是Python解释器的提示符，不是代码的一部分。 2.当我们在文本编辑器中编写代码时，千万不要自己添加 >>>。 print语句也可以跟上多个字符串，用逗号“,”隔开，就可以
转载
2023-06-19 14:38:09
184阅读
#2018-07-19#1.同步集群时间2.数据导入flume使用 flume 收集 nginx 服务器的日志到 hdfs （1）配置代理[root@master1 ~]# vim /etc/flume/conf/flume.conf添加：# #配置Agenta1.sources
原创
2022-02-16 14:45:06
747阅读
背景自google发布3篇GFS,BigTable,MapReduce已过去近20年之久，市面上针对大数据治理方案也层出不穷，但大数据实时依旧是一项很难得技术。其主要表现在如下方面：（1）需求实现很难。对数据使用的用户持续增长，用户需求复杂多变，而这种复杂的需求实现又局限于目前的大数据生态，几乎没有某一个组件能解决几乎所有用户需求场景，依旧需要灵活的组合各大数据组件来实现。（2）实时存储很难。随着
转载
2024-03-04 17:23:23
91阅读
#2018-07-19#1.同步集群时间2.数据导入flume使用 flume 收集 nginx 服务器的日志到 hdfs （1）配置代理[root@master1 ~]# vim /etc/flume/conf/flume.conf添加：# #配置Agenta1.sources = r1a1.sinks = k1a1.channels = c1# # 配...
原创
2021-06-04 19:20:01
560阅读
HDFS简介与配置及SSH免密登录HDFS简介实验准备配置HDFS格式化hadoop手动启动：jps验证：网页验证：设置SSH免密登录操作步骤：测试免密登录：结语 HDFS简介HDFS（Hadoop Distributed File System）Hadoop分布式文件系统，是针对谷歌文件系统GFS（Google File System）的开源实现，它是Hadoop两大核心组成部分之一，提供了在
转载
2023-11-06 14:37:13
117阅读
# Spark大数据实战教程
## 1. 介绍
本文将指导你如何在Spark中进行大数据实战。Spark是一个快速的、通用的大数据处理引擎，适用于大规模数据处理、机器学习和图形计算等场景。在本教程中，我们将介绍Spark的基本概念和使用方法，并通过一个具体的实例来展示如何使用Spark进行大数据实战。
## 2. 整体流程
下面是完成本次实战的整体流程，我们将使用一个示例数据集来进行分析和
原创
2024-01-05 04:11:46
138阅读
