早在1971 年，“互联网”一词尚未诞生时，智利总统萨尔瓦多·阿连德就已经下令打造
原创
2022-12-27 12:45:11
348阅读
同步大数据发展与大数据法制，方能形成一个良性循环我们应当遵循安全和发展同步推进的原则，加大自主创新力度，将核心技术牢牢掌握在自己手中。大数据的安全既包括了大数据处理系统的安全，例如，使用的核心技术和基础设施，也包括了大数据本身的安全。大数据本身的安全属于信息安全的范畴，当然，它也与运营管理有关...
转载
2017-09-08 11:25:00
78阅读
2评论
数据倾斜的概念数据倾斜这四个字经常会在学习MapReduce中遇到。所谓数据分区，就是数据分区分布因为数据本身或者分区方法的原因变得极为不一致，大量的数据被划分到了同一个区。由于Reducer Task每次处理一个区的数据，这导致Reducer Task处理有着大量数据的分区时任务繁重，而其他区分到的任务过于轻松，从而导致整体的任务效率大幅降低。“一个人累死，其他人闲死”。数据倾斜发生原理一般来说
转载
2024-01-05 13:38:24
92阅读
一、Centos制作一个证书颁发着CA （1）进入到目录/etc/pki/CA/中，创建文件index.txt和文件serial，并且向文件serial中写入一个16进制的数，这个数字代表着颁发的第一个证书编号： cd /etc/pki/CA touch index.txt echo 00 > serial （2）生成自己的私钥文件（生成的文件所要
原创
2019-08-31 09:23:13
485阅读
1. Java数组与内存控制一、Java数组初始化 Java数组是静态的，即当数组被初始化之后，该数组的长度是不可变的。Java数组使用之前必须先对数组对象进行初始化，所谓初始化，就是为数组的所有元素分配内存空间，并为每个数组元素指定初始值。Java基本类型数组的两种初始化方式 静态初始化：初始化时由程序员显式指定每个数组元素的初始值，由系统决定数组长度。 动态初始化：初始化时程序员只指定数组长
转载
2023-09-05 16:56:41
92阅读
在Matlab和Python中，你可以使用聚类算法来将二维离散数据形成的多条曲线进行区分，并得到每条曲线对应的数据点。以下是一种常见的方法，使用K-means聚类算法来实现。在Matlab中，你可以按照以下步骤进行操作：导入数据：首先，将你的离散数据加载到Matlab工作空间中。假设你的数据存储在一个名为data的二维矩阵中，其中每列代表一个特征，每行代表一个数据点。执行K-means聚类：使用k
原创
2023-08-17 08:52:02
202阅读
数据就是资产。大数据工程师是现在十分火热、高薪的职位。做大数据开发和分析不仅要用到Java，Python也是最重要的语言。 那么，今天我们就来分析一下，Python之于大数据的意义和作用。什么是大数据？大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信
转载
2023-09-20 22:51:16
93阅读
随着互联网的快速发展，大数据技术在各行各业中的广泛应用也日益广泛，它对社会的方方面面，甚至到人们的消费习惯、思维习惯都带来了非常大的转变。但技术的进步也是一把双刃剑，给生活带来便利的同时，也伴随着越来越多网络信息安全问题。图片来源于网络一、常见的信息安全问题1、大数据系统收集到极其全面的个人信息，造成个人隐私的泄露；2、盲目上马建立的大数据库，造成硬件设施的过度投资，消耗大量社会资本；3、大数据库
转载
2024-04-25 17:24:19
11阅读
大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高
原创
2019-06-22 12:32:45
1709阅读
大数据学习---Hadoop学习
原创
2022-02-21 17:08:29
690阅读
一、什么是大数据，什么是Hadoop 大数据：指无法再一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多元化的信息资产。 数据存储单位：bit<Byte&
转载
2024-02-22 15:39:19
64阅读
大数据是社会数字化的产物，随着业务成熟度的逐渐向上发展，面对的需求逐渐多样化和个性化，对于创新的要求也越来越高，因此可以说智能数据是大数据发展的高级阶段，是大数据在应用创新落地方向的核心要求。01、数据业务的构建过程
通用的开展大数据业务的过程总结起来如下图所示。■ 图1 大数据业务构建过程首先是数据系统的建设，数据系统是基础。从确定要进行哪些方面的数据收集开始，需要把收集到的数据进行清
转载
2023-07-24 14:52:09
102阅读
Python死锁是怎么形成的呢?死锁是指两个或两个以上的进程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁，这些永远在互相等待的进程称为死锁进程。 由于资源占用是互斥的，当某个进程提出申请资源后，使得有关进程在无外力协助下，永远分配不到必需的资源而无法继续运行，这就产生了一种特殊现象死锁。''' Create
原创
2015-04-05 16:40:18
841阅读
# 使用Flume抽取MySQL数据并形成JSON
在大数据时代，数据的处理和传输至关重要。Apache Flume 是一个灵活且可扩展的系统，能够高效地从多种数据源中提取和汇聚数据。在这篇文章中，我们将重点介绍如何使用Flume从MySQL数据库中抽取数据，并将其转换为JSON格式。
## 前期准备
在开始之前，我们需要确保具备以下条件：
1. **安装了Apache Flume**：可
原创
2024-10-19 06:46:01
39阅读
# 如何在 Python 中生成 datetime 格式数据
在 Python 中，datetime 是一个用于处理日期和时间的模块。它提供了一种方便的方式来表示和操作日期时间数据，并且可以进行各种日期时间计算和格式化。本文将介绍如何在 Python 中生成 datetime 格式数据，并解决一个实际问题。
## 问题描述
假设我们有一个存储了用户注册时间的数据集，其中的日期和时间是以字符串
原创
2024-01-01 04:32:25
32阅读
在数据分析和可视化的过程中，许多用户希望通过Python将离散的数据点连接成流畅的曲线。这不仅有助于更好地理解数据，还能为后续分析提供直观的信息展示。接下来，我将详细阐述如何通过Python实现这一功能。
### 用户场景还原
在一家电商公司，数据分析团队需要将用户购买行为的数据（如每日订单量）可视化，帮助管理层理解这段时间的趋势。数据显示，这段时间的事件变化较快，简单的柱状图可能无法展示出完
教你搭建自己的大数据分布式计算系统环境 随着大数据的热度与市场需求不断提升，学习大数据的小伙伴越来越多，然而，大家的个人电脑平时可能都用做了打游戏，看剧，逛论坛，没有配置过一套适合于学习大数据的环境，于是乎感叹万事开头难。今天，数据科学君就带大家打开大数据世界的大门，手把手教大家在自己的电脑中配置Hadoop+Spark+Mysql，当然，还有Python3+Jupyter
转载
2024-03-07 23:02:06
61阅读
大数据是2012的时髦词汇，正受到越来越多人的关注和谈论。大数据之所以受到人们的关注和谈论，是因为隐藏在大数据后面超千亿美元的市场机会。
大数据时代，数据挖掘是最关键的工作。以下内容供个人学习用，感兴趣的朋友可以看一下。
智库百科是这样描述数据挖掘的“数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据
转载
2023-06-09 14:43:09
177阅读
从大数据的出现开始，对大数据的争议似乎就一直未断过，似乎每家软件厂商、每家咨询公司，以及每个思想领袖都在尝试着对“大数据”做出准确的定义。尽管目前还没有出现这样的定义，但是打破关于大数据的神话将有助于我们认识大数据。你能够获得所有的数据我们从来都没有像现在这样能够获得如此多
原创
2023-04-19 14:17:56
79阅读
一、结构化数据的存储 随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。水平切分数据库，可以降低单台机器的负载，同时最大限度的降低了了宕机造成的损失。通过负载均衡策略，
转载
2023-12-28 23:23:14
111阅读
