大数据是IT界的行业术语，本名叫巨量数据集合。
大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
在各种购物平台，用户所收到的购物产品推荐，就是运用大数据的结果。经常使用淘宝的人可能会有这种感触，前几天搜索了一款产品，后几天就会时常收到相关产品的推
一个鸡蛋从第N层及以上的楼层落下来会摔破？现在很多大型IT企业在面试时都喜欢问一些智力相关的题目，虽然智力面试题在面试笔试中占的比例不大，但很多时候，面试环节中智力题往往会成为我们拿offer的最大拦路虎。因为有些面试官认为通过智力题可以考查你的思维能力、抽象问题的能力。下面是一道很经典的智力型面试题，是一位Java老师的朋友去BAT面试中亲身见识过的一道题。各位来体验一下，看看自己的大脑是不是好
转载
2023-08-28 15:08:40
70阅读
大数据啊大数据！浪尖浪尖聊大数据开始本文之前，希望大家参与一下下面的投票。做这个投票的主要原因是最近经常有找浪尖咨询大数据，自学，培训及找工作的事情，问题归类如下：大数据要不要培训自学一段时间，发现很痛苦，没人指导想放弃，培训费用太高了培训发现跟不上，举步维艰培训结束了，为啥面试机会甚少下面分类回答一下。1.大数据需要培训吗？对于java老鸟，因为有比较强的编程经验，可以买点视频或者找大牛付费专栏
原创
2021-03-19 13:47:02
10000+阅读
大数据啊大数据
原创
2021-07-23 17:57:03
10000+阅读
我上大学时那时候安卓的版本才到安卓4.4,在智能手机出来普及以前,各大网站的数据量并没有那么多,但是随着智能手机的普及,互联网巨头家里的数据呈现几何级增长,像什么微博,微信,视频网站的数据;需要找到合适的存储方式—>>分布式存储架构,可以水平扩展,实现存储数据类型多样化,二维可以实现高容错高吞吐量,轻松实现大文件存储(支持P级别的
原创
2023-03-15 11:01:42
328阅读
1.大数据对思维方式的影响是使得分析全样而非抽样、效率而非精准、相关而非因果。 2.区别：大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；云计算本质上旨在整合和优化各种IT资源，并通过网络以服务的方式廉价地提供给用户；物联网的发展目标是 实现物物相连，应用创新是物联网发展的核心。 联系：从整体上看
这几天我在阅读《谁说菜鸟不会数据分析（工具篇）》一书，发现里边有很多知识是我自己想要学习的内容，现分享部分可视化的学习内容给大家。这是我第一次在简书上写文章，这篇文章也是我第一次在简书上写的，希望大家喜欢。 我们通常看到的或者在公司企业经常性用到的图表有饼图、条形图、柱形图、折线图、散点图、表格等，
原创
2021-07-20 15:33:22
104阅读
教你如何实现“python 有趣的数据包”
作为一名经验丰富的开发者，我将教你如何实现“Python 有趣的数据包”。首先，让我们来整理整个流程。
```mermaid
flowchart TD
A[开始] --> B[安装相关包]
B --> C[导入所需模块]
C --> D[获取数据]
D --> E[数据预处理]
E --> F[数据可视化]
作者:三十而立 有一个表，结构如下： 编号，姓名，时间，基本工资，奖金，扣款 1 张三 8-20 1000 1000 5 2 李四 8-20 1100 900&n
原创
2022-08-12 20:48:02
119阅读
Python语法简单，功能强大，可以干很多事情，原因就是因为它有强大的库支持，有很多很多现成的轮子可以用，你只要负责搭建应用即可。今天给大家推荐10个非常有趣的Python ，一定会让你爱不释手的。1. Python假消息生产器这个库叫Faker很有趣，可以创建一个程序来生成虚假数据，如姓名、电子邮件或详细的虚假个人资料，其中包含一个人的所有信息。玩数据分析的时候经常会用到这个库。 Faker在g
Python, 是一个设计优美的解释型高级语言, 它提供了很多能让程序员感到舒适的功能特性。但有的时候, Python 的一些输出结果对于初学者来说似乎并不是那么一目了然。这个有趣的项目意在收集 Python 中那些难以理解和反人类直觉的例子以及鲜为人知的功能特性, 并尝试讨论这些现象背后真正的原理！虽然下面的有些例子并不一定会让你觉得 WTFs，但它们依然有可能会告诉你一些你所不知道的 Pyth
新智元推荐 来源：GitHubPython, 是一个设计优美的解释型高级语言, 它提供了很多能让程序员感到舒适的功能特性。但有的时候, Python 的一些输出结果对于初学者来说似乎并不是那么一目了然。这个有趣的项目意在收集 Python 中那些难以理解和反人类直觉的例子以及鲜为人知的功能特性, 并尝试讨论这些现象背后真正的原理！虽然下面的有些例子并不一定会让你觉得 WTF
转载
2023-07-01 11:56:11
161阅读
今天听了一场报告会，是清华计算机系60周年系列讲座之一，主讲人是哈工大软院院长李建中教授，主题《计算和数据资源受限的大数据计算的复杂性理论与高效算法研究》，李老师介绍的大数据计算理论体系很...
原创
2022-04-29 22:22:20
1969阅读
大数据框架 系统平台 Hadoop、CDH、HDP 监控管理 CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle 文件系统 HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio 资源调度 YARN、Mesos 协调框架
原创
2022-07-30 00:54:47
869阅读
大数据概述： 大数据的发展历程：第一阶段：萌芽期（20世纪90年代至21世纪初） 第二阶段：成熟期（21世纪前十年） 第三阶段：大规模应用期（2010年以后） 大数据的特点（简称4V）：数据量大 数据类型多 处理速度快 价值密度低 大数据的特征：全面而非抽样 效率而非精确 相关而非因果 在科学研究上的四种范式： 实验科学、理论科学、计算科学、数据密集型科学大数据技术 主要包括数据采集与预处理、数据
近年来，伴随手机的普及以及移动互联网技术的迅猛发展，手机使用中产生的大数据资源的研究与应用价值受到学者们的重视。然而，合理开发、利用手机大数据的边界尚未确定，海量数据仍处于“沉睡”之中。忠实记录用户行为据2016年1月工信部发布的2015通信运营业统计公报，中国移动电话用户总数达13.06亿户。如此规模的移动电话用户群体将产生海量数据。同济大学建筑与城市规划学院副教授钮心毅介绍，手机数据包括通话详
看过来！！！2017年，大数据已经从概念走向落地；2019年，中低端IT工程师紧随浪潮加速向大数据转型，企业对大数据人才争夺直接进入白热化阶段。因此，对于想学IT技术的、想月入过万不是梦的人而言，我建议，直接选择学习大数据技术是符合潮流和就业需求的选择。一、大数据是什么？1、大数据简介一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的
Spark-Core介绍计算引擎，类似MapReduce，将数据存放在内存中，减少磁盘IO，他是有scala编写的总体技术栈讲解Spark Streaming流式计算框架Spark GraphX图形计算引擎ML Base机器学习Spark SQL使用SQL处理业务优点更快易于使用Spark Sql支持多种环境运行模式Local多用于本地测试，如在 eclipse ， idea 中写程序测试等。St
wtfPython—Python中一组有趣微妙的代码wtfPython是github上的一个项目，作者收集了一些奇妙的Python代码片段，这些代码的输出结果会和我们想象中的不太一样；通过探寻产生这种结果的内部原因，可以让我们对Python里的一些细节有更广泛的认知。1.字典键的隐式转换some_dict = {}
some_dict[5.5] = "Ruby"
some_dict[5.0] =
1. 引言Python程序有许多模块和第三方包，这非常有助于高效编程。了解这些模块的正确使用方法是很重要的，在本文中，主要介绍一些非常实用的一些Python常见的模块。 闲话少说，我们直接开始吧。 ：）2.Python伪信息生成器创建一个程序，生成虚假数据，如姓名、电子邮件或包含个人所有信息的详细虚假个人资料。Faker是一个python软件包，可以在终端中使用pip install Faker安
转载
2023-08-17 22:53:54
62阅读
