目录
目录大数据分析师的职责金字塔模型DATA SOURCESDATA WAREHOUSESDATA EXPLORATIONDATA MININGDECISIONS大数据分析师职责R语言建议常用统计量集中趋势的指标
大数据分析师的职责2016年06月大数据俱乐部正式成立，在成立前的几次活动中以及中生代技术社区的线下活动之中，我都有分享大数据分析师对于企业、政府以及NGO组织的重要性。大数据
转载
2023-08-10 15:14:38
176阅读
结构
大数据就是
互联网发展到现今阶段的一种
表象或
特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。
&
转载
2024-08-30 23:34:06
25阅读
1.优化索引 2.优化SQL语句 3.多用存储过程，少用触发器 4.巨型表的分割（行数太多的表水平分割，列数太多的表垂直分割） 5.增加冗余，降低范式，以空间换时间 6.大的事务分解成小的事务 7.优化数据库相关参数
原创
2009-10-14 14:57:00
93阅读
1、参考阅读《天下没有难学的Linux.zip》，它指出了学习Linux的方法，最值得一提的是指出LFS安装完全自定义Linux的方式学习Linux的方法。
2、参照下面文章安装LFS，训练驾驭Linux的能力。
http://www.linuxsir.org/bbs/thread322894.html
或者：
http://blog.chinaunix.net/u/13265/showa
原创
2009-09-07 02:07:15
422阅读
1.第一种就是写个工具类UITools，获取手机的密度，然后根据公式转换 代码：public static int p
原创
2023-03-06 10:15:22
138阅读
背景笔者在阅读《深入理解Java虚拟机：JVM高级特性与最佳实践（第3版）》时，按1.6.1章节中获取源码的方法，进行下载源码：第
原创
2022-08-31 17:40:22
180阅读
数据就是资产。大数据工程师是现在十分火热、高薪的职位。做大数据开发和分析不仅要用到Java，Python也是最重要的语言。 那么，今天我们就来分析一下，Python之于大数据的意义和作用。什么是大数据？大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信
转载
2023-09-20 22:51:16
93阅读
随着互联网的快速发展，大数据技术在各行各业中的广泛应用也日益广泛，它对社会的方方面面，甚至到人们的消费习惯、思维习惯都带来了非常大的转变。但技术的进步也是一把双刃剑，给生活带来便利的同时，也伴随着越来越多网络信息安全问题。图片来源于网络一、常见的信息安全问题1、大数据系统收集到极其全面的个人信息，造成个人隐私的泄露；2、盲目上马建立的大数据库，造成硬件设施的过度投资，消耗大量社会资本；3、大数据库
转载
2024-04-25 17:24:19
11阅读
大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高
原创
2019-06-22 12:32:45
1709阅读
一、什么是大数据，什么是Hadoop 大数据：指无法再一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多元化的信息资产。 数据存储单位：bit<Byte&
转载
2024-02-22 15:39:19
64阅读
大数据是社会数字化的产物，随着业务成熟度的逐渐向上发展，面对的需求逐渐多样化和个性化，对于创新的要求也越来越高，因此可以说智能数据是大数据发展的高级阶段，是大数据在应用创新落地方向的核心要求。01、数据业务的构建过程
通用的开展大数据业务的过程总结起来如下图所示。■ 图1 大数据业务构建过程首先是数据系统的建设，数据系统是基础。从确定要进行哪些方面的数据收集开始，需要把收集到的数据进行清
转载
2023-07-24 14:52:09
102阅读
教你搭建自己的大数据分布式计算系统环境 随着大数据的热度与市场需求不断提升，学习大数据的小伙伴越来越多，然而，大家的个人电脑平时可能都用做了打游戏，看剧，逛论坛，没有配置过一套适合于学习大数据的环境，于是乎感叹万事开头难。今天，数据科学君就带大家打开大数据世界的大门，手把手教大家在自己的电脑中配置Hadoop+Spark+Mysql，当然，还有Python3+Jupyter
转载
2024-03-07 23:02:06
61阅读
传统的电源架构如今很难满足大型数据中心在扩大规模、保持冗余和可用性方面的需求。以下对基于策略的电源管理和专用电源控制硬件的组合将如何帮助数据中心提高容量进行阐述。传统的电源架构如今很难满足大型数据中心在扩大规模、保持冗余和可用性方面的需求。以下对基于策略的电源管理和专用电源控制硬件的组合将如何帮助数据中心提高容量进行阐述。更加智能的冗余电源管理全球计算能力正在发生变化：受到运营成本模型、灵活性、无
原创
2021-05-25 09:34:32
97阅读
本指南系统解析基于Python Scrapy框架实现学术网站数据抓取的核心技术。从Scrapy的底层原理到学术场景的定制化改造，覆盖概
大数据是2012的时髦词汇，正受到越来越多人的关注和谈论。大数据之所以受到人们的关注和谈论，是因为隐藏在大数据后面超千亿美元的市场机会。
大数据时代，数据挖掘是最关键的工作。以下内容供个人学习用，感兴趣的朋友可以看一下。
智库百科是这样描述数据挖掘的“数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据
转载
2023-06-09 14:43:09
177阅读
第一：官网文档，第二：大神Demo，第三：前辈指点。现在信息爆炸时代，能找到学习资料太多了，在用的时候需要进
转载
2021-12-10 17:30:50
56阅读
从大数据的出现开始，对大数据的争议似乎就一直未断过，似乎每家软件厂商、每家咨询公司，以及每个思想领袖都在尝试着对“大数据”做出准确的定义。尽管目前还没有出现这样的定义，但是打破关于大数据的神话将有助于我们认识大数据。你能够获得所有的数据我们从来都没有像现在这样能够获得如此多
原创
2023-04-19 14:17:56
79阅读
一、结构化数据的存储 随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。水平切分数据库，可以降低单台机器的负载，同时最大限度的降低了了宕机造成的损失。通过负载均衡策略，
转载
2023-12-28 23:23:14
111阅读
我上大学时那时候安卓的版本才到安卓4.4,在智能手机出来普及以前,各大网站的数据量并没有那么多,但是随着智能手机的普及,互联网巨头家里的数据呈现几何级增长,像什么微博,微信,视频网站的数据;需要找到合适的存储方式—>>分布式存储架构,可以水平扩展,实现存储数据类型多样化,二维可以实现高容错高吞吐量,轻松实现大文件存储(支持P级别的
原创
2023-03-15 11:01:42
569阅读
