如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。Hadoop带来了廉价的处理大数据（大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。但这与之前有什么不同？现今企业数据仓库和关系型数据库擅长处理结构化
翻译
2022-12-05 10:30:54
121阅读
Hadoop是大数据时代不可或缺的一个分布式系统基础架构，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。那么对于初学者来说怎么能够更快的掌握Hadoop的使用技巧呢？本电子书汇聚了业界知名专家撰写的精品博文，分享给大家。
原创
2013-05-24 17:27:06
2208阅读
点赞
php大数除法，要求保留精度的问题，发现普通的方法都不能保存精度，最后找了一下资料发现可以这样是不是翻车过?
原创
2022-08-18 11:49:42
63阅读
有人在群里问大数除法，要求保留精度的问题，发现普通的方法都不能保存精度，最后找了一下资料发现可以这样 这倒是个冷门知识，嗯哼
原创
2022-04-08 14:51:04
274阅读
近年来，随着物联网、云计算的发展，大数据技术也成为了热门词汇。而对于大数据企业的发展，大数据产业园的作用可谓举足轻重。大数据产业园指大数据产业的聚集区或大数据技术的产业化项目孵化区，简而...
转载
2021-07-20 14:24:04
305阅读
说起大数据，很多人都能聊上一会，但要是问大数据核心技术有哪些，估计很多人就说不上一二来了。 从机器学习到数据可视化，大数据发展至今已经拥有了一套相当成熟的技术树，不同的技术层面有着不同的技术架构，而且每年还会涌现出新的技术名词。面对如此庞杂的技术架构，很多第一次接触大数据的小白几乎都是望而生畏的。
原创
2023-07-25 17:58:32
51阅读
# MongoDB 大数据量 只保留近两天的数据
在大数据时代，数据量的增长速度越来越快。对于存储和处理大数据量的数据库，MongoDB 是一个非常受欢迎的选择。然而，随着数据的不断增长，我们可能需要保留最近几天的数据，而删除过去的数据，以便节省存储空间和提高查询性能。
本文将向您介绍如何使用 MongoDB 的 TTL（Time To Live）索引和过期数据自动删除功能来实现只保留近两天数
我上大学时那时候安卓的版本才到安卓4.4,在智能手机出来普及以前,各大网站的数据量并没有那么多,但是随着智能手机的普及,互联网巨头家里的数据呈现几何级增长,像什么微博,微信,视频网站的数据;需要找到合适的存储方式—>>分布式存储架构,可以水平扩展,实现存储数据类型多样化,二维可以实现高容错高吞吐量,轻松实现大文件存储(支持P级别的
原创
2023-03-15 11:01:42
324阅读
ROOT权限之后手机数据还在的吗？不需要，ROOT和水果的越狱一个道理，只是取得系统的最高权限，相当于win系统的得到administrator权限。但是，凡事都不是一定的，如果ROOT不成功，会出现不能开机，或者进不了系统的情况，这样就会出现数据破坏或者不能打开等情况。所以，建议ROOT前还是尽量备份一下你的数据吧。当人们误删除手机里的重要数据和信息，或因为手机损坏而不能查看重要数据和信息时，就
大数据啊大数据！浪尖浪尖聊大数据开始本文之前，希望大家参与一下下面的投票。做这个投票的主要原因是最近经常有找浪尖咨询大数据，自学，培训及找工作的事情，问题归类如下：大数据要不要培训自学一段时间，发现很痛苦，没人指导想放弃，培训费用太高了培训发现跟不上，举步维艰培训结束了，为啥面试机会甚少下面分类回答一下。1.大数据需要培训吗？对于java老鸟，因为有比较强的编程经验，可以买点视频或者找大牛付费专栏
原创
2021-03-19 13:47:02
10000+阅读
两年的时间，大数据像雨后的野草一样，顽强的长满了草原。不管是互联网的、金融的、医疗的、汽车的，好像不提大数据，就像是落伍了一样的。近期笔者所在团队给某部位的研究院做了大数据的一个可行***规划，有些事，正好与各位做一个分享。大数据，顾名思义，数据量特别大，按照定义来说，就是数据量特别大，无法用传统的手段解决。所谓传统的手段，也就是业界内注明的IOE，即，高性能服务器+专用存储设备+数据库设备。其实
原创
2015-06-15 22:20:48
355阅读
两年的时间，大数据像雨后的野草一样，顽强的长满了草原。不管是互联网的、金融的、医疗的、汽车的，好像不提大数据，就像是落伍了一样的。近期笔者所在团队给某部位的研究院做了大数据的一个可行***规划，有些事，正好与各位做一个分享。大数据，顾名思义，数据量特别大，按照定义来说，就是数据量特别大，无法用传统的手段解决。所谓传统的手段，也就是业界内注明的IOE，即，高性能服务器+专用存储设备+数据库设备。其实
原创
2015-06-15 22:22:02
488阅读
1.大数据对思维方式的影响是使得分析全样而非抽样、效率而非精准、相关而非因果。 2.区别：大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；云计算本质上旨在整合和优化各种IT资源，并通过网络以服务的方式廉价地提供给用户；物联网的发展目标是 实现物物相连，应用创新是物联网发展的核心。 联系：从整体上看
十五、Kafka152.kafka 可以脱离 zookeeper 单独使用吗？为什么？不可以单独使用，因为Kafka使用了Zookeeper 管理 和协调Kafka的节点服务器153.kafka 有几种数据保留的策略？2种数据保留的策略按照过期时间保留。按照存储的消息大小保留。154.kafka 同时设置了 7 天和 10G 清除数据，到第五天的时候消息达到了 10G，这个时候 kafka 将如何
今天听了一场报告会，是清华计算机系60周年系列讲座之一，主讲人是哈工大软院院长李建中教授，主题《计算和数据资源受限的大数据计算的复杂性理论与高效算法研究》，李老师介绍的大数据计算理论体系很...
原创
2022-04-29 22:22:20
1969阅读
大数据框架 系统平台 Hadoop、CDH、HDP 监控管理 CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle 文件系统 HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio 资源调度 YARN、Mesos 协调框架
原创
2022-07-30 00:54:47
869阅读
看过来！！！2017年，大数据已经从概念走向落地；2019年，中低端IT工程师紧随浪潮加速向大数据转型，企业对大数据人才争夺直接进入白热化阶段。因此，对于想学IT技术的、想月入过万不是梦的人而言，我建议，直接选择学习大数据技术是符合潮流和就业需求的选择。一、大数据是什么？1、大数据简介一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的
近年来，伴随手机的普及以及移动互联网技术的迅猛发展，手机使用中产生的大数据资源的研究与应用价值受到学者们的重视。然而，合理开发、利用手机大数据的边界尚未确定，海量数据仍处于“沉睡”之中。忠实记录用户行为据2016年1月工信部发布的2015通信运营业统计公报，中国移动电话用户总数达13.06亿户。如此规模的移动电话用户群体将产生海量数据。同济大学建筑与城市规划学院副教授钮心毅介绍，手机数据包括通话详
大数据概述： 大数据的发展历程：第一阶段：萌芽期（20世纪90年代至21世纪初） 第二阶段：成熟期（21世纪前十年） 第三阶段：大规模应用期（2010年以后） 大数据的特点（简称4V）：数据量大 数据类型多 处理速度快 价值密度低 大数据的特征：全面而非抽样 效率而非精确 相关而非因果 在科学研究上的四种范式： 实验科学、理论科学、计算科学、数据密集型科学大数据技术 主要包括数据采集与预处理、数据
