数据库时代要说大数据的真正起源，必须得提到数据库。无论是移动互联网还是PC因特网，或者是计算机本身，背后都是一群又一群程序员写的程序，而一切程序说到底都还是对数据的处理。如果把数据处理比作一个王国的话，那这个王国的国王就是数据库。那什么是数据库呢？用最简单的话来说，就是一个用户可以把数据存储在数据库，需要的时候，用户可以告诉数据库，我需要某些数据，然后数据库会自行完成实际的数据处理过程，返回数据给
原创
2021-09-28 21:15:15
10000+阅读
点赞
2评论
移动设备的最大缺点之一就是其将数据从设备传输到计算机很困难。移动设备在这一缺点上有着悠久的历史。早期的移动设备，如 Pilot 和掌上电脑 PDA 设备，需要使用特殊的同步软件来传输数据（你必须小心翼翼地做这件事，因为你的设备可能会因为电池耗尽而导致数据永久丢失）；旧版 iPod 只提供特定平台的界 ...
转载
2021-10-06 12:43:00
128阅读
2评论
综合交通大数据应用技术的发展展望刘晓波1,2,蒋阳升1,2,唐优华1,2,张仪彬1,2,王子兰1,2,罗洁1,21西南交通大学交通运输与物流学院，四川成都6117562综合交通大数据应用技术国家工程实验室，四川成都611756摘要：在移动互联的大数据时代，大数据、人工智能、云计算、物联网、智能终端等先进技术的不断发展，为综合交通的一体化、智能化、智慧化发展提供了坚实的资源和技术支撑。针对现阶段综合
原创
2021-04-08 20:41:43
704阅读
# 大数据云平台发展
## 1. 什么是大数据云平台
大数据云平台是指基于云计算技术构建的用于存储、管理、处理和分析大规模数据的平台。通过云平台，用户可以方便地访问和处理海量数据，实现数据的价值挖掘和应用。
## 2. 大数据云平台的发展历程
随着云计算、大数据技术的不断发展，大数据云平台也逐渐成为企业数据处理和分析的首选解决方案。大数据云平台的发展历程一般可以分为以下几个阶段：
- 阶
原创
2024-04-25 06:43:39
40阅读
1.背景介绍农业是人类社会的基石，也是经济发展的重要驱动力。然而，随着人口增长和城市化进程，人类对农业资源的需求也逐渐增加。为了应对这一挑战，人工智能、大数据等新技术应运而生。在这篇文章中，我们将探讨农业大数据的挑战与机遇，以及智能农业的发展趋势。农业大数据是指在农业生产过程中产生的各种数据，包括气象数据、土壤数据、植物数据、动物数据等。这些数据可以帮助我们更好地理解农业生产过程，提高农业生产效率
转载
2024-08-27 14:30:38
65阅读
http://developer.51cto.com/art/201508/489733.htm
转载
2016-01-19 18:26:00
141阅读
一、引言数据可视化是将数据以不同形式展现在不同系统中，其中包括属性和变量的单位信息[1]。基于可视化发现数据的方法允许用户使用不同的数据源，来创建自定义分析。先进的分析集成了许多方法，为了支持交互式动画在台式电脑、笔记本电脑或平板电脑、智能手机等移动设备上创建图形桌面[2]。根据调查，表1[3]显示了数据可视化的好处。表1.数据可视化工具的好处对于可视化有以下几点建议[4]：（1）不要
大数据行业这6大核心发展趋势，大数据工程师最好掌握，紧跟时代，及时规划，才能早日成为大神！1 应用层级爆发对很多行业而言，如何使用和挖掘大数据是赢得市场竞争的关键，在未来十年，大数据的应用将成为行业发展的核心趋势，随之而来的是大数据产业链应用层级的使用和发展。现在很多领先的互联网巨头企业已经开始对大数据有了实质性的探索，比如阿里巴巴、腾讯、新浪等。大数据应用的核心方向主要包含旅游、医疗、城市、教育
转载
2024-02-29 09:03:47
24阅读
本篇选自野村综合研究所数字基础开发部部门经理、高级研究员城田真琴先生近日在“大数据应用中日交流论坛”上所做的题为《日本的大数据应用环境和发展状况》的演讲。公众号后台回复"181206"即可获取PPT原文本篇主要分为四点与大家分享：日本大数据发展状况与发展趋势日本《个人信息保护法》的修订法律修订后的大数据业务日本大数据应用面临的课题一、日本大数据的发展状况2012到2014期间，大数据是当时非常流行
原创
2021-05-27 19:37:36
1010阅读
前言：今天为大家带来的内容是如何用Python处理大数据？3个小技巧助你提升效率（建议收藏）本文具有不错的参考意义，希望能够帮助到大家！首先，提出个问题：如果你有个5、6 G 大小的文件，想把文件内容读出来做一些处理然后存到另外的文件去，你会使用什么进行处理呢？解答：不用在线等，给几个错误示范：有人用multiprocessing 处理，但是效率非常低。于是，有人用python处理大文件还是会存在
转载
2023-07-02 15:56:43
63阅读
大数据时代，Java开发的需求量越来越大
大数据已经成为了企业竞争的核心力量。而Java是企业大数据技术的主要支撑语言，Hadoop本身就是用Java编写的。当你需要在运行MapReduce的服务器集群上发布新功能时，你需要进行动态的部署，而这正是Java所擅长的。各中小企业求贤若渴，急需全面掌握Java软件开发基础技能与知识的软件工程师。 虽说Java是编程
转载
2023-06-25 20:57:27
36阅读
分布式日志搜集ELKgithub项目地址ELK是ElasticSearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被称为Elastic Stack。其中ElasticSearch是一个基于Lucene、分布式、通过RESTful方式进行交互的接近实时搜索平台框架。类似谷歌、百度这种大数据全文搜索引擎的场景都可以使用ElasticSearch作为底层支持框架，可见Elas
转载
2024-04-24 14:33:36
156阅读
随着大数据和人工智能技术的发展，特别是在大模型的构建与训练中，面临着数据架构与计算能力的双重挑战。近年来，尤其是自2019年以来，引入了多种新的架构设计与数据流处理技术，从而极大提升了模型的训练效率和推理能力。这使得大规模数据的处理变得愈发重要。
```mermaid
timeline
title 大模型与大数据架构发展时间轴
2019 : 引入Transformer模型
大数据应用的领域我们给大家介绍了很多，我们在上一篇文章中给大家介绍了改善医疗保健和公共卫生、提高体育运动技能、提升科学研究。我们在这篇文章中给大家介绍更多的大数据应用领域。大数据可以提升机械设备性能。大数据使机械设备更加智能化、自动化。现在很多的配备了摄像头、全球定位系统以及强大的计算机和传感器，在无人干预的条件下实现自动驾驶。而且在用户家中安装智能电表，然后登录网站就可实时查看用电情况。智能电
转载
2023-09-25 19:13:03
26阅读
http://www.leiphone.com/news/201410/NgTsZw3yDjEbk9on.html 大数据的定义与特征大数据big data是这样的数据集合数据量增长速度极快用常规的数据工具无法在一定的时间内进行采集、处理、存储和计算的数据集合。作者认为具有以下五大特征4V+1O的数据才称之为大数据即
转载
2017-01-06 10:02:11
4618阅读
从系统角度看，在未来的几十年内，GIS将向着数据标准化（Interoperable GIS）、数据多维化（3D&4D GIS）、系统集成化（Component GIS）、系统智能化（Cyber GIS）、平台网络化（Web GIS）和应用社会化（数字地球DE）的方向发展。Interoperable GIS 互操作地理信息系统（Interoperable GIS）是GIS系统集成平台，它实现
转载
2023-12-19 20:51:56
11阅读
文章目录0 背景1 相关公司2 Hadoop各个版本历史3 后续不断更新补充0 背景做大数据开发有一段时间了，但是很多专业术语、概念ble(2006) 开启了大数据时代。Uber【优步】：美国科技公司，打车软件，开发了数据
原创
2022-05-26 12:17:13
945阅读
大家好，这里是抖码课堂，抖码课堂专注提升互联网技术人的软硬实力。今天我们来聊聊大数据技术的起源，这里我先告诉大家，大数据技术实际上是起源于搜索引擎技术的，所以我们需要先简单了解下搜索引擎的工作原理。网络搜索引擎我们都用过 google 和百度，我们在 google 和百度上可以通过关键字搜索到在网络上所有我们想要的内容。那你有没有想过下面的问题：当我们输入关键字，然后点击搜索的时候，google
原创
2020-08-17 17:31:52
2118阅读
1评论
由全样而非抽样进而引申出来的，因为相较于之前的抽样分析我们为什么要追求它的精确性就是因为抽样出现的误差在全部的个体中会被放
原创
2023-08-08 01:05:42
381阅读
一：课程介绍 数据库管理人员如何管理分布式的海量数据，是云计算时代的数据库从业人员面临的核心问题之一，Hadoop提出了解决方案。 本课程从数据库管理人员与系统管理人员的职业角度出发，从动手搭建Hadoop集群环境开始，涉及Hadoop集群的配置、维护、管理、监控、运维、测试、优化等主题，并细致剖析Hive数据仓库集群和优化等主题，帮助传统的数据库管
