服务器存储，数据库技术，文件系统人才
原创
2011-05-04 13:12:33
155阅读
1.方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。s 遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为）中。这样每个小文件的大约为300M。s 遍历文件b，采取和a相同的方式将url分别存储到1000各小文件（记为）。这样处理后，所有可能相同的url都在对应的小文
转载
2023-07-20 23:31:25
45阅读
基于Mean Shift的大批量遥感影像分割方法摘要由于收敛速度快、分割精度好,Mean Shift算法被广泛应用于影像分割中,但是处理大遥感影像时,Mean Shift算法存在速度慢、效率低下等问题。为此提出一种基于Mean Shift的分块并行无缝分割算法。首先在分块并行Mean Shift分割的基础上,通过标签影像的统一编码和重叠区域标签值建立对应关系,确定分块线的消除准则; 然后进行标签影
转载
2023-08-25 16:03:37
162阅读
之前给大家介绍了基础的遥感数据知识和智能遥感任务，本期就来盘点一下在遥感模型训练中常用的数据集。从应用领域出发，遥感影像样本数据集可分为8个类型：遥感场景识别、土地覆被/利用分类、专题要素提取、变化检测、目标检测、语义分割、定量遥感、其他。[1]本期主要分享7个可用于遥感场景识别/分类的数据集： No.1 UC Merced Land Use● 发布方：Univer
转载
2024-08-08 15:43:30
155阅读
一、tushare的简单使用金融数据常识：trade:现价settlement:昨日收盘价open：开盘价close：收盘价high：最高价low：最低价per:市盈率pb:市净率mktcap:总市值nmc:流通市值volume：成交量amount:成交金额price_change：价格变动p_change：涨跌幅changepercent:涨跌幅ma5：5日均价ma10：10日均价ma20:20
转载
2024-08-26 09:13:58
121阅读
在大数据处理的诸多环节当中，存储是尤其关键的一环，只有实现了稳固的数据存储，才能为后续的大数据分析、数据可视化等环节提供稳定的地支持，可见大数据存储的重要性。今天我们就来详细聊聊大数据存储技术。进入大数据的学习，我们对于分布式理论都不陌生，正是分布式架构的出现，才使得基于廉价的PC硬件来实施大规模数据处理成为可能。而分布式架构当中，分布式存储和分布式计算，可以说是核心的环节。
转载
2023-11-14 09:56:35
177阅读
目录海量数据的存储海量数据的计算大数据处理的主要应用场景前言：大数据技术诞生之初，就是为了解决海量数据的存储和计算问题。大数据起源于Google。Google是当时世界上（尽管目前也是）最大的搜索引擎公司，由于互联网时代的到来，Google积累了海量的用户，海量用户意味着海量的数据，谷歌需要将这些数据保存下来，传统的保存数据的方式已经满足不了Google的需求了。首先我们需要了解，海量数据的存储面
转载
2024-04-03 15:12:46
100阅读
IDL（Interactive Data Language）是一种用于科学数据处理和可视化的编程语言，可以用来读取和处理影像数据。以下是一个简单的IDL代码片段，用于读取一幅影像并进行一些基本的处理：;打开一幅影像
file = 'myimage.tif'
raster = raster_open(file)
;读取影像的大小
size = raster->get_size()
;读取影
原创
2023-04-17 20:17:20
610阅读
大数据量时,索引无法全部载入内存由于索引无法一次性载入内存,
原创
2021-07-15 10:37:04
307阅读
模式一：分而治之/Hash映射 + Hash统计 + 堆/快排/归并
原创
2023-02-01 10:25:13
227阅读
大数据的定义：维基百科 给出的定义：
数据规模巨大到无法通过人工在合理的时间内达到截取，管理，处理并整理成为人类所解读的信
息。
麦肯锡全球研究所 给出的定义：
一种规模大到在获取、存储、管理、分析方面都大大超出了传统数据库软件工具能力范围的数据 集合。
高德纳(Gartner)研究机构 给出的定义：
"大数据"是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海
转载
2023-11-07 08:09:26
87阅读
该数据集包含了 288 个视频片段，共计 261908帧 和 10209 张静态图像，覆盖范围广泛，包括位置（来自中国 14 个不同
原创
2024-07-31 09:32:36
1958阅读
电子游戏作为现代电子工业发展的艺术结晶，运用了包括摄影、色彩、叙事、音乐等在内的不同领域内的先进经验和理论，最终为玩家贡献出了一个个难忘的视听盛宴。本系列将从影像构图入手，讲述视觉结构之于游戏的应用，今天先聊聊“空间”。 一、视觉成分不管在哪里，我们都能看到各种图像，比如杂志、画展上的是静止图像；电影、电视里的是运动图像；游戏里的是数字图像等等。所有的图像都是由一个情节以及多个视觉
转载
2023-12-05 16:53:51
118阅读
一些基于python+gdal整理的小工具#!/usr/bin/env python
# coding: utf-8
from osgeo import gdal
import os
import glob
import numpy as np
import math
def read_img( filename):
'''
读取影像为数组并返回信息
——————
转载
2024-03-01 10:43:50
227阅读
美国陆地卫星（LANDSAT）系列卫星由美国航空航天局（NASA）和美国地质调查局（USGS）共同管理。自1972年起，LANDSAT 系列卫星陆续发射，是美国用于探测地球资源与环境的系列地球观测卫星系统，曾称作地球资源技术卫星（ERTS）。陆地卫星的主要任务是调查地下矿藏、海洋资源和地下水资源，监视和协助管理农、林、畜牧业和水利资源的合理使用，预报农作物的收成，研究自然植物的生长和地貌，考察和预
转载
2023-10-28 23:04:54
13阅读
什么是JDK？JDK简介 JDK : Java Development ToolKit(Java开发工具包)。JDK是整个JAVA的核心，包括了Java运行环境（Java Runtime Envirnment），一堆Java工具（javac/java/jdb等）和Java基础的类库（即Java API 包括rt.jar）。 最主流的JDK是Sun公司发布的JDK，除了Sun之外，还有很多公司和组织
1. 背景介绍 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1）构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2）支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（3）具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。
转载
2024-02-06 22:25:37
68阅读
Java语言不仅支持图形和文本媒体，同样支持图像、声音、动画及视频等其他多媒体，从而大大拓宽了其应用领域，使基于Java的应用更加丰富多彩，更具魅力。
本章讲解Java的多媒体处理方法
一、图像处理
1 图像文件的
装载
Java目前只支持两种图像文件格式GIF和JPEG
Java特别提供了java.awt.Image类来处理图像
Java采用
URL（Un
转载
2023-11-04 21:30:49
16阅读
地理学中的罗塞塔石碑地理信息系统 (GIS) 技术既直观可见又清晰易懂。它将强大的可视化和制图功能与稳健的分析和建模工具相结合。遥感地球观测，通常在 GIS 圈中简称为影像，而影像正是 GIS 核心中明确的图形参考。同时也是解开地球运转方式奥秘的钥匙，地理学中的罗塞塔石碑，并将这一切呈现在人们眼前。当我们看到自高空拍摄的地球照片时，便能马上理解 GIS 是怎么一回事。这些云纹在埃及南部地区投下了奇
原标题：SAR雷达影像的优势和应用领域是什么？合成孔径雷达为主动航空遥感方式，成像不受光线、气候和云雾限制，成图分辨率与飞行高度无关，具有全天候、全天时的遥感数据获取能力。合成孔径雷达技术目前已经成为高分辨率对地观测的重要手段之一，SAR的独特优势使其在测绘、军事、灾害、地质、农业、林业等领域具有很高的实际应用价值。合成孔径雷达(Synthetic Aperture Radar，SAR)是上世
转载
2023-11-04 07:23:08
12阅读
