前言 当别人做大数据用Java、Python的时候，我使用.NET做大数据、数据挖掘，这确实是值得一说的事。 写的并不全面，但都是实际工作中的内容。 .NET在大数据项目中，可以做什么？ 写脚本（使用控制台程序+顶级语句） 写工具（使用Winform） 写接口、写服务 使用C#写代码的优点是什么？
原创
精选
2023-03-31 21:41:20
276阅读
因为addrange()+savechanges()的插入数据的效率对大批量数据而言十分低，所以在寻求一种可以更快速将数据插入到数据库中的方式。在网上查了一下，发现有人说通过生成insert的sql语句执行的效率很高，所以写了一个通用的方法，此方法要求模型中需要导入的字段必须有column属性，因为我们用的是mysql，命名要求词间用“_”分隔，所以模型中的需要映射到数据库的字段上基本都有colu
转载
2023-06-10 22:22:41
148阅读
主要是指大规模地利用大数据的相关信息技术与审计思路相辅相成的审计模式，主要特点可归纳为如“剑”、如“链”、如“网”。其构建路径可分为三个步骤：第一步是利用基础支撑技术对结构化数据进行归集整理，然后分别作用于总体分析技术和疑点分析技术。第二步是通过基础支撑技术进行审计数据在线监测，可以利用SAS Base等工具对实时数据进行归集整理，数据将用于构建审计大数据管理系统，同时也作用于审计及时预警和趋势分
转载
2023-10-28 11:11:28
76阅读
今天听了一场报告会，是清华计算机系60周年系列讲座之一，主讲人是哈工大软院院长李建中教授，主题《计算和数据资源受限的大数据计算的复杂性理论与高效算法研究》，李老师介绍的大数据计算理论体系很...
原创
2022-04-29 22:22:20
2134阅读
# .NET 大数据导出 Excel
## 简介
在实际开发中，有时候需要将大量数据导出到 Excel 表格中，以供用户下载或者做数据分析。本文将介绍如何使用 .NET 实现大数据导出到 Excel 的功能。
## 流程
下面是实现该功能的主要步骤：
| 步骤 | 描述 |
| ------ |
原创
2023-07-29 10:11:04
442阅读
数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为规则、概念、规律及模式等2.1数据挖掘的发展历史.....2.2数据分析与数据挖掘的主要区别相对于传统的统计分析技术，数据挖掘有如下特点：数据挖掘擅长处理大数据（几十几百万行或者更多的数据）数据挖掘在实践应用中一般都会借助数据挖掘工具数据分析应用的趋势是用大型数据库中抓取数据数据挖掘是统计分析技术的延伸和发
转载
2023-08-29 15:35:39
283阅读
首先，大数据本身涉及到一个庞大的技术体系，从学科的角度来看，涉及到数学、统计学和计算机三大学科，同时还涉及到社会学、经济学、医学等学科，所以大数据本身的知识量还是非常大的。从当前大数据领域的产业链来看，大数据领域涉及到数据采集、数据存储、数据分析和数据应用等环节，不同的环节需要采用不同的技术，但是这些环节往往都要依赖于大数据平台，而Hadoop则是当前比较流行的大数据平台之一。Hadoop平台经过
转载
2023-09-10 07:57:14
59阅读
Hadoop的前世今生
Google发布了3大技术：MapReduce、BigTable、 GFS。这3大技术带来的革命性变化：革命性的变化1: 成本降低，能用PC机，就不用大型机和高端存储。革命性的变化2：软件容错硬件故障视为常态、通过软件保证可靠性革命性的变化3：简化并行分布式计算，无需控制节点同步和数据交换虽然这3大技术带来了巨大的革命性变化，但是Google只发表了相关的技术论文
转载
2023-09-14 13:52:33
61阅读
1- 启动项目 安装.NETCORE SDK，教程在网上可以搜索的到，这里就不讲述了。简单粗暴的方式就是安装最新的VS2015.2-搭建框架 2.1 打开VS新建一个项目，在弹出的新建项目对话框中，选中NET CORE选项，右边出现的选项就是.NET CORE的所有可建项目了。然后和创建传统.NET项目一样的创建项目就行了。  
转载
2023-08-11 10:48:29
347阅读
大数据的应用开发过于偏向底层，具有学习难度大，涉及技术面广的问题，这制约了大数据的普及。现在需要一种技术，把大数据开发中一些通用的，重复使用的基础代码、算法封装为类库，降低大数据的学习门槛，降低开发难度，提高大数据项目的开发效率。大数据在工作中的应用有三种：与业务相关，比如用户画像、风险控制等；与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴；与工程相关，如何实施、如何实现、解决
转载
2023-07-07 17:46:38
227阅读
大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 大数据根基于互联网，数据仓库、数据挖掘、云计算等互联网技术的发展为大数据的应用奠定了基础。1.大数据是什么？引用3个比较常用的
转载
2023-08-07 22:44:37
325阅读
大数据处理技术以及大数据管理共同缔造的大数据时代，不仅变革了传统财务管理的理念，也改变了企业中财务管理职能的定位，使财务管控路径和模式更具多样化，这意味着财务工作者的职业能力结构重塑和职业发展瓶颈将有很大突破。如何迎接财务的大数据时代?大唐电信科技产业集团数据通信科学技术研究所总会计师苗广萍认为，在大数据时代下，财务共享、财务服务本身已经像一个独立的行业一样形成了，有技术保障专业的人做更专业的事情
转载
2024-01-16 19:14:03
48阅读
大数据架构和模式 大数据分类和架构简介 如何将大数据分为不同的类别 此内容是该系列 5 部分中的第 1 部分： 大数据架构和模式 概述 大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉及到更多维度，比如治理、安全性和策略。选择一种架构并构建
转载
2024-05-20 21:30:36
38阅读
随着云计算等技术的快速发展和互联网、物联网的广泛应用，人类迎来了大数据时代。浙江省烟草专卖局（公司）以全新的互联网思维提出“十三五”致力构建“互联网+浙烟专卖商业”管理新格局。大数据具有数据体量大、类型多、处理快和价值密度低等特点，这使得传统的会计处理发生了质的变化。大数据对烟草财务人员带来了怎样的影响？笔者认为，主要有以下两个方面。一是从事后补救向事前参与转变。传统的财务核算只注重对事后财务数据
转载
2024-01-10 18:41:13
47阅读
如今，大数据可能会以一些有趣的方式改变一些旧工具。Microsoft Office Access就是一个很好的例子。Microsoft Office Access是由微软发布的关系数据库管理系统。它结合了Microsoft Jet Database Engine和图形用户界面两项特点。Microsoft Office Access不再是简单的创建桌面数据库软件,它是一款能够帮助用户针对数据快速构建
转载
2024-04-15 12:03:47
94阅读
1.大数据对思维方式的影响是使得分析全样而非抽样、效率而非精准、相关而非因果。 2.区别：大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；云计算本质上旨在整合和优化各种IT资源，并通过网络以服务的方式廉价地提供给用户；物联网的发展目标是 实现物物相连，应用创新是物联网发展的核心。 联系：从整体上看
转载
2024-01-16 00:39:18
318阅读
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。一、数据采集与预处理对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散
转载
2023-08-10 00:09:02
296阅读
定性遥感类似于看图识物，通过将遥感影像当做特殊的“图片”，通过诸如计算机的图像识别、分类的方法去进行分析和处理得到我们所需要的Knowledge。比如简单的土地利用分类、面向对象的分割与分类或者监测变化等，仅仅是定性的划分。定量遥感李传荣老师的定义：向社会和公众提供有用信息的技术。要精准描述构成地物状态特征的物理化学要素，以及导致地物目标变化的物理化学动力驱动机制。遥感目前的根本在于电磁波。要做的
转载
2024-01-16 06:02:19
16阅读
基于大数据挖掘----浅谈大数据与大数据挖掘一、大数据技术1.1大数据的定义大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从某种意义上来说，大数据是为了更经济地从高频率的、大容量的、不同结构和类型的数据中获取价值而设计的新一代构架和技术。 简而言之，大数据就是数据分析的前
转载
2023-11-02 09:19:35
10阅读
作者：腾讯云大数据ES团队自治索引是腾讯云ES推出的一站式索引全托管解决方案，应用于日志分析、运维监控等时序数据场景，提供分片自动调优、查询裁剪、故障自动修复、索引生命周期管理等功能。可在降低运维与管理成本的同时，提高使用效率与读写性能。背景概述腾讯云ES团队从大量的运营实践中发现，索引的合理设置是业务高效稳定运行的基础，现实中索引管理不仅使用门槛高、运维投入高，更是很多线上问题的源头，目前ES
转载
2024-05-12 17:14:23
121阅读
