案例背景东吴证券股份有限公司作为全国第18家上市券商，拥有全部证券类业务牌照，在全国建立了18家分公司，134个营业部，并实现在香港和新加坡两个重要境外资本市场的布局，稳居地级市券商首位，坚定向着头部券商看齐。公司在2017年建设大数据平台后，逐渐把30多套系统的数据通过ETL抽取并存储在平台上，但由于这些系统由不同的供应商设计实施，且经过多年的发展，几乎每套系统的数据结构和数据一直在持续的变更，
转载
2024-01-26 11:24:21
31阅读
98%的企业在信息化过程中，都会遇到一个共同的问题：信息孤岛！但很多人却不理解为什么会出现信息孤岛问题，今天帆软君就针对这个问题进行细致地讲解。首先，造成信息孤岛/数据孤岛的原因很多，但主要可归为以下两点不同部门对数据的定义不同，导致“逻辑性”数据孤岛：企业内各部门之间业务相对独立，数据各自保管存储，且对数据的判定标准和定义各不相同，导致部门数据之间难以互通，形成“逻辑性”孤岛，其中集团化的企业由
随着社会数字化程度不断加深，数字经济也成为高速增长的国民经济支柱，其所产生的数据更是呈现爆发式增长的特征，成为众多个人、机构、企业乃至国家的新型资产，变为现代社会的第五大生产元素。
原创
2022-08-31 14:54:19
910阅读
在数字化时代，企业和机构的“数据资产”像散落的珍珠——财务系统有自己的数据库，销售部门用着独立的数据仓库，生产环节可能还存
随着数字经济加速发展，企业数字化转型正向更深层次推进。非结构化数据量也正在飞速增长，这些数据以文档、图片、音频等形式散落在组织内部，这给数据的整理和统一利用增加了难度。由于部门、应用、框架、多云环境等原因形成非结构化数据孤岛。如何使数据规范统一、消除数据孤岛，并利用好这些已形成的数据源，为后续运营提供数据支撑，是多数企业目前亟待解决的问题。企业文档管理5大痛点文档管理成本高企业文档数量庞杂，纸质文
原创
2023-08-31 18:03:26
226阅读
在如今大数据时代，企业或组织往往面临一个重要问题，即如何有效地治理数据孤岛。数据孤岛是指数据在企业内部或不同部门之间形成一种隔离状态，导致数据无法流通、共享和利用。在数聚看来，要解决这一问题需要经过一系列有序的步骤和措施。
原创
2024-01-09 09:24:20
173阅读
随着数字经济加速发展，企业数字化转型正向更深层次推进。基于数字技术，企业通过数据驱动，有望实现创新产品服务、变革运营方式和迭代资源组织模式。而这一切都是建立在企业 IT 基础设施之上。在数字化转型早期，企业的数据采集、存储、分析、决策和应用场景往往相对单一、成熟，企业只需购买市面上对应的数据库产品即可满足自身需求。这个阶段，对企业来说，单模型数据库基本够用。但是，随着数字化转型的深入和企业的快速发
转载
2022-05-06 15:50:26
258阅读
3图
同时借助Flink CDC的多源异构连接器（MySQL/Oracle/MongoDB等），统一异构数据实时入湖入仓，并通过Flink ML或实时风控规则引擎直接生成决策信号，形成“数据库-流计算-业务决策”的端到端秒级闭环，让数据在产生瞬间即汇入决策流程，真正成为驱动业务敏捷响应的“实时血液”。在数字化转型的浪潮中，企业数据的价值正从“事后分析”向“实时驱
大数据已经成为过去几年中大部分行业的游戏规则，行业领袖，学者和其他知名的利益相关者都同意这一点， 随着大数据继续渗透到我们的日常生活中，围绕大数据的炒作正在转向实际使用中的真正价值。一般来说，大多数公司都希望有几个大数据项目，公司的主要目标是增强客户体验，但其他目标包括降低成本，更有针对性地进行营销，并使现有流程更有效率。 那么，如何对一个行业制定大数据应用架构呢？在制定大数据应用架构之前，要先明
转载
2021-03-09 20:11:34
98阅读
2评论
* 留言点赞排名前2位即可获得免费赠书此时，企业已经进入了数据管理的高级阶段，需要全局的数据治理、数据能力的复用和共享以及云原生架构的支撑。在这个阶段需要解决的一个重要问题是如何避免数据孤...
转载
2022-01-05 10:15:32
297阅读
大数据啊大数据！浪尖浪尖聊大数据开始本文之前，希望大家参与一下下面的投票。做这个投票的主要原因是最近经常有找浪尖咨询大数据，自学，培训及找工作的事情，问题归类如下：大数据要不要培训自学一段时间，发现很痛苦，没人指导想放弃，培训费用太高了培训发现跟不上，举步维艰培训结束了，为啥面试机会甚少下面分类回答一下。1.大数据需要培训吗？对于java老鸟，因为有比较强的编程经验，可以买点视频或者找大牛付费专栏
原创
2021-03-19 13:47:02
10000+阅读
大数据啊大数据
原创
2021-07-23 17:57:03
10000+阅读
我上大学时那时候安卓的版本才到安卓4.4,在智能手机出来普及以前,各大网站的数据量并没有那么多,但是随着智能手机的普及,互联网巨头家里的数据呈现几何级增长,像什么微博,微信,视频网站的数据;需要找到合适的存储方式—>>分布式存储架构,可以水平扩展,实现存储数据类型多样化,二维可以实现高容错高吞吐量,轻松实现大文件存储(支持P级别的
原创
2023-03-15 11:01:42
569阅读
1.大数据对思维方式的影响是使得分析全样而非抽样、效率而非精准、相关而非因果。 2.区别：大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；云计算本质上旨在整合和优化各种IT资源，并通过网络以服务的方式廉价地提供给用户；物联网的发展目标是 实现物物相连，应用创新是物联网发展的核心。 联系：从整体上看
转载
2024-01-16 00:39:18
318阅读
接上2篇：一小时了解数据挖掘①：解析常见的大数据应用案例 一小时了解数据挖掘②：分类算法的应用和成熟案例解析数据挖掘分类技术 从分类问题的提出至今，已经衍生出了很多具体的分类技术。下面主要简单介绍四种最常用的分类技术，不过因为原理和具体的算法实现及优化不是本书的重点，所以我们尽量用应用人员能够理解的语言来表述这些技术。 在我们学习这些算法之前必须要清楚一点，分类算法不会百分百准确
转载
2023-08-24 22:54:58
424阅读
在当今数字化时代，企业面临着海量数据的管理与利用挑战，其中数据孤岛现象成为制约企业发展的重要因素。数据孤岛是指企业内海量的数据由于组织战略、架构设置、数字化建设等原因，分散存储在组织的各个部门、业务系统、应用之中，彼此无法互联互通、共享，也无法被有效利用，形成了一个又一个孤立的数据岛屿。那么如何打破数据孤岛呢？从了解SAP
BTP开始。 一、企业数据孤岛的产生 中国企业在多年的信息化建设
原创
2024-09-23 15:49:11
120阅读
文章目录1.HDFS简介 (Hadoop分布式文件系统)1.1HDFS优缺点2.HDFS组成架构3.HDFS体系结构4.HDFS读数据过程5. HDFS写数据过程6. HDFS主要组件的功能7.NameNode和SecondaryNameNode 1.HDFS简介 (Hadoop分布式文件系统)HDFS是一个运行在通用硬件设备之上的分布式文件系统。HDFS是高度容错的，在廉价的硬件上部署。HDF
转载
2023-10-06 18:56:36
226阅读
大数据框架 系统平台 Hadoop、CDH、HDP 监控管理 CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle 文件系统 HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio 资源调度 YARN、Mesos 协调框架
原创
2022-07-30 00:54:47
954阅读
大数据最全知识点整理-HBase篇基础问题：1、Hbase是什么2、Hbase架构3、Hbase数据模型4、Hbase和hive的区别5、Hbase特点6、数据同样存在HDFS，为什么HBase支持在线查询，且效率比Hive快很多7、Hbase适用场景8、RowKey的设计原则9、HBase中scan和get的功能以及实现的异同？10、Scan的setCache和setBatchsetCache
今天听了一场报告会，是清华计算机系60周年系列讲座之一，主讲人是哈工大软院院长李建中教授，主题《计算和数据资源受限的大数据计算的复杂性理论与高效算法研究》，李老师介绍的大数据计算理论体系很...
原创
2022-04-29 22:22:20
2134阅读
