简介流式计算需要各子系统间相互依赖形成一条处理链路，子系统作如下划分数据采集 数据源一般来自于各个业务的日志服务器，这些日志被实时采集到消息间件中，被下游实时订阅数据处理 数据被采集到中间件后，下游服务订阅数据，并拉取到流式计算系统进行加工处理，通过流式计算引擎计算处理数据存储 数据被加工处理后，会以增量形式（不间断地）写到在线存储系统中，提供给下游服务数据服务 数据处理结果落地到在线存储系统 ，
转载
2024-01-20 22:45:23
57阅读
在当今这个信息化浪潮汹涌的时代，大数据无疑已经至各行各业的血脉之中，成为推动社会进步的关键力量。而在对大数据技术的深入探索中，Hadoop如同一把钥匙，为我们打开了通往智慧殿堂的大门。本文旨在分享我在Hadoop学习过程中的心得体会，以期能为广大学习者提供一些宝贵的启示与参考。
在Hadoop的学习之旅中，我并未过分沉溺于YARN和HDFS的底层细节探究，而是将更多的精力倾注于MapReduce的
原创
2024-06-18 14:40:30
475阅读
点赞
从2月28号开始报名大数据微专业，到4月29号看完最后模块的视频。两个月的时间，收获非常大。早在上班的时候就对大数据的技术非常好奇，后来考了研，终于有时间和机会来系统地学习。由于我不是cs本科出身，在报名这门课之前，我自己学习了很多前置知识，比如linux，数据库，java，python。我能在比较短的时间内完成这门课的学习主要得归功于前置知识的掌握
原创
2018-05-15 10:41:57
823阅读
点赞
原创于2008年04月07日，2009年10月18日迁移至此。对于数据仓库而言，其组织结构如何构建关系到数据仓库项目的成败，为此我们需要理解到以下原则：1. 一把手原则数据仓库项目是为决策支持系统服务的，因此没有高层管理 数据仓库项目必须要经常协调各种相互矛盾的需求，必须有一个仲裁者或者企业最高决策人
写了几年代码，看到这些年大数据，AI闹得火热火热，也想系统学习下大数据方面的东西，给自己充电一下。其实随着IT技术的发展，我们行业(地理信息)也已经开始拥抱大数据了。越来越多的带有位置的非结构化的数据需要处理，需要进一步挖掘。好了，废话不多说了。下面开始分享下，学习大数据这门过程中的一些心得。其实，大数据这门课，学起来还是得要有些知识储备的，比如最基本的linux操作，以及操作hive以及mysq
原创
2018-01-09 11:24:38
2029阅读
点赞
4评论
大数据就业前景怎么样？怎么快速入门相关行业？谈起如今的行业，火爆的科技层出不穷，大数据、云计算、人工智能、区块链等等都被侃侃而谈。尤其是大数据工程师更是深受程序员的青睐，如此火爆的职业，吸引了大批有志青年的加入。但在加入之前，你仍需要一份详细的就业前景分析报告。 1、大数据的就业前景 作为中国官方重点扶持的战略性新兴产业，大数据产业已逐步从概念走向落地“大数据”和“虚拟化”两大
转载
2024-09-09 08:03:39
68阅读
在这篇博文中，我将分享我的 Spark 应用程序学习心得。在掌握 Spark 的过程中，从环境预检到最佳实践各个环节都有不少经验和教训，今天就逐步带大家走过这个学习的旅程。
## 环境预检
在开始之前，确保我们的环境符合 Spark 的安装要求，这其中包括硬件配置和生命周期。以下是我所使用的硬件配置表：
| 硬件组件 | 配置 |
|----------|------------
#define_CRT_SECURE_NO_WARNINGS1#include<stdio.h>#include<string.h>#include<windows.h>#include<stdlib.h>#include<math.h>intmain(){inti=1;intj=1;for(i=1;i<=9;i++){for(j=
原创
2021-01-21 22:14:43
293阅读
学习知识就是从“不知”到“知”的过程。陌生且成体系的知识，可能让你望而却步，心想：这我是学不会的，太难了。其实所有知识都是一样的，我们一开始处于“不知”的状态，经过学习便可以达到“知”的状态。如果在学习过程中感到异常困难，那就是基础知识没有掌握好，我们需要沉下心，花时间，从头把基础学好！老韩说：成功不在于一时，在于长时间的坚持，长时间的认真。
原创
2023-12-20 21:29:41
848阅读
学计算机的人就应该去研究计算机组成，C，数据结构，OS，network的源码，等专业核心课程，也就是我们的专业主干课，学计算机也不仅仅是编程。我想信我的这点认识还是正确的，是两位老师和我自己做过的一个项目彻底的改变了我，创新中心的石老师给我们讲VB不用课件，打开VB就开始写代码，边讲边写，讲课就根玩一样，游刃有余，潇洒自如，那些时间虽然是周末上课，但是每次我都去，而且听得如痴如醉。他的个人魅力极大
转载
2006-12-18 23:55:25
1017阅读
今天进行了一个小测验，有些以前学过的知识忘记了（比如单例模式）。最近这段时间对自己有些放松，不能因为有些知识暂时用不到，就把它丢一边了。
就象学英语一样，以前在工作中基本用不到，就把它丢下了。现在要把它拾起来，就要用更多的努力。
&nb
原创
2008-09-26 19:39:30
523阅读
学习cisco也有了，一段时间，有时想写 点什么，可是都没拿起比来，可能自己学的还是不太好。今天我突然想写的什么，也应该写点什么，一次来激励自己，在以后的学习中能更好的找到学习的方向，不至于迷失方向。一下是我和大家分享我的学习经历，希望，和我一样在学习中朋友别走我走过的弯路。
我是，一次活动中有幸了解到思科。其实，当时对思科并没有什么兴趣，可是当我看到思科网络的强大，顿时感到心里有股强劲，我想学
原创
2012-05-13 20:55:34
867阅读
点赞
1评论
避免工具型学习，了解知识体系结构，看清底层实现，而不是拿着一本书想重头到尾通吃下来，要有阶段性目标，这个阶段我要实现什么做出什么东西，只要有了清晰的知识结构，从实际开发中反向回过头来学习，这才是最快的学习途径。
原创
2014-03-07 23:22:59
427阅读
今天，关于JSON字符串转对象用的eval(). 我在学习过程中，根据教学视频用的是： //先获取到的是json的字符串 var json=xhr.responseText; &n
原创
2015-10-18 22:11:59
294阅读
不知不觉已的已经来老男孩教育学习了3个月，快要毕业了？瞬间感觉时间过的好快啊！ 想想刚来的时候对于linux运维是什么，干嘛用的，都不知道。到现在已经熟练的掌握linux的基础知识，但还是不够，没有把老师讲的全部吸收，这也是以后要努力的地方。
原创
2015-12-28 19:06:01
419阅读
不知不觉已的已经来老男孩教育学习了3个月，快要毕业了？瞬间感觉时间过的好快啊！ 想想刚来的时候对于linux运维是什么，干嘛用的，都不知道。到现在已经熟练的掌握linux的基础知识，但还是不够，没有把老师讲的全部吸收，这也是以后要努力的地方。
原创
2015-12-28 19:08:06
342阅读
每天坚持看书看视频，结合试验练习一起，提高速度会更快。
原创
2016-05-02 14:33:09
316阅读
近期学习同时也在复习，作为一个初学者，我想我应该秉持的更多是一种耐心和认真的态度。在不断加深学习的同时，我发现了编程也变的似乎并没有那么遥不可及，一行行代码原来也是有规律的， 正因为不断的坚持，恐惧才没有将我打倒，虽然已经做好了迎难而上的准备，过程依然艰辛，原来一切切都可以是我们可以认定的对象，万物皆可表格，而我们之所以感到恐惧，可能只是缺少了一个善于设计未知
原创
2022-02-19 01:31:25
142阅读
