这次参加了软酷网的hadoop开发院为期四天的培训,怎么说呢,感觉¥6999 不太值,不做测试呗!~...
原创
2022-11-22 00:04:24
73阅读
在学习hadoop之前,我就明确了要致力于大数据行业,成为优秀的大数据研发工程师的目标,有了大目标之后要分几步走,然后每一步不断细分,采用大事化小的方法去学习hadoop。下面开始叙述我是如何初学hadoop的。 hadoopHadoop学习两步走:linux学习、hadoop学习。在接触hadoop之前我有java基础,为此我的计划是首先学习Linux,然后学习hadoop生态系统,
转载
2023-11-23 10:11:04
175阅读
HDFS文件操作你可以把一个大数据集(100TB)在HDFS中存储为单个文件,而大多数其他的文件系统无力实现这一点。虽然该文件存在多个副本分布在多台机器上来支持并行处理,你也不必考虑这些细节。 HDFS (Hadoop Distribution File System)文件系统到底是一个怎样的文件系统?并不是一个Unix文件系统,不支持像ls和cp这种标准的Unix文件命令,也不支持如
转载
2024-01-21 11:55:53
42阅读
//书非借不能读也,今早从图书馆新书阅览室借来《Hadoop in Action》,最长借期7天。整理读书笔记并留下电子版以供以后方便复习。
Hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据。专为离线处理和大规模数据分析而设计,避免耗时的数据传输问题,适合一次写入,多次读取。
特性:方便、健壮、可扩展、简单。
MapReduce
转载
2023-12-15 10:48:50
54阅读
近几年大数据的概念被炒的红红火火,各种云应运而生,也有不少企业开始搭载自己的云,但是真的什么企业都需要吗?下面我要说的也仅仅是基于我目前工作的一些感想,欢迎拍砖! 公司的主要数据是利用HBase收集的报文,整个到目前运行了一年零一两个月的时间。目前数据量是266GB(其中包含一份完全副本,实际业务数据133GB),在7月出进行数据统计时,该平台
推荐
原创
2013-08-16 05:01:28
2988阅读
点赞
16评论
一.关于Linux的简介1.什么是Linux? Linux这个词指的是Linux内核,它是用来驱动电脑里的硬件的,而Linux操作系统指的是Linux内核和GUN组织(GUN的全称为GUN is not Unix)所编写的软件,有了这个内核和相应的软件,由“死”的机械硬件组成的计算机才变成了“活”的,需要注意的是,单纯的软件并不能代表Linux系统。
# Hadoop电商数仓实训感想
在进行Hadoop电商数仓实训的过程中,我深刻体会到了大数据技术在电商领域的重要性和实际应用。电商行业每天产生海量数据,如何高效地处理和分析这些数据是一个亟待解决的问题。而Hadoop的分布式处理能力为我们提供了理想的解决方案。
## 数据仓库与Hadoop的结合
在实训中,我们首先学习了数据仓库的基本概念。数据仓库是一个集成、主题导向、稳定的、历史数据的集
 
转载
2023-07-24 00:11:50
59阅读
## 熟悉常用的Linux操作和Hadoop操作实验感想
作为一名刚入行的小白,熟悉Linux和Hadoop操作是提高技术能力的重要步骤。本篇文章将带你逐步完成这个学习过程,并通过代码示例提供操作指导。为了更好地理解每个步骤,我也会用表格和图形表示流程。
### 实验步骤
下面是一个流程表,展示了我们将要进行的Linux和Hadoop操作的步骤:
| 步骤 | 操作内容 | 说明
最近看了Eric Evans的DDD一书,有点感想,随便写一下。在DDD里一般把业务层分为应用服务处和领域模型层。应用服务是与具体的架构有关系的,而领域模型是独立与具体的架构的,是可以在不同的架构下移植的。就比如在EJB3.0中,我们的session bean,MDB等都可以做来实现应用服务层,而我们的业务核心可以放在领域模型层里,应用服务通过领域模型来实现具体的业务操作。
原创
2008-06-19 01:01:00
490阅读
递归的感想今天刷leetcode的题目,利用递归的解法,看到一个大神的解法,对递归有了新的认识。以后要多从递归要做什么事情去考虑,而不是把自己当成电脑,模拟递归的调用过程。
原创
2021-08-13 23:59:01
108阅读
到这边上课快一个星期了.
这个星期过得快乐而充实,总感觉时间都不够用!
第一天老师说用一周左右的时间,要用记事本写代码.试验下来,发现了很多很多问题.用工具写的时候,有的代码可以自动生成,现在发现连main函数怎么写都不知道,有的时候看着正确,可就是编译不通过......
这样也好,可以记住很多东西,也可以改正一些不好的习惯.
接下来趁这段时间,把以前薄弱的地方补一下.
原创
2008-04-18 21:48:07
551阅读
3评论
实在的说,3G中国移动的TD-SCDMA必然将给国人中的网络精英提供一个打舞台~~~~~~~~~
原创
2009-01-19 08:46:18
480阅读
1评论
最近,承受了很多打击,也许有些消沉,我找工作初期面试时还是嬉皮笑脸,现在变得深沉,生怕言多必失。其实想想面试时间很有限,你想让面试官了解你的优秀,还不是凭一张嘴,现在发祥一个人有张会说的嘴还是很有优势的。我生活中表现得再好,面试官看不见,在短短的十几分钟时间里,他只有通过你的语言来了解你。这个时候你要是深沉,不积极表现,就没有机会,架子在这时就应该放下,不要怕出错,走出面试场,谁也不认识谁。
&
原创
2009-03-31 20:54:25
403阅读
在论坛上看了一些关于网络方面的博客,让我觉得网络的建设是很有趣的,但也需要高超的网络技术和实践经验。网络的组建需要很多的知识,这多需要不断地学习和实践才能出色的去完成。看了这些博客,让我以前的一问题得到了解答。让我明白了许多关于网络和电脑方面的知识。不至于让我对这方面一无所知。浏览这些博客,真是让我很高兴,解决了一些以前无法解决的问题。在我解决问题的同时我
原创
2012-03-15 15:06:56
460阅读
首先强调下我非常不喜欢写东西,文笔不好,别人作文一口气写个800字没有问题,可我不行.所以很少写日志.写博客是自己想了好久才决定的,习惯了去看别人的东西自己懒得去写。常常为了解决现在看来很简单的问题,不断地百度查资料,不断的实验,尽管我如何实验还是不成功,即使折腾到凌晨几点也搞不定,。我在技术论坛上看得最多的就是职业规划,行业新闻,生活感想等。那我为
原创
2013-05-14 23:18:11
414阅读
点赞
2评论
以前有个同学告诉我看源代码,当时没在意,最近突然想到一个问题,java是开源,网上有源代码,有什么问题可以直接看代码,这样问题理解的直接点(还有一些开源框架)。吼吼!!! http://www.iteye.com/topic/1113732..
转载
2023-07-19 16:42:52
62阅读
如果说有什么感想的话,那就是对软件工程这一领域的敬畏和热爱。软件开发绝非易事,它需要我们不断地学习、实践和创新。但正是这种挑战和不确定性,使得软件工程充满了无限的可能和魅力。我愿意为这一领域付出我所有的热情和努力,因为我深知,软件工程不仅仅是一门技术科学,更是一种智慧与艺术的结合。在未来的学习和工作中,《构建之法》将是我最为重要的参考书籍之一。我会将它视为我的导师和朋友,时刻提醒自己保持对软件工程
原创
2024-02-06 20:58:13
85阅读
休息了半个月左右,接下来又要紧张起来了.
相信新的一年会有新的开始,不管以后会不会留在上海,现在最主要的是要认真学习,规划好以后努力的方向.
以前在公司总感觉自己象一颗螺丝钉,哪里需要就被安在哪里.领导换一回,工作内容也就变一次,到最后感觉好象什么都懂一点但都不精.
现在明白职业规划非常重要.
由于种种原因最终选择重新学习,给自己充一下电.
感觉培训机构的课程还是
原创
2008-02-16 20:15:39
491阅读
2评论
有些事,我们明知道是错的,也要去坚持,因为不甘心;
有些人,我们明知道是爱的,也要去放弃,因为没结局;
有时候,我们明知道没路了,却还在前行,因为习惯了。
以为蒙上了眼睛,就可以看不见这个世界;以为捂住了耳朵,就可以听不到所有的烦恼;
以为脚步停了下来,心就可以不再远行;以为我需要的爱情,只是一个拥抱。
那些已经犯过的错误,有一些是因为来不及,有一些是因为刻意躲避,更多的时候
转载
精选
2009-08-07 14:21:36
367阅读