1、Hadoop的介绍 Hadoop是一个适合大数据的分布式存储与计算平台。2、Hadoop的特点 (1) 扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。 (2) 成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。 (3) 高效率（Efficient）：通过分发数据，hadoop可以在数据所
转载
2023-08-07 17:35:06
117阅读
大数据现在很火，很多Java工程师，只要有1年以上工作经验的都在学Hadoop准备转型大数据。
但是，很多小伙伴自学Hadoop的姿势是错误的，花了很多时间，耗费了很多精力，仍是不得其门。
错误方式：
1. 只是利用碎片时间看看文章和视频
大家都是在职，利用业余时间学习，确实累，不容易。但是如果你只是想着利用碎片时间，看看视频，看看书，那基本
转载
2023-07-24 15:02:19
91阅读
笔记基于王道计算机网络一，时延1.时延：数据（报文，分组，比特流），从网络或链路的一端传送到另一端所需的时间，也叫延迟或迟延，单位为s2.时延有四类，一般所求为总时延<1>发送时延：这个在主机内部进行，从发送分组第一个比特算起，到最后一个比特发送完所需时间。也就是主机刚好把比特流完全推送到链路上所需时间。发送时延=数据长度/信道带宽，可类比于运动学中速度计算公式，顺带一提，高速链路指的
转载
2024-05-16 11:37:16
96阅读
Hadoop系列之一：大数据存储及处理平台产生的背景：http://mageedu.blog.51cto.com/4265610/1102191Hadoop系列之二：大数据、大数据处理模型及MapReduce：http://mageedu.blog.51cto.com/4265610/1105727Hadoop系列之三：函数式编程语言和MapReduce：http://mageedu.blog.5
原创
2016-05-04 10:00:41
684阅读
马哥教育Hadoop博客系列Hadoop系列之一：大数据存储及处理平台产生的背景Hadoop系列之二：大数据、大数据处理模型及MapReduceHadoop系列之三：函数式编程语言和MapReduceHadoop系列之四：MapReduce进阶Hadoop系列之五：MapReduce进阶(2)Hadoop系列之六：分布式文件系统HDFSHadoop系列之七：分布式文件系统HDFS(2)Hadoop
转载
2018-12-06 12:14:13
1304阅读
近十年来，随着Hadoop生态系统的不断完善，Hadoop早已成为大数据事实上的行业标准之一。面对当今互联网产生的巨大的TB甚至PB级原始数据，利用基于Hadoop的数据仓库解决方案Hive早已是Hadoop的热点应用之一。达观数据团队长期致力于研究和积累Hadoop系统的技术和经验，并构建起了分布式存储、分析、挖掘以及应用的整套大数据处理平台。本文将从Hive的原理、架构及优化等方面来分享Hive的一些心得和使用经验，希望对大家有所收货。
转载
精选
2016-01-19 13:11:21
2161阅读
应用实践为进一步落实国家有关惠民利企金融政策，突出新技术服务实体经济和居民个人生活的主动性和智慧性，打造全景数字化服务链条，高效解决金融服务“最后一公里”面临的痛点、断点和难点。我行从2021年初开始大力推广和应用RPA技术，充分挖掘RPA在内部管理、客户服务、贷款授信和风险控制等金融场景的应用，通过一年多的应用实践，我行在场景深度应用、流程再造和数字化转型等方面均取得一定的成效，下面我们从几个维
原创
2023-02-28 17:38:36
118阅读
本系列为大数据学习个人笔记，如有错误，欢迎指正，也欢迎各路朋友交流讨论。数据仓库数据仓库是一个面向主题的，集成的，非易失的，时变的数据集合，用于支持管理决策。数据仓库解决的问题为业务部门提供精准及时的报表为管理人员提供更强的分析能力为数据挖掘和知识发现奠定基础What is Hive ?数据仓库解决方案构建于Hadoop之上提供类似SQL的查询语言Hive Query Language - HQL
转载
2024-05-29 10:32:11
44阅读
<!DOCTYPE html><html><head><meta charset="UTF-8"><title>Insert title here222222222222</title><script type="text/javascript" src="js/jquery-1.8.0.js"></scri
原创
2014-10-13 22:49:06
726阅读
查看报文时延 参考 https://www.isolves.com/it/cxkf/cxy/2020-06-21/21144.html 在网络运维中，在报文分析时，时延类问题是比较常见的问题场景，如何快速定位到高时延的报文就会比较有用；这里简单介绍一下基于wireshark快速过滤tcp、http、icmp协议报文的高时延报文；文章原创输出，请认准作者[[海渊_haiyuan]
转载
2024-04-25 07:10:26
129阅读
1月10日20时31分，山西省临汾市尧都区发生4.1级地震，当地同盛实验中学迅速启动应急撤离程序。其中439班的一同学因腿部骨折，拄着拐杖而行动不便。而此时，440班的申延辉同学注意到之后，搀扶他至楼梯口并大声请求帮助，路过此处的初三390班柴宇喆同学毫不犹豫地冲上前去，将受伤同学背起，继续下楼撤离；390班的李凯楠同学再撤离途中，也加入帮助救援中。在三位来自不同班级同学的共同努力下，这位因腿
群辉 NAS 简介群晖科技（Synology ）创立于 2000 年，是台湾的网络存储服务器(NAS)品牌，自始便专注于打造高效能、可靠、功能丰富且绿色环保的 NAS 服务器，被认为是中小企业和家庭NAS领域的长期领导者。 群晖还提供了适用于每一个NAS的操作系统DiskStation Manager (DSM)。它是一个基于Linux的、网页界面直观的操作系统，提供了丰富的功能包括文件共享、文件
转载
2023-08-29 18:01:03
302阅读
为黑群晖和电脑装备了万兆X540 T2网卡，为实现万兆速度的文件互传，决定将黑群晖直连PC，其需要注意的点有以下三点：修改PC和群辉的IPv4：为实现固定IP访问群辉，这里建议修改PC和群辉均为固定IP。1）群辉修改：打开控制面板->网络->网络界面，选择与PC直连的网卡，点击上方的编辑。然后“手动设置网络配置”，IP地址这里建议不要和群辉连接路由同一网关。如群辉连接路由的IP为'19
转载
2023-09-01 21:06:55
491阅读
需要准备： 1、一个闲置的U盘，容量大于64M即可。 墙裂建议用如下U盘，可以隐藏成灰群晖，小巧方便。 2、一台显示器，用于连接NAS，在第一次启动时要选择不同的菜单，装完就不需要了。 3、DSM软件，一是官方3612xs机型5.0-4458版本的PAT文件（174.9M），二是Gnoboot-a
转载
2023-09-15 16:15:26
28阅读
目录一、组员职责分工二、github 的提交日志截图（鼓励小粒度提交）三、程序运行截图四、程序运行环境五、GUI界面六、基础功能实现七、鼓励有想法且有用的功能八、遇到的困难及解决方法林睿(组长)邓泽源张庆焰姚彬锟朱宏蔡雅菁吴洁敏周鑫煌王景弘陈展鸿陈观鸿九、马后炮十、评估每位组员的贡献比例十一、PSP表格（个人）十二、学习进度表（个人）组长博客一、组员职责分工组员分工邓泽源后端姚彬锟后端张庆焰前端周
转载
2024-01-09 18:55:11
52阅读
Verilog中的延时模型 一、专业术语定义模块路径(module path): 穿过模块，连接模块输入(input端口或inout端口）到模块输出(output端口或in
转载
2023-09-08 18:46:35
264阅读
你是开机派？还是关机派？开机派群晖NAS耗能低，全天开着挂PT。关机派哦。我就是想关机。对于关机派呢，且先不管出于什么原因，这些小伙伴们都比较关心WOL远程唤醒。但是要远程的话，首先你得有公网IP，其次，即使你有了公网IP，还要通过比较繁琐的设置才能实现远程唤醒。当然，如果是爱折腾的极客们，这些都是小问题，但如果是不想要折腾又偏向关机的你，还有一个简单的方法：用群晖路由 4步搞定用群晖RT1900
转载
2023-08-09 16:14:24
211阅读
你有闲置的移动硬盘和树莓派吗？你可以用这些来打造一个廉价而且低能耗的NAS。最后的效果肯定比不上售价500美刀的NAS，比如Synology DiskStation出品的那些。但可以搭建出一个低能耗的网络存储平台——而且特别适用于已经厌倦了国家安全局的数据监控的那些人，你可以把数据藏在这个“小阁楼”里。
你需要一个树莓派，和一两个闲置着的移动硬盘。体积较小的2.5硬盘可以由
随着测试团队不断扩大，QTP测试脚本不断增多，我们需要用多台电脑来运行QTP脚本，如果大家要登录到每台机器上去跑脚本，就太不方便了，而且各个机器上的脚本版本还有是否统一的问题。如果我们能用一台电脑，指挥多台装了QTP的电脑运行脚本，岂不爽哉。Mercury公司开发的Quanlity Center（简称QC），就可以实现这个功能。要使用QC远程调用QTP，需要进行一系列的设置才能实现。
转载
2024-08-30 13:42:12
74阅读
功能介绍 • 浏览你所有的照片和视频而不用担心格式转换,重复或视频格式问题• 轻松地找到特定的图片查看具备强大的搜索过滤器• 认识到你的家人和朋友的面孔（面部识别）• 自动分类基于内容的图片和位置• 将鼠标悬停在照片上面显示各种照片信息• 实用好看的的WebUI界面，提供了自适配方案,您可以方便地在所有主流操作系统和移动设备查看你的照片•
转载
2023-10-15 22:58:01
201阅读
