1.Hadoop是什么？ 适合大数据的分布式与计算平台。 HDFS:Hadoop Distributed File System 分布式文件系统 MapReduce:并行计算框架 2.HDFS的架构 主从结构 主节点，仅仅有一个：namenode 从节点，有非常多个：datanodes nameno
转载
2017-06-20 14:25:00
101阅读
2评论
Chapter 4 Hadoop I/O1) IntegrityHDFS transparently checksums all data written to it and by default verifies checksums when reading data.The default is 512 bytes, and because a CRC-32 checksum is 4 byt
原创
2013-09-12 20:01:14
578阅读
数据来自美国国家气候数据中心（National Climatic Data Center，简称NCDC）。这些数据按行并以ASCII格式存储，
原创
2022-07-26 16:44:37
182阅读
1.Map与Reduce将输出转化为对的默认方法是：将每行的
原创
2022-08-17 11:52:03
102阅读
以下是我在学习中对于一些问题的理解，并不保证其正确性：
1.量子力学中的波函数事实上采用的是概率论，将粒子的运动表述为在空间中各个点出现的概率。那么，就产生一系列的工作：归一化，概率振幅，力学量的期望值等等。同时，量子力学（我们使用的是《量子力学教程》周世勋原著）一书中对于波函数的“生硬”推导后，得出了薛定谔方程，然后可笑的是，以此作为结论，反推波函数为什么采用复数表示式
原创
2010-06-19 09:51:31
671阅读
#第五章 定时器及时钟服务 ##1.摘要 本章讨论了定时器和定时器服务；介绍了硬件定时器的原理和基于Intel x86的PC中的硬件定时器；讲解了CPU操作和中断处理；描述了Linux中与定时器相关的系统调用、库函数和定时器服务命令；探讨了进程间隔定时器、定时器生厅成的信号，并通过示例演示了进程间隔 ...
转载
2021-11-03 23:39:00
215阅读
2评论
一个新坑。 读的书很少，文学素养很差。嗯。 人间失格 2021.10.17 我看的时候总是在想他到底想表达什么？我不理解。我上网查或去问同学，也没有得到很好的答案，或者有人说这只是描绘了人性和一种生活状态。而看完之后我只看到了失格的主人公叶藏和身边一些道德同样败坏的堀木。或许比目鱼那种为了虚荣心、面 ...
转载
2021-10-17 16:11:00
163阅读
2评论
#第七章文件操作/第八章使用系统调用进行文件操作笔记汇总 文件是Linux中的一个重要概念。在Linux中，一切（几乎一切）都是文件。简单的说，C中基本的的printf（）函数，scanf（）函数，其实都属于文件操作。 对于文件操作，虽然都是通过函数调用的方式实现，却还是能分为两类：系统调用和库函数 ...
转载
2021-10-09 15:49:00
163阅读
2评论
#第十一章EXT2文件系统 ##0.知识点 本章首先描述了EXT2文件系统在Linux中的历史地位以及EXT3/EXT4文件系统的当前状况;用编程示例展示了各种EXT2数据结构以及如何遍历EXT2文件系统树;介绍了如何实现支持Linux内核中所有文件操作的EXT2文件系统;展示了如何通过虚拟磁盘的m ...
转载
2021-10-16 13:02:00
186阅读
2评论
读 车品觉 的 1.大数据时代的核心特质是'用数据找机会'2.很多时候，我们欠缺的不
原创
2023-06-07 09:44:23
53阅读
以下是我在学习中对于一些问题的理解，并不保证其正确性：
1.量子力学中的波函数事实上采用的是概率论，将粒子的运动表述为在空间中各个点出现的概率。那么，就产生一系列的工作：归一化，概率振幅，力学量的期望值等等。同时，量子力学（我们使用的是《量子力学教程》周世勋原著）一书中对于波函数的“生硬”推导后，得出了薛定谔方程，然后可笑的是，以此作为结论，反推波函数为什么采用复数表示式
原创
2010-06-19 09:49:15
324阅读
读书摘要：
1、Begin Tran
delete from production.ProductCosthistory
该查询返回受影响的记录数。注意该查询故意没有提交，也就是说，其中包含Begin Tran命令，但没有Rollback和Commit命令。由于没有后面的命令，该表当前处于锁定状态。通常，用户可能运行没有begin tran的查询。在这些情况下，实际上它是一个隐式事务，且该事
原创
2012-05-14 17:59:25
689阅读
DBCA工具建库，默认会创建3份控制文件。控制文件管理数据库的状态。控制文件记录着数据库的名称，数据库的物理布局。ckpt进程更新控制文件信息，反映系统状态。而这些信息在下一次启动数据库时又会被用来校验数据库的一致性。数据库的正常运行过程中，控制文件的内容也会时时进行更新，以反映数据库的变换。日志文件中记录的是redo records，redo records又是由change vectors（改
原创
2016-11-11 22:34:17
739阅读
逻辑结构oracle的逻辑结构包括表空间（tablespace）、数据段（segment）、分区（extents）、数据块（block）磁盘最小存储单位是sector，每个sector是512字节。oracle数据库的最基本存储单位是数据块，每个数据块是由磁盘上连续的sector组成的。数据块的大小是由初始化参数db_block_size指定的，通常为8k数据块结构：每个数据块从前向后可以分成4个
原创
2016-11-14 19:16:29
647阅读
P95页嵌套创建空列表用以外星人aliens=[]#创建30个绿色的外星人foralien_numberinrange(0,30):疑问：为何是alien_number？？？new_alien={'color':'green','speed':'slow','point':5}aliens.append(new_ali
原创
2020-08-06 19:12:34
439阅读
P95页嵌套创建空列表用以外星人aliens=[]#创建30个绿色的外星人foralien_numberinrange(0,30):疑问：为何是alien_number？？？new_alien={'color':'green','speed':'slow','point':5}aliens.append(new_ali
原创
2020-08-06 19:12:37
653阅读
#第四章 并发编程 ##1.摘要 本章论述了并发编程，介绍了并行计算的概念，指出了并行计算的重要性;比较了顺序算法与并行算法，以及并行性与并发性;解释了线程的原理及其相对于进程的优势;介绍了Pthread 中的线程操作，包括线程管理函数，互斥量、连接、条件变量和屏障等线程同步工具;演示了如何使用线程 ...
转载
2021-10-28 21:55:00
176阅读
2评论
转载
2008-11-01 10:26:00
201阅读
2评论
Chapter 1 Meet HadoopData is large, the transfer speed is not improved much. It's a long time to read all data from one single disk - writing is even more slow. The obvious way to reduce the time
原创
2013-09-12 19:58:52
520阅读
《Hadoop权威指南》读书笔记Day1第一章1、MapReduce适合一次写入、多次读取数据的应用，关系型数据库则更适合持续更新的数据集。2、MapReduce是一种线性的可伸缩编程模型。3、高性能计算HPC和网格计算比较适合用于计算密集型的作业，但如果几点需要访问的数据量更庞大，很多节点就会因为网络带宽的瓶颈问题不得不闲下等数据。（HPC和网格计算的数据存储与SAN中，数据存储比较集中，数据访
转载
2023-09-14 16:07:38
66阅读
