Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed
转载
2023-09-07 13:15:03
73阅读
社区推荐是自己编译,官网在这里，过程相当简单，就一句话 sh build.sh，但是在编译过程中容易遇到各种失败，例如Failed to download DataTables.zip during the compilation of the third-party library就需要更改下载数据源，更改完这个可能还有其他问题，这里就用已编译版本了，如果坚持要自己编译可以看这个大神的博客。Do
Hadoop 入门总结搜索了好几个博客，把hadoop基础总结了一下，感觉收货还挺多。一.hadoop简介Hadoop是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储 和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。二.hadoop的基本组成hadoop1.0 ：1:HDFS: Hadoop Distributed File System 分
转载
2024-07-13 09:21:39
55阅读
Hadoop (一) Hadoop学习1.Hadoop 简介1.1 单独的 Hadoop软件Hadoop是Apache 软件基金会开源的一款开源Java软件，用户编写简单的编程模型实现跨机器对海量数据分布式计算处理的框架Hadoop的核心组件有Hadoop HDFS：分布式文件系统 大数据存储Hadoop YARN：集群的资源管理和任务调度框架 集群资源分配Hadoop MapReduce：分布式
转载
2023-09-24 19:27:13
112阅读
一、hadoop HA架构的角色分析1、namenode存储元数据，与client客户端进行交互，当服务启动时加载fsimage镜像文件和edits.log文件到自己的内存。在整个架构中，分别有处于active状态的nameNode,和处于standby状态的namenode，standby也是时刻启动的，一致在通过journalnode与actived的namenode进行数据同步，这样来保持，
转载
2023-07-12 21:05:29
70阅读
1. 心得体会 最近在学习一些 Python 底层原理的干货知识，从 python 底层的 C 代码真的是了解到了很多东西。让我明白了 Python 是如何处理各种变量类型的，也明白了 Python 是如何管理变量的。在这个过程中我也在学习过程中想通了以前遇到的一些当时认为很奇葩的现象，如 del 掉一个变量后新建一个变量偶尔会发现新建的变量和
转载
2023-09-01 11:45:52
68阅读
MySQL的内部组件结构：大体来说，MySQL 可以分为 Server 层和存储引擎层两部分。 Server层主要包括连接器、查询缓存、分析器、优化器、执行器等，涵盖 MySQL 的大多数核心服务功能，以及所有的内置函数（如日期、时间、数学和加密函数等），所有跨存储引擎的功能都在这一层实现，比如存储过程、触发器、视图等。Store层存储引擎层负责数据的存储和提取。其架构模式是插件式的，支
转载
2023-07-31 16:54:26
51阅读
ES 简介ES是一个使用java语言编写的并且基于Lucene编写的搜索引擎, 他提供了分布式的全文搜索服务, 还提供了一个RESTful风格的web接口, 官方还对多种语言提供了相应的APILuceneLucene 本身就是一个搜索引擎的底层,ES特点分布式: ES主要为了横向扩展能力全文检索: 将一段词语进行分词, 并且将分出的单个词语统一的放入一个分词库中,在搜索时,根据关键字去分词库中搜索
转载
2024-03-25 17:07:37
74阅读
Python 底层原理知识实际开发过程中，了解底层原理是有助于解决现实中遇到的问题的。现将了解到的几点重要的整理下，感谢原博主“吖水的程序路”的整理！1.Python是如何进行内存管理的？答:从三个方面来说,一对象的引用计数机制,二垃圾回收机制,三内存池机制一、对象的引用计数机制Python内部使用引用计数，来保持追踪内存中的对象，所有对象都有引用计数。引用计数增加的情况：1，一个对象分配一个新名
转载
2023-08-30 11:24:14
94阅读
#Hadoop# #大数据# #大数据分析# #数据分析#1 轻量级大数据流处理语言——PigPig是处理大数据集的数据流语言，Pig由Yahoo开发，Twitter公司大量使用Pig处理海量数据。处理数据的流程可以一步步定义，比如第一步加载，第二步转换，第三步再转换，第四步存储，可以一步步定义数据的走向，适合做数据探索和ETL阶段数据处理、检索和分析数据量较大的数据集。Pig包括两部分：一是用于
转载
2023-11-08 18:37:51
54阅读
Pig为大型数据集的处理提供了更好层次的抽象。Pig为MapReduce提供了更丰富的数据结构，这些数据结构往往都是多值和嵌套的，Pig还提供了一套更强大的数据变换操作。Pig包括两部分：（1）用于描述数据流的语言，Pig Latin。（2）用于运行Pig Latin程序的执行环境。当前有两个环境：单JVM中的本地执行环境和Hadoop集群上的分布式执行环境。Pig Latin程序由一系列“操作”
转载
2023-10-06 21:09:13
45阅读
1. hadoop 原理hadoop是apche基金会的一个开源项目，是一个可运行在大规模集群上的分布式并行编程框架，核心设计是HDFS（分布式文件系统）和mapreduce。为用户提供了底层细节透明的分布式基础设施。其中hdfs提供了高容错和高伸缩的特性，而mapreduce计算模型编写分布式应用程序相对简单，主要设计实现map、reduce类，其他并行编程复杂问题如分布式存储，工作调度，负载均
转载
2023-09-24 19:27:33
65阅读
为什么大家经常听到python、java的底层是用c、c++实现的，却没有听过别人说js是用什么语言写的？ java、python是用c、c++写的。为什么这么说，因为执行java的java虚拟机和执行python的python解析器都是用c、c++写的。而不是说.java文件和.py文件是用什么语言实现的。以python为例，.py文件只是开发人员编写的代码合集，这些只是python解释
转载
2023-06-06 17:47:18
241阅读
文章目录数组与切片切片扩容函数传参MapMap底层数据结构key的访问map的遍历遍历的随机性遍历当中发生的扩容扩容扩容触发条件条件1-扩充条件2-压实接口底层结构ifaceeface接口类型是不是nil方法接收者Channel底层结构channel的发送策略channel的接收策略channel的关闭happend-before标准库ContextContext取消timerCtxreflec
转载
2023-09-05 23:15:26
155阅读
目录一、简介二、HDFS 1.1Namenode 1.2Sconedarynamenode 1.3Datanode&n
转载
2024-03-02 09:46:59
85阅读
文章目录一、基础1. MySQL的核心是存储引擎2. InnoDB3. 一条sql语句在数据库框架中执行的流程：4. 查询语句前加explain来查看执行计划，相应优化；4.1执行计划：4.2查询性能的优化方法：4. 索引的分类：5. 索引失效情况分类:一、进阶1.主从复制中涉及到的三个线程 一、基础1. MySQL的核心是存储引擎主要存储引擎有：MyISAM，InnoDB，Memory，Arc
转载
2023-10-08 08:39:11
53阅读
一：Python简介 Python是一种应用广泛的通用高级编程语言，由Guido Van Rossum 在1989年创建，并于1991年首次发布。Python是一种解释型语言，它具有强调代码可读性的设计理念，以及允许程序员用比C++或Java等语言更简练额代码来实现语言相关表达功能。Python语言的底层是用C语言编写的，运行速度快。1.Pyth
转载
2023-07-05 21:35:46
93阅读
一、**1、**c语言：太底层，（人很难理解，计算机很好理解。） 最底层的:汇编语言 python：比较高级语言（） Python是一种计算机程序设计语言。你可能已经听说过很多种流行的编程语言，比如非常难学的C语言，非常流行的Java语言，适合初学者的Basic语言，适合网页编程的JavaScript语言等等。 那Python是一种什么语言？ 首先，我们普及一下编程语言的基础知识。用任何编程语言来
转载
2023-08-09 19:09:19
99阅读
这个问题似乎有点久远了，不过没关系，最近正好给团队做了一次IL2CPP的普及，顺便来回答一下吧。1、说到跨平台不得不说的一个东西叫做CIL(Common Intermediate Language)通用中间件语言，这是一个在.net FrameWork框架下的中间件，是一个大家公认的标准，可以理解为低阶的，人类可读的语言。由于早期的.net不开源，所以Xamarin当时就主持开发了一个开源的代码工
首先，编程语言的分类：编程语言俗称“计算机语言”，种类非常的多，总的来说可以分成机器语言、汇编语言、高级语言三大类。
机器语言（machine language）是一种
指令集的体系。这种指令集，称
机器码（machine code），是电脑的CPU可直接解读的数据。
机器码有时也被称为原生码（Native Code），这个名词比较强调某种
转载
2023-09-14 21:36:34
108阅读
