基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。在刚接触云计算，曾经想过培训，但是培训机构的选择就让我很纠结。所以索性就自己学习了。整个过程整理一下，给大家参考，欢迎讨论，共同学习。从一开始什么都不懂，到能够搭建集群，开发。整个过程，只要有Linux基础，虚拟机化和java基础，其实hadoop,没有太大的困难。 首先整体说一下学习过程给大家借鉴：首先查阅了资料，什
转载
2023-07-19 09:51:21
99阅读
前言书本第六章的主要内容就是讲了HDFS的一些操作指令，还有非常简略的Java调用HDFS API代码的示例。虽然据说用Java的运行效率会高很多，可是我也没有系统地学过Java，而且看样子实际做起来比较繁琐，所以我还是选择了Python来实现HDFS API的调用。用Python特别好的地方就是后面的数据处理和可视化会方便很多，人生苦短，我用Python，哈哈哈哈哈哈哈哈。其实用python2也
转载
2023-07-25 00:29:51
54阅读
php—mysql 5.0以上手工注入实战
原创
2012-11-24 19:01:56
2649阅读
点赞
2评论
总有很多朋友对于Linux的内存管理有疑问，之前一篇linux下的内存管理方式似乎也没能清除大家的疑虑。而在新版核心中，似乎对这个问题提供了新的解决方法，特转出来给大家参考一下。最后，还附上我对这方法的意见，欢迎各位一同讨论。
当在Linux下频繁存取文件后，物理内存会很快被用光，当程序结束后，内存不会被正常释放，而是一直作为caching。这个问题，貌似有不少人在问，不过都没有看到有什么很
转载
精选
2011-09-16 01:42:58
602阅读
点赞
1评论
两种方法：1. 以外部包(External Archives)的形式导入。在默认位于 Eclipse 窗口左侧的 Package Explorer 中，右键项目名，点击 Build Path 项下的 Add External Archives。 然后在弹出的文件选择窗口中选中 acm.jar 即可。这种方法适用于导入单个的 jar 包。2. 以 User Library 的形式导入。User Li
转载
2024-02-02 14:09:13
38阅读
最近在学习hadoop，在hadoop平台搭建完之后，写了一个小MapReduce程序。现在整理下，发在博客上，希望能和有兴趣的朋友相互学习，相互探讨。在这个例子中，我将分别展示在本地和HDFS上运行此程序。1、准备（1）Hadoop伪分布环境（我用的Hadoop版本是2.6.4）（2）Eclipse（3）原始数据：http://pan.baidu.com/s/1b0L7JK (一个上网记录的日志
1.查看内存使用情况
free -m
2.释放内存
/bin/sync
/bin/echo "1">/proc/sys/vm/drop_caches
3.查看内存使用情况
free -m
转载
精选
2011-04-15 15:37:43
971阅读
在Linux服务器上手工释放内存当在Linux下频繁存取文件后，物理内存会很快被用光，当程序结束后，内存不会被正常释放，而是一直作为caching。这个问题，貌似有不少人在问，不过都没有看到有什么很好解决的办法。通过以下方法，可以快速释放你的内存。注：不建议在数据库之类的服务器上手动释放内存，有可能造成数据丢失。1.查看内存使用情况 free –m2.释放内存 /bin/sync /bin/ech
原创
2016-01-28 17:22:16
786阅读
upupw 本地运行的时候 突然出现 504 错误。。搜索各种办法都没办法解决在 WampServer 上手工
转载
2023-05-19 18:22:29
308阅读
手工创建pdb
原创
2019-09-10 19:10:02
1707阅读
实验实验要求： 手工编译安装WEB服务，实现客户机访问。 由于下载的源码包在win7系统目录中，通过samba服务实现源码包共享到linux服务器： Win7上将文件夹LAMP共享，在linux服务器上通过smbclient访问：创建名为lamp目录，通过RPM方式安装命令cifs,实现共享目录挂载：使用mount命令挂
原创
精选
2015-03-05 16:26:27
1187阅读
本文介绍了如何在华为云上ECS上手工通过Docker部署tomcat，并提供了Docker常用操作一、环境准备ECS:操作系统版本： CentOS Linux release 7.6.1810 (Core)ECS绑定弹性公网IP安全规则：在安全组规则 开通入方向的80端口二、手工部署Docker1、添加yum源。yum install epel-release -...
原创
2021-05-24 22:20:13
1038阅读
开发工具： Tomcat、IDEA/eclipse(本人使用IDEA) 关于Tomcat： 启动方式： 双击Tomcat的bin目录下的startup.bat文件 打开命令行，cd到Tomcat的bin目录下，敲入启动命令：catalina run 配置Tomcat的环境变量，在命令行直接敲入cat ...
转载
2021-07-25 21:10:00
145阅读
2评论
= hadoop2.7.1安装初上手 =
''create by ymc023''
==== 一.环境准备 ====
1.virtualbox 虚拟机3台
原创
2016-11-25 15:43:36
308阅读
最近我在思考的一件事情：如何帮助团队 SQL 开发快速掌握大数据相关技术呢？面对疯狂暴涨的数据，SQL Server 存储成本越来越高了，日志的增长量也极大超过预期，隔三差五总有空间不足导致的应用异常。而且各种多样化的查询需求，在海量数据环境中，响应也越发慢了。打开Google ，开始琢磨起来，找到
转载
2019-06-04 16:35:00
190阅读
2评论
安装repohttp://archive-primary.cloudera.com/cdh/存放着cdh1-3的所有文件http://archive-primary.cloudera.com/
原创
2022-11-03 22:00:47
129阅读
# Hadoop 手工数据均衡的影响
在大数据处理的领域，Hadoop 作为一款广泛使用的开源框架，已经广泛应用于数据存储和分析中。然而，在使用 Hadoop 的过程中，数据均衡问题经常被忽视。本文将深入探讨 Hadoop 手工数据均衡的影响，并提供代码示例和相应类图以帮助读者更好地理解。
## 什么是数据均衡？
在 Hadoop 中，数据均衡是指将存储在集群中的数据均匀地分配到各个节点上。
原创
2024-09-22 04:38:42
46阅读
Hadoop HDFS Balancer Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见，保证HDFS中的数据平衡是非常重要的。 在Ha
转载
2024-02-26 20:44:10
131阅读
在虚拟机Linux系统上手工编译安装Mysql1、首先将mysql-5.5.24.tar.gz源代码包准备好，解压到虚拟机Linux的/opt文件夹下。2、通过yum仓库安装需要的基础工具，主要包括（gcc、gcc-c++、make、cmake）gcc和gcc-c++都是编译工具，make是二进制转换工具，cmake是跨平台安装工具。3、通过镜像文件安装rpm包安装部分工具ncurses-deve
原创
2018-04-20 15:45:07
1554阅读
点赞
可以只用一行代码来运行MapReduce作业：JobClient.runJon(conf)，Job作业运行时参与的四个实体：
1.JobClient 写代码，配置作业，提交作业。
2.JobTracker:初始化作业，分配作业，协调作业运行。这是一个java程序，主类是Job
转载
2024-08-02 10:32:21
27阅读
