最近因为要改hadoop的一些代码，需要重新编译，测试环境是用cdh4.6.0做debug,简单记录下hadoop的编译方法：1）编译环境需要下面几个包yum install lzo-devel zlib-devel gcc autoconf automake libtool ncurses-devel op
原创
2014-12-10 22:19:31
1016阅读
线上使用了cdh4.2.0，这个版本有几个比较严重的bug,jt 内存泄露和distribute cache阻塞的bug.(MAPREDUCE-2479和MAPREDUCE-5508)相关patch:https://github.com/y-lan/hadoop-cdh4/blob/master/cloudera/patches/1351-MR1-MAPREDUCE-2479.-Move-dist
原创
2014-04-23 22:28:39
808阅读
这里主要说下在task初始化时的distribute purge相关的类：TrackerDistributedCacheManager4.6.0的distribute purge行为由4个参数控制。local.cache.size #默认10737418240
mapreduce.tasktracker.cache.local.numberdirectories #默认10000
mapreduc
原创
2014-04-23 22:53:13
961阅读
upgrade小结：1.dfsadmin -upgradeProgress status 在cdh5.2.0中没有，在4.6.0有（见源码org.apache.hadoop.hdfs.tools.DFSAdmin）升级的时候不能通过这个看到升级状态rollingUpgrade这个参数在4.6.0中不存在，在5.2.0中有，可以用于滚动升级2.在cdh5.2.0中执行upgrade,nn中调用的命令
推荐
原创
2014-11-19 23:22:36
9312阅读
distribute cache purge阻塞task的bug测试。cdh4.2.0:测试方法：local.cache.size=650因为cachedir size和count是存在内存中的HashMap中的，把local.cache.size值设置的足够小，在每次job运行时都会触发delete distribute cache的操作。又因为是private的，是同步删除，会造成task阻塞
推荐
原创
2014-04-23 22:46:17
1286阅读
做报表。图表肯定是少不了的。尽管是疲惫的周一工作还是要做啊、、、 第一步：创建一个新的空白项目，数据源创建这个网上非常多资料，不是本章重点就不再详述 第二步：iReport界面，窗体->组件面板调出来。里面有一个Chart组件，直接将其拖动到新建的报表中。接下里会弹出 我们选择第一个。做一个pie
转载
2017-08-06 13:29:00
93阅读
2评论
OpenCV 更新日志版本：4.6.02022 年 6 月OpenCV 4.x 的夏季更新已经发布。学分：OpenCV 中国团队为 CI Farm 开发新硬件。@alalek、@asenyaev、@fengyuentau 为 OpenCV CI 迁移到 Github Actions 所做的出色工作本次发布的亮点：OpenCV 项目基础架构迁移到 GitHub Actions 工作流以用于 CI
转载
2022-10-18 09:14:32
1198阅读
线上使用cdh4.6.0和hive0.13.1,在hive0.11之后开始支持orcfile,hive0.13.1使用的是pb2.5.0,cdh4.6.0是用的2.4.0a，线上测试orcfile，建表正常，但是插入数据时报错报错：java.lang.VerifyError: class org.apache.hadoop.hive.ql.io.orc.OrcProto$Row
原创
2015-01-04 22:23:32
3334阅读
到官网下载源码，IDEA打开项目，等待自动加载，修改application-druid.yml配置文件：数据库名，账号密码，连接数据库，修改application.yml中的端口，避免与80端口冲突。
原创
2024-10-24 10:19:45
300阅读
如何在Visual C++ 6.0上
使用OpenCV
王光一
東華大學 資訊工程研究所
電腦視覺實驗室
目 錄
第一步 使用V
# Redis configuration file example.# Redis配置文件示例。## Note that in order to read the configuration file, Redis must be# started with the file path as first argument:# 注意，为了读取配置文件，Redis必须是从文件路径
转载
2018-08-29 19:11:58
3008阅读
到官网下载源码，IDEA打开项目，等待自动加载，修改application-druid.yml配置文件：数据库名，账号密码，连接数据库，修改application.yml
原创
2024-10-30 22:04:55
0阅读
ECharts使用教程(图文版)----(2020.02.02)武汉加油----冲鸭，雄起！！！成都兄弟挺你！文中项目参考：项目GitHub地址Python 实现 2019 新型冠状疫情地图可视化 (basemap + matplotlib)1. ECharts概述1.1 ECharts介绍ECharts，一个使用 JavaScript 实现的开源可视化库，可以流畅的运行在 ...
原创
精选
2023-03-21 17:04:12
9698阅读
Wireshark 4.6.0 发布 - 网络协议分析器
1、Apache Hadoop 不足之处 • 版本管理混乱 • 部署过程繁琐、升级过程复杂 • 兼容性差 • 安全性低 2、Hadoop 发行版 • Apache Hadoop • Cloudera’s Distribution Including Apache Hadoop（CDH） • Hort
转载
2019-06-04 16:23:00
204阅读
1、Apache Hadoop 不足之处 • 版本管理混乱 • 部署过程繁琐、升级过程复杂 • 兼容性差 • 安全性低 2、Hadoop 发行版 • Apache Hadoop • Cloudera’s Distribution Including Apache Hadoop（CDH） • Hort
转载
2021-01-13 15:08:00
238阅读
2评论
【一】Cloudera Manager 安装 一\\系统环境准备(三台机器server1,
原创
2022-11-07 08:36:45
727阅读
点赞
visual studio 2022 opencv 4.6.0 创建测试工程
原创
2023-03-06 16:06:44
187阅读
