说在前面我们希望每个 mr 尽量⽐较单⼀，不要涉及太多复合的内容。这样便于 review，必要时也便于回滚。这⾥定义了 mr说明如下：type：⽤于说明这次 mr/
原创
2022-11-02 09:47:52
706阅读
先说结论 PR(Pull Request) 和 MR(Merge Request) 两个术语想表达的意思是一模一样的，只是在不同平台的叫法不一样。PR(Pull Request)是 github 发起合并分支请求时的叫法，MR(Merge Request) 是 gitlab 发起合并分支请求时的叫法
原创
2022-03-07 13:59:55
2616阅读
在团队中我承担了Committer 的责任，也就是帮同事们检视代码（Code Review）和合入代码，经常听到有同事在群里喊：“大佬，帮我合个 PR”，“大佬，我刚提交了一个 MR，帮忙合一下，急着出补丁”。我有点懵了，PR 和 MR 到底哪个才是正确的，这两个到底有什么区别，我决定先搞清楚这两个概念再合入他们的代码。[手动滑稽]什么是Pull Reques
转载
2022-01-05 16:04:08
9819阅读
点赞
git安装 在终端，检查git是否安装 git --version没有安装的话，去git官网，下载git安装后，在终端，检查git是否安装设置用户名和邮件地址（最好和github的用户名/邮箱保持一致）git config --global user.name "自己的用户名"git config --glob
前言上次花了点时间让CarbonData集成到StreamingPro中，方便大家更快速
原创
2023-03-20 09:24:00
131阅读
下载代码找到社区代码仓，fork一个到自己的私有仓复制自己私有仓“克隆/下载“中的HTTPS链接下载源码从私有仓下载digixActivity2022分支git clone -b digixActivity2022 https://gitee.com/GiteeID/event.git修改代码在现在到本地的代码文件下，新增项目工程提交代码配置Git，添加信息git config --global
原创
精选
2022-08-15 21:29:56
636阅读
点赞
GIT使用教程一. 分支1. 分支概念1.1 什么是分支1.2 分支的作用1.3 master分支2. 分支的运用2.1 Merge分支2.2 Topic分支3. 分支的切换3.1 checkout3.2 HEAD3.3 stash4. 分支的合并5. 分支的常见操作5.1 新建git库5.2 新建分支5.3 切换分支5.4 添加修改并提交5.5 合并分支5.6 删除分支5.7 并行操作5.8
代码在gitHub上托管，每次git pull完后，用git branch -a都可以看到一堆remotes/origin/pr/*分支：可以通过两种方式去除：1，修改git的config文件找到里面的：fetch = +refs/pull/*/head:refs/remotes/origin/pr/*删除。不过删除后就不能直接check pr分支了，参考：https://help.github.com/articles/checking-out-pull-requests-locally2，利用命令临时去除这些分支信息（推荐）。git remote prune origin 清理后-a 看起
转载
2013-08-09 23:56:00
238阅读
2评论
通过git拉取github/gitlab上的Pull Request(PR)/Merge Request(MR)到本地进行code revie
原创
2023-01-04 10:49:26
863阅读
在使用GitHub 或者 GitLab 等分布式代码管理平台时，我们在进行代码提交的时候，往往不需要把所有的东西，比如一些无用的文件或者隐私的文件不需要进行上传，那个Git 提供 .gitignore 文件用来忽略不想要上传的问题。IDEA 安装 git文件忽略插件 .gitignore
idea 在使用git进行提交的时候只需要提交源码之类的，并不需要把.idea/以及target等目录下的文件
大数据技术 —— MapReduce 简介 本文为senlie原创，转载请保留此地址：http://www.cnblogs.com/senlie/ 1.概要很多计算在概念上很直观，但由于输入数据很大，为了能在合理的时间内完成，这些计算必须分布在数以百计数以千计的机器上。例如处理爬取得到的文档、网页请
转载
2018-08-16 11:37:00
187阅读
2评论
1 具体核心流程图介绍 2 详情分析（1）HQL的执行形式1）$HIVE_HOME/bin/hive 进入客户端，然后执行 HQL；2）$HIVE_HOME/bin/hive -e “hql”；3）$HIVE_HOME/bin/hive -f hive.sql；4）先开启 hivesever2 服务端，然后通过 JDBC 方式连接远程提交 HQL。 可 以 知 道 我 们 执
这里介绍一下如题所述的四个概念以及相应的使用python绘制曲线：一般我们在评判一个分类模型的好坏时，一般使用MAP值来衡量，MAP越接近1，模型效果越好；更详细的可参考：准确率pr就是找得对，召回率rc就是找得全。大概就是你问问一个模型，这堆东西是不是某个类的时候，准确率就是 它说是，这东西就确实是的概率吧，召回率就是， 它说是，但它漏说了（1-召回率）这么多。（这里的P=F
prtitlecreator download：http://115.com/file/anf1hmlo秘訣1：匯入字幕檔→在專案視窗按滑鼠右鍵，執行《匯入》，然後選擇包含字幕檔的資料夾，例如d:\時光機，接著按下右下角的《匯入資料夾》按鈕，PR 就會一次匯入所有的字幕檔。秘訣2：將字幕檔依序放置在時間軸上→我們可以一次就將所有字幕依序放在時間軸上，而不需要將字幕一個一個拉到時間軸。在專案視窗選擇
今天提交了第一个pr，过程中查了很多资料，这里做个总结文字。git下载https://git-scm.com/downloadsgit配置邮箱和用户名打开git bash，分别执行以下两句命令git config --global user.name “用户名”git config --global user.email “邮箱”fork仓库将想要修改的仓库fork到自己的仓库里git配置
原创
2021-12-28 14:13:49
204阅读
一、前言 昨晚应老师要求参与教材的修正工作，需要涉及到github上的PR(Pull Request)操作。本来以为很简单的一个事情，没想到还得让我翘课，花了一个多小时的时间才搞明白，收获挺多。饭先不吃，先写博客，分享出来。 二、实现步骤 简单暴力的实现步骤，先不做太深入的细节分析。 为了叙述方便，
原创
2021-08-07 14:19:35
1296阅读
点赞
1.Hive简述 1.1 Hive是什么 Hive是数据仓库.它是构建在Hadoop之上的,通过解析QL(Hive SQL),转换成MR任务(Tez,Spark......)去提交执行. RDBMS一般是写验证,而Hive是读验证,即数据进入不会验证数据是否符合要求,只在读取的时候检查,解析具体字段 1.2 Hive的优缺点 优点: 可以直接访问HDFS,或者其它的
-- hive的库、表等数据操作实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容。一、hiveSQL转化为MR过程 一直好奇hiveSQL转化为MR过程，好奇hive是如何做到这些的，所以在网上找了几篇相关博客，根据自己理解重新画了一份执行过程图，做笔记。 二、h
转载
2023-07-12 09:30:10
143阅读
首先Spark是借鉴了mapreduce并在其基础上发展起来的，继承了其分布式计算的优点并改进了mapreduce明显的缺陷，但是二者也有不少的差异具体如下：MR是基于进程，spark是基于线程Spark的多个task跑在同一个进程上，这个进程会伴随spark应用程序的整个生命周期，即使没有作业进行，进程也是存在的MR的每一个task都是一个进程，当task完成时，进程也会结束所以，spark比M
转载
2023-08-11 23:35:57
208阅读
MR数据流向示意图步骤 1输入文件从HDFS流向Mapper节点。在一般情况下，map所需要的数据就存在本节点，这就是数据本地化计算的优势，但是往往集群中数据分布不均衡(1000台节点，数据冗余度是10，每个文件并不能均匀分布在每个节点上)，而MR的计算槽位是均匀分布在节点上的(配置文件中指定的map和reduce数量)，所以势必有些计算节点需要通过数据传输从别的节点获取计算数据。步骤 2Mapp
