adnb34g的博客_hadoop

大快搜索城市运河大数据政务管理平台案例解读

大数据在政务当中的应用对于提高问题解决的效率可谓大有帮助，但政务大数据平台的应用开发远不止提高问题解决效率这么简单。当然，作为大数据平台应用的开发者来说，我们要做的是还是从底层的技术层面做好解决方案。关于政务大数据平台的解决方案此前有分享过智慧人社的和城市智慧停车的大数据平台解决方案，本篇给大家分享一个新的政务大数据平台管理案例——大快搜索的城市数据运河政务大数据管理运营平台。

政务

大数据

管理

平台

原创 2018-12-24 09:28:20 458 阅读

菜鸟如何使用hanlp做分词的过程记录

最近在学习hanlp的内容，准备在节后看看有没有时间整理一波hanlp分享下，应该还是会像之前分享DKHadoop一样的方式吧。把整个学习的过程中截图在配文字的方式搞一下。这两天也在看一些其他人分享的hanlp学习和使用分享的文章，后面看到的分享也会转载分享给大家。今天分享的这篇也是很早前别人分享的一篇如何用hanlp做分词的文章，新手入门级的可以看看！

hanlp

分词

语言处理

原创 2018-09-30 10:09:41 828 阅读

Hadoop数据分析实例：P2P借款人信用风险实时监控模型设计

一提到hadoop相信熟悉IT领域或者经常关注互联网新闻的朋友都应该很熟悉了，当然，这种熟悉可能也只是听着名字耳熟，但并不知道它具体是什么东西，或者用来做什么。这些都不重要，重要的是你知道有hadoop这么个东西就可以了。前段时间码了一些hadoop方面的分享文章，纯属个人的一点小经验，可能有的地方写的不好，将就下吧！今天要分享的这篇是转载的一篇大快搜索公众号上的文章，是关于时下比较热闹的P2P金融方面对hadoop应用的一个架构设计。

hadoop

数据

分析实例

原创 2018-09-29 11:37:45 1397 阅读 1点赞 1收藏

hadoop商业版本选择对比

记得刚接触到hadoop的时候跟大部分人一样都会抱怨hadoop的安装部署问题，对于一个新手来说这这的是个头疼的问题，可能需要花费一整天的时间才能把分布式环境安装配置好。在刚接触hadoop的一段时间里，可以说对于hadoop的理解一直都是停留在相对较肤浅的层面。后来随着自己的不断摸索以及向圈内的前辈大神请教交流（主要是向大神请教学来的），自己对于hadoop的认识以及应用也就更加娴熟。作为一个过

hadoop商业版本

转载 2018-09-14 16:15:01 597 阅读

hadoop发行版本之间的区别

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache hadoop外cloudera，hortonworks，mapR,华为,DKhadoop等都提供了自己的商业版本。商业发行版主要是提供了更为专业的技术支持，这对于大型企业更为重要，不同发行版都有自己的一些特点，本文就各发行版做简单对

hadoop发行版本

hadoop版本区别

转载 2018-09-11 10:28:58 511 阅读

大数据框架hadoop服务角色介绍

翻了一下最近一段时间写的分享，DKHadoop发行版本下载、安装、运行环境部署等相关内容几乎都已经写了一遍了。虽然有的地方可能写的不是很详细，个人理解水平有限还请见谅吧！我记得在写DKHadoop运行环境部署的时候，遗漏了hadoop服务角色的内容，本篇特地补上这部分内容吧，不然总觉得不舒服。要在集群中运行DKHadoop服务，需要指定集群中的一个或多个节点执行该服务的特定功能，角色分配是必须的，

大数据框架hadoop

hadoop服务角色

原创 2018-09-11 08:45:19 926 阅读

快速学习hadoop只有这些基础可不行

“学习hadoop需要什么基础”这已经不是一个新鲜的话题了，随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗？用一句特别让人无语的话回答就是：难不会，会不难！趁着学校放假的时间，写了一些hadoop学习分享的文章。刚开始写的几篇稍微有点乱，其中有一篇就是在说学习hadoop需要什么样基础的。所谓的难不会，会不难，必

快速学习

hadoop

学习

原创 2018-09-08 10:16:46 425 阅读

Apache Shiro在web开发安全框架中的应用

今天准备分享一下Apache Shiro 在web开发中的应用。shiro安全框架是目前为止作为登录注册最常用的框架，因为它十分的强大简单，提供了认证、授权、加密和会话管理等功能。

Apache

Shiro

web

开发安全

原创 2018-09-05 10:23:21 768 阅读

大数据分布式存储方案的两种部署模式-分离式和超融合

数据中心内部系统的核心要求是“稳定可靠”，一是指系统在运行过程中有能力提供连续可靠的服务，长时间无故障运行；二是指当故障发生之后，有能力快速定位，及时排查，故障范围不蔓延。

大数据分布式存储方案

分布式融合存储

转载 2018-09-03 16:02:17 1342 阅读

hadoop入门学习教程--DKHadoop完整安装步骤

使用hadoop版本是DKH标准三节点发行版，DKHadoop版本的易用性比较好，环境部署要简单的多，参考此篇安装前请先下载DKHadoop版本，网盘链接：https://pan.baidu.com/s/1-427Sh6lTLrLAPh6KMOYVg 提取码：vg2w 第一部分：准备工作1、大数据平台所需配置：(1) 系统：CentOS 6.

hadoop

入门

学习教程

原创 2018-08-31 13:21:03 824 阅读

零基础学习hadoop开发需要具备的条件

零基础学习hadoop开发是很多新手关心的问题，当然零基础并不是说没有IT方面的知识储备，而是指没有大数据hadoop方面的基础。将“零基础学习hadoop开发”这个问题换个说法也许就更容易让人明白了，比如“学习hadoop需要具备什么基础知识”。

零基础

学习

hadoop

原创 2018-08-29 13:10:37 491 阅读

DKHadoop集群添加节点的图文步骤说明

针对hadoop每个组建都要配置的这种情况，DKH提供了自动化安装应用来部署Hadoop。这就大大缩短了Hadoop的安装时间，同时也简化了安装Hadoop的过程。如果你在安装之后想要拓展节点，其实也不用担心。因为DKH中提供了节点管理的功能。

hadoop

集群

添加节点

新节点

原创 2018-08-27 11:07:18 709 阅读

数据爬虫技术实例：大快在线爬虫安装教程

在线爬虫是大快大数据一体化开发框架的重要组成部分，本篇重点分享在线爬虫的安装。爬虫安装前准备工作：大快大数据平台安装完成、zookeeper、redis、elasticsearch、mysql等组件安装启动成功。

数据

爬虫

技术实例

原创 2018-08-24 10:33:16 1024 阅读

大快DKhadoop安装与配置问题整理

2018年度国内大数据公司排名50强本月初榜单发布，榜单上看到大快搜索跻身50强，再看看他们做的DKHadoop发行版，的确还是蛮厉害的吧！最起码这款DKHadoop用起来确实在易用性方面要更好！Dkhadoop版本的下载安装以及运行环境搭建等各个方面内容基本都已经分享过了，今天给大家就dkhadoop开发环境安装中常见的问题以及解决方法进行汇总整理，希望对一些朋友有帮助吧！

hadoop

安装

配置

问题整理

原创 2018-08-22 10:20:38 512 阅读

大快搜索：做大数据底层技术的领跑者

提起搜索引擎，多数人首先会想到谷歌、百度，而对于“大快搜索”，在普通用户印象中会有些陌生。但在互联网企业圈里，它作为“大数据+人工智能基础软件供应商”，已经获得了越来越多的认可。

大数据底层技术开发

转载 2018-08-21 16:31:23 355 阅读

深度解析大数据可视化管理平台的监控功能

在上一篇的文章中已经明确说过DKM作为大快发行版DKhadoop的管理平台，它的四大功能分别是：管理功能，监控功能，诊断功能和集成功能。管理功能已经给大家列举了一些做了说明，今天就DKM平台的监控功能再给大家做细致的分享分析。

大数据可视化平台

大数据可视化分析平台

大数据可视化平台功能

原创 2018-08-20 10:56:05 3344 阅读

大快搜索大数据运维管理平台深度解析

DKM 是DKHadoop管理平台。作为大数据平台端到端Apache Hadoop 的管理应用，DKM 对 DKH 的每个部件都提供了细粒度的可视化和控制。通过DKM ，运维人员是可以提高集群的性能，提升服务质量，提高合规性并降低管理成本。

大数据

运维

管理平台

原创 2018-08-17 11:02:40 1195 阅读

大快DKH大数据基础服务平台监控参数说明（附图文）

DKhadoop大数据处理平台架构的安装相关文章已经分享过，详细的内容可以找一下看看。在上一篇中已经就集群平均负载、集群磁盘使用情况、HDFS监控界面、Hbase监控界面等监控参数进行说明。今天就把剩下的一些监控参数一起介绍完，关于大快大数据处理平台监控参数的介绍就完整了。

大数据

基础

服务平台

原创 2018-08-15 14:30:04 1359 阅读

hadoop快速入门教程：hadoop安装包下载与监控参数说明

前阶段用了差不多两周的时间把DKhadoop的运行环境搭建以及安装的各个操作都介绍了一遍。关于DKhadoop安装包下载也只是顺带说了一下，但好像大快搜索的服务器在更新，新的下载页面还不好用！有好些朋友留言说了大快搜索网站上无法下载。我已经将之前下载的这个版本上传到了网盘了，需要的DKhadoop安装包的朋友可以直接通过网盘下载！

hadoop

快速入门

教程

原创 2018-08-13 13:18:18 1596 阅读

2018最新hadoop服务器环境配置教程（附详细步骤）

虚拟机以及Linux系统安装在之前的两篇分享中已经详细的介绍了方法，并且每一步的都配图了。如果有朋友还是看不懂，那我也爱莫能助了。本篇主要就hadoop服务器操作系统配置进行详细说明，hadoop安装会在下一篇文章中详细的介绍。

hadoop

服务器

配置

配置教程

原创 2018-08-01 11:45:26 4143 阅读

hadoop伪分布式环境搭建:linux操作系统安装图解

本篇文章是接上一篇《超详细hadoop虚拟机安装教程（附图文步骤）》，上一篇有人问怎么没写hadoop安装。在文章开头就已经说明了，hadoop安装会在后面写到，因为整个系列的文章涉及到每一步的截图，导致文章整体很长。会分别先对虚拟机的安装、Linux系统安装进行介绍，然后才会写到hadoop安装，关于hadoop版本我使用的是大快搜索三节点发行版DKhadoop。

hadoop

伪分布式

环境搭建

安装教程

原创 2018-07-30 13:50:16 972 阅读

hadoop伪分布式环境搭建:linux操作系统安装图解

本篇文章是接上一篇《超详细hadoop虚拟机安装教程（附图文步骤）》，上一篇有人问怎么没写hadoop安装。在文章开头就已经说明了，hadoop安装会在后面写到，因为整个系列的文章涉及到每一步的截图，导致文章整体很长。会分别先对虚拟机的安装、Linux系统安装进行介绍，然后才会写到hadoop安装，关于hadoop版本我使用的是大快搜索三节点发行版DKhadoop。

hadoop

伪分布式

环境搭建

单机

原创 2018-07-30 13:50:05 1934 阅读

新手入门篇：虚拟机搭建hadoop环境的详细步骤

计划在接下来的一段时间里，以我之前学习研究大快搜索DKHadoop时经验为基础，给大家整理分享虚拟机的安装、操作系统安装、服务器操作系统配置、DKH系统安装等相关内容。文章篇幅可能会比较长，所以每篇就只分享一到两个点。本篇给大家分享DKHadoop虚拟机的环境安装。

虚拟机

搭建

hadoop

环境

虚拟机

原创 2018-07-28 11:21:07 9305 阅读

hadoop集群管理系统搭建安装规划说明

Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情，因为你可能花费了很久的时间在搭建运行环境，最终却不知道什么原因无法创建成功。但对新手来说，运行环境搭建不成功的概率还蛮高的。

hadoop集群管理系统

hadoop集群环境搭建

原创 2018-07-26 11:02:35 1804 阅读

hadoop最新稳定版本dkhadoop版本选择介绍

Hadoop对于从事互联网工作的朋友来说已经非常熟悉了，相信在我们身边有很多人正在转行从事hadoop开发的工作，理所当然也会有很多hadoop入门新手。Hadoop开发太过底层，技术难度远比我们想象的要大，对新手而言选择一个合适的hadoop版本就意味着上手更快！

hadoop

hadoop家族学习路线图之hadoop产品介绍

大数据这个词也许几年前你听着还会觉得陌生，但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”！越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手，你会觉得哪些地方很难呢？运行环境的搭建恐怕就已经足够让新手头疼。如果每一个发行版hadoop都可以做到像大快DKHadoop那样把各种环境搭建集成到一起，一次安装搞定所有，那对于新手来说将是件多么美妙的事情！

hadoop

家族

学习路线图

新手入门

原创 2018-07-17 14:40:45 1419 阅读

大数据入门级学习：SQL与NOSQL数据库

安装运行环境这样的坑，那些做国产大数据底层开发的，如果不能解决这个问题的话，我觉得不是一个合格的大数据底层开发机构。不过比较幸运的是，三月的时候申请拿到了一个DKHadoop的三节点发行版，大快开源的发行版hadoop。这个国产发行版就把各种常用的组建比如：HDFS，Hbase,Storm,Flume,Kafka，Mahout，Es等集成到了一起，终于不需要绞尽脑汁去折腾底层平台的搭建与配置了，简单的完成安装即可。这对于hadoop初学者来说，可谓是福音了。

大数据

入门级

学习

SQL

数据库

原创 2018-07-14 14:56:02 892 阅读

DKhadoop安装配置教程与常见问题解决方法

上周分别就DKHadoop的安装准备工作以及服务器操作系统配置写了两篇分享的文章，这是个人第一次尝试写一个系统性的分享文章，必然会有很多疏漏的地方，还望见谅吧。今天分享的是DKHadoop安装以及常见问题的解决方案方法介绍。

DKhadoop

安装

配置

安装教程

原创 2018-07-10 10:40:21 744 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

adnb34g的博客

大快搜索城市运河大数据政务管理平台案例解读

菜鸟如何使用hanlp做分词的过程记录

Hadoop数据分析实例：P2P借款人信用风险实时监控模型设计

hadoop商业版本选择对比

hadoop发行版本之间的区别

大数据框架hadoop服务角色介绍

快速学习hadoop只有这些基础可不行

Apache Shiro在web开发安全框架中的应用

大数据分布式存储方案的两种部署模式-分离式和超融合

hadoop入门学习教程--DKHadoop完整安装步骤

零基础学习hadoop开发需要具备的条件

DKHadoop集群添加节点的图文步骤说明

数据爬虫技术实例：大快在线爬虫安装教程

大快DKhadoop安装与配置问题整理

大快搜索：做大数据底层技术的领跑者

深度解析大数据可视化管理平台的监控功能

大快搜索大数据运维管理平台深度解析

大快DKH大数据基础服务平台监控参数说明（附图文）

hadoop快速入门教程：hadoop安装包下载与监控参数说明

最新hadoop新手入门教程汇总

最新hadoop下载安装教程（附详细图文步骤）

2018最新hadoop服务器环境配置教程（附详细步骤）

hadoop伪分布式环境搭建:linux操作系统安装图解

hadoop伪分布式环境搭建:linux操作系统安装图解

新手入门篇：虚拟机搭建hadoop环境的详细步骤

hadoop集群管理系统搭建安装规划说明

hadoop最新稳定版本dkhadoop版本选择介绍

hadoop家族学习路线图之hadoop产品介绍

大数据入门级学习：SQL与NOSQL数据库

DKhadoop安装配置教程与常见问题解决方法