mb6446438c6e361的博客_大数据

Spark 快速入门

rt/ Spark 快速入门目录 [−]使用Spark进行交互式分析基本操作更多的RDD操作缓存独立应用深入了解本教程快速介绍了Spark的使用。首先我们介绍了通过Spark 交互式shell调用API( Python或者scala代码)，然后演示如...

scala

shell

java

spark

apache

原创 2023-08-11 15:00:24 67 阅读

Hadoop实战-中高级部分之 HDFS原理架构和副本机制

Hadoop RestFulHadoop HDFS原理1Hadoop HDFS原理2Ha

测试

运维

java

HDFS

数据块

原创 2023-08-11 09:45:14 167 阅读

用于企业的 Solr

使用 Apache Solr 实现更加灵巧的搜索，第 2 部分: 用于企业的 Solr管理、配置和性能在本部分中，Lucene Java™ 的提交人 Grant Ingersoll 通过对用于企业的特性（包括管理界面、高级配置选项）以及与性能相关的特性（比如缓存、复制和日志记录）的探究，完成了对 Solr 的介绍。0 评论： Grant Ingersoll, 高级软件工程师,

shell

json

java

缓存

服务器

原创 2023-07-24 21:32:50 93 阅读

Impala入门笔记

问题背景：初步了解Impala的应用重点测试Impala的查询速度是否真的如传说中的比Hive快3~30倍写作目的：了解Impala的安装过程初步了解Impala的使用比较Impala与Hive的性能测试适合阅读对象：想了解Impala安装的读者想了解Impala与Hive性能比较的读者不涉及的内容：如何安装Hadoop（假设你已经安装好了Hadoop）如何安装Hive（假设你已经安装好了Hive

运维

shell

数据库

Hive

Hadoop

原创 2023-07-24 21:24:46 74 阅读

HBase 常用Shell命

ml 进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户...

大数据

shell

运维

hadoop

数据

原创 2023-07-24 17:29:58 18 阅读

基于Storm的Nginx log实时监控系统

App Engine)是一个U

memcached

数据库

php

自定义

日志文件

原创 2023-07-24 17:27:41 90 阅读

从入门到高深，史上最全的Spark综合帖

什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop

scala

人工智能

大数据

Scala

HDFS

原创 2023-07-24 16:53:42 52 阅读

Storm实战——起步

翻译自：Getting Started With Storm （作者：Jonathan Lei

大数据

java

git

maven

Java

原创 2023-07-24 15:41:36 59 阅读

Solr performance tuning

uningIntroductionI have for the last year been working a lot with the Solr search engine, and figuring out how to get the best performance from...

java

数据库

大数据

solr

sed

原创 2023-07-24 15:39:15 75 阅读

storm简介

troduction-to-storm.html伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝...

java

大数据

数据库

实时计算

hadoop

原创 2023-07-24 15:38:54 49 阅读

MetaQ安装部署文档

一．MetaQ安装部署情况：地点IPBroker IDMaster/SlaveSlave ID:Gro

大数据

zookeeper

数据同步

IP

原创 2023-07-13 14:04:05 92 阅读

sqoop简介

y2AFaXwMeFXiVpT-wOE68n4vRd_hqb0EhD3V546ntYfa [1] Sqoop(发音：skup)是一款开源的工具，主要用于在HADOOP(Hive)与传统的数据库(mysql、postgresql....

数据库

大数据

Hadoop

关系型数据库

HDFS

原创 2023-07-13 14:03:34 98 阅读

redis 3.0的集群部署

logs/2050676最近研究redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到redis3 release出来后，换掉memCache 集群....

数据库

java

ruby

redis

Java

原创精选 2023-07-13 14:02:54 242 阅读

Cloudera Impala架构设计要点

用场景中，比如，月度统计报表生成等，我们基于传统的Hadoop MapReduce来处理海量大数据（包括使用Hive），在各方面表现都还不错，只需要离线处理数据，然后存储结果即可。但是如果在一些实时性要求相对较高的应用场景中，哪怕处理时间能够在原有的基础有大幅度地减少，也能很好地...

大数据

数据库

shell

cloudera

SQL

原创 2023-07-13 13:59:23 65 阅读

Mesos的分析1 --- 原理、安装、部署过程

Berkeley推出之后，即可引起了学术界的深入研究。目前，代码已经在github上可以下载。它的框架图如下：从这个框架中，重点在于集群资源的复用，和作业的管理。Mesos的创新在于：如何支持不同的分布式计算框架，而解决这个问题的关键是，如何将Mesos管理的资源分配给Hadoop。为了介绍清楚，下面将Mes

大数据

ui

python

UI

Hadoop

原创 2023-07-13 13:54:06 100 阅读

flume+elasticsearch

简单描述一下这个例子：将项目日志实时采集到elasticsearch，便于统一管理。1. 收集日志格式为：log4j.properties ： org.apache.log4j.Logger： %d{ISO8601} [%l-%M]-[%p] %t %m%nlogback.xml ：org.slf4j.Logger： %date [%logger

大数据

java

elasticsearch

apache

自定义

原创精选 2023-06-13 09:38:58 211 阅读

机器学习之——线性判别分析（LDA）, 主成分分析(PCA)

前言：第二篇的文章中谈到，和部门老大一宁出去outing的时候，他给了我相当多的机器学习的建议，里面涉及到很多的算法的意义、学习方法等等。一宁上次给我提到，如果学习分类算法，最好从线性的入手，线性分类器最简单的就是LDA，它可以看做是简化版的SVM，如果想理解SVM这种分类器，那理解LDA就是很有必要的了。谈到LDA，就不得

人工智能

数据结构与算法

特征值

方差

数据

原创 2023-06-13 09:37:58 166 阅读

机器学习之——机器学习中的数学(2)-线性回归，偏差、方差权衡

前言：距离上次发文章，也快有半个月的时间了，这半个月的时间里又在学习机器学习的道路上摸索着前进，积累了一点心得，以后会慢慢的写写这些心得。写文章是促进自己对知识认识的一个好方法，看书的时候往往不是非常细，所以有些公式、知识点什么的就一带而过，里面的一些具体意义就不容易理解了。而写文章，特别是写科普性的文章，需要对里面的具体意义弄明白，甚至还要能举出更生动的例子

数据结构与算法

人工智能

方差

点集

数据集

原创 2023-06-13 09:37:28 85 阅读

Spark生态圈之——Elasticsearch与Solr

的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源...

大数据

数据库

json

Elastic

搜索

原创 2023-06-13 09:30:01 45 阅读

Redis集群技术及Codis实践

数据库

运维

后端

Redis

客户端

原创 2023-06-13 09:29:31 72 阅读

Solr入门之SolrServer实例化方式

http://blog.sina.com.cn/s/blog_5ddc071f0101mts1.html 随着solr版本的不断升级, 差异越来越大, 从以前的 solr1.2 到现在的 solr4.3, 无论是类还是功能都有很大的变换, 为了能及时跟上新版本的步伐, 在此将新版本的使用做一个简单的入门说明: Solr3.6版本 &

java

solr

实例化

服务器

原创 2023-05-17 11:14:58 98 阅读

mongo客户端mongo VUE增删改查

一、先创建一张mongo表，右击已创建的数据库test，点击addcollection..输入Collection Name，点击ok；二、在创建的表中新增列与数据，右击表选择Insert document点击Insert，刷新表。三、查询数据右击表格，点击Find1、查询日期的方式需要在{Find}框中写{"endDate":ISODate("2013-12-30T16:00:00Z

javascript

数据库

ViewUI

字段

数据

原创 2023-05-17 11:01:39 387 阅读

zookeeper的数据存储和同步

大数据

数据

zookeeper

日志文件

原创 2023-05-17 11:00:35 398 阅读

Storm应用系列之——Topology部署

本系列源码地址： https://github.com/EdisonXu/storm-sampleshttps://github.com/baijian/storm-javahttps://github.com/ashrithr/storm-helloworld根据前文介绍，我们知道，storm的任务是包装在topology类中，由nimbus提交分配到整个cluster。Topolog

大数据

java

jar

zookeeper

原创 2023-05-12 16:48:25 142 阅读

高性能消息系统——Kafka

https://github.com/abhioncbr/Kafka-Message-Server 什么是Kafka？引用官方原文： “ Kafka is a distributed, partitioned, replicated commit log service.” 它提供了一个非常特殊的消息机制，不同于传统的mq。官网：htt

大数据

java

kafka

zookeeper

apache

原创 2023-05-12 16:47:12 96 阅读

flume日志采集

1. Log4j Appender1.1. 使用说明1.1.2. Client端Log4j配置文件（黄色文字为需要配置的内容）log4j.rootLogger=INFO,A1

java

jira

json

apache

数据

原创 2023-05-12 16:39:39 309 阅读

zookeeper机制原理

zookeeper机原理（长连接）：Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管。当对目录节点监控状态打开时，一旦目录节点的状态发生变化

大数据

java

设计模式

Server

zookeeper

原创 2023-05-08 17:03:06 133 阅读

ZooKeepr日志清理

转载请用注明：@ni掌柜 nileader@gmail.com在使用zookeeper过程中，我们知道，会有dataDir和dataLogDir两个目录，分别用于snapshot和事务日志的输出（默认情况下只有dataDir目录，snapshot和事务日志都保存在这个目录中，关于这两个目录的详细说明，

大数据

java

运维

zookeeper

jar

原创 2023-05-08 16:48:30 635 阅读

solr的分组和统计功能

st:8983/solr/collection1/select?q=*%3A*&wt=xm...

字段

双核

solr

原创 2023-04-28 10:35:25 531 阅读

Java MongoDB Tutorial

The following Java / Spring Data MongoDB tutorials and examples are tested with :Mo

数据库

java

json

Java

Data

原创 2023-04-28 09:56:47 60 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

mb6446438c6e361的博客