准备数据SELECT uid, SUM(COUNT) FROM logs GROUP BY uid;hive> SELECT * FROM logs;
a 苹果 5
a 橙子 3
a 苹果 2
b 烧鸡 1
hive> SELECT uid, SUM(COUNT) FROM logs GROUP BY uid;
a 10
b 1计算过程默认设置了hive.map.ag
大数据分析处理架构图数据源： 除该种方法之外，还可以分为离线数据、近似实时数据和实时数据。按照图中的分类其实就是说明了数据存储的结构，而特别要说的是流数据，它的核心就是数据的连续性和快速分析性；计算层： 内存计算中的Spark是UC Berkeley的最新作品，思路是利用集群中的所有内存将要处理的数据加载其中，省掉很多I/O开销和硬盘拖累，从而加快计算。而Impala思想来源于
以sqrt(n) 为时间复杂度的算法并不多见，最具代表性的就是分解质因数了。 235. 分解质因数 中文 English 将一个整数分解为若干质因数之乘积。 样例样例 1：输入：10
输出：[2, 5]样例 2：输入：660
输出：[2, 2, 3, 5, 11] 注意事项你需要从小到大排列质因子。class Solution:
编者按：Hadoop于2006年1月28日诞生，至今已有10年，它改变了企业对数据的存储、处理和分析的过程，加速了大数据的发展，形成了自己的极其火爆的技术生态圈，并受到非常广泛的应用。在2016年Hadoop十岁生日之际，InfoQ策划了一个Hadoop热点系列文章，为大家梳理Hadoop这十年的变化，技术圈的生态状况，回顾以前，激励以后。近十年来，随着Hadoop生态系统的不断完善，Hadoop
本文是对pandas官方网站上《10 Minutes to pandas》的一个简单的翻译，原文在这里。这篇文章是对pandas的一个简单的介绍，详细的介绍请参考：Cookbook 。习惯上，我们会按下面格式引入所需要的包：
前言说完了ES的索引与检索，接着再介绍一个ES高级功能API – 聚合(Aggregations)，聚合功能为ES注入了统计分析的血统，使用户在面对大数据提取统计指标时变得游刃有余。同样的工作，你在hadoop中可能需要写mapreduce或hive，在mongo中你必须得用大段的mapreduce脚本，而在ES中仅仅调用一个API就能实现了。开始之前，提醒老司机们注意，ES原有的聚合功能Face
数据文件结构Extent在每一个数据文件内，MongoDB把所存储的BSON文档的数据和B树索引组织到逻辑容器“Extent”里面。如下图所示（my-db.1和my-db.2 是数据库的两个数据文件）：一个文件可以有多个Extent每一个Extent只会包含一个集合的数据或者索引同一个集合的数据或索引可以分布在多个Extent内。这几个Extent也可以分步于多个文件内同一个Extent不会又有数
1，什么是DNS服务器? 互联网是由无数台服务器和PC连接在一起组成的，每个服务器都会有一个唯一的数字标识，叫IP地址，IP地址是数字表示的，比如218.231.156.61服务器，pc之间的通信协议用的是TCP/IP协议，在底层通信里面，通信双方都是凭借IP地址和对方联系的，并没有域名参与。域名是给人记忆用的，为了能够把人记得住的名字转换成机器认识的IP地址，就需要DNS服务器来做这个
cassandra的索引查询和排序cassandra的索引查询和排序cassandra的查询虽然很弱，但是它也是支持索引和排序的，当然是简陋的查询，这一切都是为了追求性能的代价，所以要使用cassandra，你不能希望它完全适用你的逻辑，而是把你的逻辑设计的更适合cassandra。第一：索引查询cassandra是支持创建二级索引的，索引可以创建在除了第一个主键之外所有的列上，当然有些类型除外，
基于图的异常检测（三）：GraphRAD风浪一个快乐的数据玩家/风控/图挖掘24 人赞同了该文章论文：《GraphRAD: A Graph-based Risky Account Detection System》作者：Jun Ma（Amazon）,Danqing Zhang(Berkeley)来源：MLG ' 18本文介绍Amazon基于图的欺诈交易账户检测系统，相比LOCKINFER 
# _*_coding:UTF-8_*_
import operator
import tldextract
import random
import pickle
import os
import tflearn
from math import log
from tflearn.data_utils import to_categorical, pad_sequences
fr
17. 子集中文English给定一个含不同整数的集合，返回其所有的子集。样例样例 1：输入：[0]
输出：
[
[],
[0]
]样例 2：输入：[1,2,3]
输出：
[
[3],
[1],
[2],
[1,2,3],
[1,3],
[2,3],
[1,2],
[]
]挑战你可以同时用递归与非递归的方式解决么？注意事项子集中的元素排列必须是非
集群节点Elasticsearch升级操作流程1.首先执行Elasticsearch-1.2.2集群的索引数据备份2.关闭elasticsearch-1.2.2集群的recovery.compresscurl -XPUT "http://localhost:9200/_cluster/settings" -d'
{
"persistent": {
52. 下一个排列中文English给定一个整数数组来表示排列，找出其之后的一个排列。Example例1:输入:[1]
输出:[1]例2:输入:[1,3,2,3]
输出:[1,3,3,2]例3:输入:[4,3,2,1]
输出:[1,2,3,4]Notice排列中可能包含重复的整数遇到这种题目，只能自己找找规律：1 5 2 3 4 / /1 5 2 4 3 （2 1） / \ / \1 2
prepare:create keyspace ycsb WITH REPLICATION = {'class' : 'SimpleStrategy', 'replication_factor': 2 };
USE ycsb;
CREATE TABLE users (
firstname text,
lastname text,
age int,
email text,
KeyspacesA cluster is a container for keyspaces. A keyspace is the outermost container for data in Cassandra, corresponding closely to a schema in a relational database. The keyspace can include opera
ethtool eth0会包含速度模式等各项属性信息 lspci|grep -i ether可以查看硬件设备具体型号，会包含硬件厂商及信息 dmesg |grep -i eth会显示系统加载网卡时写入/var/log/message里的信息
132. 单词搜索 II中文English给出一个由小写字母组成的矩阵和一个字典。找出所有同时在字典和矩阵中出现的单词。一个单词可以从矩阵中的任意位置开始，可以向左/右/上/下四个相邻方向移动。一个字母在一个单词中只能被使用一次。且字典中不存在重复单词样例样例 1:输入：["doaf","agai","dcan"]，["dog","dad","dgdg","can","again"]
输出：["a
见：https://software.intel.com/sites/default/files/Configuration_and_Deployment_Guide_for_Cassandra_on_IA.pdfNoSQL databases can be classifiedinto four categories: Key-Value Store This is the
from sklearn.feature_extraction.text import CountVectorizer
texts=["dog cat fish","dog cat cat","fish bird", 'bird']
cv = CountVectorizer()
cv_fit=cv.fit_transform(texts)
print(cv.get_feature_names(
900. 二叉搜索树中最接近的值中文English给一棵非空二叉搜索树以及一个target值，找到在BST中最接近给定值的节点值样例样例1输入: root = {5,4,9,2,#,8,10} and target = 6.124780
输出: 5
解释：
二叉树 {5,4,9,2,#,8,10}，表示如下的树结构：
5
/ \
4 9
/
示意代码如下： #_*_coding:UTF-8_*_
import time
import socket
import os
import sys
if sys.version_info.major == 2:
reload(sys)
sys.setdefaultencoding('utf8')
class LogLevel(object):
debu
901. 二叉搜索树中最接近的值 II中文English给定一棵非空二叉搜索树以及一个target值，找到 BST 中最接近给定值的 k 个数。样例样例 1:输入:
{1}
0.000000
1
输出:
[1]
解释：
二叉树 {1}，表示如下的树结构：
1样例 2:输入:
{3,1,4,#,2}
0.275000
2
输出:
[1,2]
解释：
二叉树 {3,1,4,#,2}，表示如下的树结构
MongoDB GridFSGridFS 用于存储和恢复那些超过16M（BSON文件限制）的文件(如：图片、音频、视频等)。GridFS 也是文件存储的一种方式，但是它是存储在MonoDB的集合中。GridFS 可以更好的存储大于16M的文件。GridFS 会将大文件对象分割成多个小的chunk(文件片段),一般为256k/个,每个chunk将作为MongoDB的一个文档(document)被存储
apt-get install sshpasssshpass -p **your_password** ssh -o StrictHostKeyChecking=no "root@$ip" "du -sm /home/bone/ext_disk/splunk/var/lib" 参考：https://www.cyberciti.biz/tips/linux-running-commands
总体来说TokuDB具有： 1、高压缩比，官方宣称可以达到1：12。 2、高insert性能，官方称至少比innodb高9倍。 3、可以在线添加索引和字段，速度快。TokuDB它架构的核心基于一个不同的、现代的检索方法，名为分形树索引（FTI，Fractal Tree Indexes）。我所说的“不同”在于，大部分流行的存储引擎，比如MyISAM 、 InnoDB，都是基于B树索引。在过去至
# coding: utf-8
#!/usr/bin/env python
from __future__ import absolute_import
from __future__ import print_function
import traceback
import argparse
import ipaddress
from binascii import hexlify
class Solution:
# @param nums: The integer array
# @param target: Target number to find
# @return the first position of target in nums, position start from 0
def binarySearch(se