前一段时间由于shark项目停止更新，sql on spark拆分为两个方向，一个是spark sql on hive,另一个是hive on spark。hive on spark达到可用状态估计还要等很久的时间，所以打算试用下spark sql on hive，用来逐步替代目前mr on hive的工作。 &nb
原创
精选
2014-07-23 10:37:12
7258阅读
点赞
4评论
dplicn=Ajax技术初探 一直对gmail的客户端技术非常感兴趣，今天找了一些Ajax的资源，介绍如下:Ajax web客户端技术: Asynchronous JavaScript + XML 主要基于以下技术: standards-based presentation u
转载
精选
2007-11-18 12:08:36
606阅读
虽然做的是大数据，但是毕竟是在一家云公司，而且是家具有视频基
原创
2023-03-17 19:58:18
101阅读
1、当我做transfomer的时候没有问题，可是一做到action操作就会报错。以下是几个小问题：distFile=sc.textFile("hdfs://user/spark/test/201201.csv")distFile.map(lambdas:len(s)).reduce(lambdaa,b:a+b)执行第一条没问题，执行第二条的时候就会报错：Illegalchar
原创
2018-05-29 10:32:14
1580阅读
前言 不知道各位小伙伴在此之前，是否有听过或者了解过agent ，skywalking与我 ...
转载
2021-07-15 13:36:00
911阅读
2评论
[“目前我们已经进入了一个能看到量子计算机将要做出来的时间段——即最后一里路。这“最后一里路”，不仅过程非常艰难，而且耗时也会很长。”——×××院士、量子计算泰斗姚期智教授乍寒乍暖的上海，鱼缸里有一撮设计师总是想搞点小事情，他们不满足于设计领域的一亩三分地，更进一步想要了解不同行业和领域最新的知识和资讯。本次他们选择的是科技领域目前非常火的“量子技术”。作为一个外行人，想要通过学习梳理清量子技
转载
2018-05-18 12:34:02
892阅读
一.简介Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。现在形成一个高速发展应用广泛的生态系统。Spark 是一个用来实现快速而通用的集群计算的平台。Spark 的一个主要特点就是能够在内存中进行计算，因而更快。不过即使是必须在磁盘上进行的复杂计算，Spark 依然比MapReduce 更加高效（官方称其速度比MapReduce要快100倍）Spark 所提供的接口非常丰富
转载
2023-08-08 20:15:04
114阅读
自 2007 年 NVIDIA 率先推出 GPU 加速器后，由于 GPU 的超强的计算能力，现已广泛应用于物理、生物科学、化学、天气预报等需要高性能计算的领域。实际运用中，为缩减计算时间，应用程序往往同时使用多卡进行并行计算，这里的多卡包括单个服务器多张 GPU 卡 (下简称单机多卡)，和多个服务器，且每个服务器分别有多张卡的场景 (下称多机多卡)。同时，由于用于计算的数据量较大，GPU 多卡之间
原创
2021-05-26 10:47:41
4585阅读
阿里/网易/美团/58用户画像中的ID体系建设(http://www.woshipm.com/pd/4238062.html)阿里ID的打通，必须有IDID之间的两两映射打通关系，通过ID映射关系表，才能将多种ID之间的关联打通，完全孤立的两种ID是无法打通的。网易结合各种账户、各种设备型号之间的关系对，以及设备使用规律等用户数据；采用规则规律、数据挖掘算法（连通图划分+社区发现）的方法，判别账户
原创
2021-10-26 16:55:17
2065阅读
点赞
一、需要阅读的文章https://blog.csdn.net/feifeiwendao/article/details/52527824####MediaCodec类相关的文章：########https://www.cnblogs.com/renhui/p/7478527.htmlhttps://blog.csdn.net/junzia/article/details/54018671（思路很清
原创
2018-07-06 14:31:54
1394阅读
点赞
什么是 MySQL Test？MySQL Test 是 MySQL 发行版本中集成 all-in-one 测试框架，用于做 mysql 服务的单元，回归和一致性测试，并提供了运行单元测试和创建新单元测试的工具。框架包括一组测试用例和用于运行它们的程序：perl 脚本（mysql-test-run.pl）和 c++ 二进制（mysqltest）。perl 脚本：负责控制流程，包括启停、识别执行哪些用
原创
2021-01-24 19:56:36
554阅读
知乎的整个网站架构图如下：知乎是国内很少的使用Python开发的一个网站，也很多值得我们学习的地方，从知乎让我们也可以了解到一些新的WEB技术。 一、Python框架知乎目前使用的是Tornado框架。Tornado 全称Tornado Web Server，是一个用Python 语言写成的Web 服务器兼Web 应用框架，由 FriendFeed 公司在自己的网站FriendFeed 中使用，被
原创
2021-05-09 15:04:26
1815阅读
欧洲龙虾计划技术初探
Edited by Benny YE
Last Modified：2011/9/13
概述
龙虾计划（Lobster Program）是由欧盟委员会下的IST资助的一个项目，旨在建立一套提前发现、追踪和消除复杂网络攻击，并分享这些攻击信息的系统。主要承担方是希腊研究与技术基金会。龙虾计划的全称是Large-scale Monitoring of Bro
推荐
原创
2011-08-29 15:51:22
4693阅读
点赞
作者：雷霞爱可生测试团队负责人，专注于 MySQL 相关的测试工作。本文来源：原创投稿*爱可生开源社区出品，原创内容未
原创
2022-12-20 14:47:49
88阅读
NAP是主动防御技术的一种，目前只支持Windows 2008、 VISTA和 XPSP3。采用NAP的机制管理员可以根据企业的安全策略及设置，定义客户端访问网络的条件，确定该客户端是具有完全的网络访问权限还是具有受限的网络访问权限，以及是否通过修正使不符合客户端变得符合。
NAP结构图
NAP管理服务器
推荐
原创
2008-03-20 21:28:40
6948阅读
5评论
MySQL分区技术是用来减轻海量数据带来的负担，解决数据库性能下降问题的一种方式，其他的方式还有建立索引，大表拆小表等等。
MySQL分区按照分区的参考方式来分有RANGE分区、LIST分区、HASH分区、KEY分区。本文对这几种分区方式进行了详细的介绍，并且给出了简单的示例，文章简洁明了，对于想要初步了解MySQL分区技术的同学来说是很不错的参考材料。
原创
2011-05-12 22:12:19
928阅读
背景在前一段时间，国外的研究人员发现了施耐德的代码注入漏洞（CVE-2020-7475），该漏洞可以使得施耐德PLC蠕虫化。如果成功利用该漏洞，可以让PLC充当一个小型PC机执行恶意的网络活动，充当内网跳板或者网络扫描器对工业系统进行隐蔽性更高的渗透活动。设计缺陷该漏洞是很明显的设计缺陷，接下来会从西门子PLC和施耐德PLC对于组态程序的设计来阐述漏洞发生的根本原因。西门子PLC西门子S7系列PL
推荐
原创
2021-03-16 22:48:37
1211阅读
作者：xuty本文来源：原创投稿*爱可生开源社区出品，原创内容未经.
原创
2022-12-20 15:21:25
236阅读
