大快DKhadoop的博客_Hadoop,大快动态,大快分享

中国软件大会上大快搜索入选中国数字化转型TOP100服务商

大快搜索自荣获“2018中国大数据企业50强”殊荣，12月20日在由工信部指导，中国电子信息产业化发展研究院主办的2018中国软件大会上，大快搜索获评“2018中国大数据基础软件领域领军企业”称号，入选中国数字化转型TOP100服务商，《城市数据运河》获评优秀政务大数据解决方案。图：中国电子信息产业发展研究院院长致开幕词图：中国数字化转型TOP100服务商（1-50）在本次2018中国

大数据

企业

原创 2018-12-24 17:00:07 531 阅读

大快搜索获评“2018中国大数据基础软件领域领军企业”

大快搜索自荣获“2018中国大数据企业50强”殊荣，12月20日在由工信部指导，中国电子信息产业化发展研究院主办的2018中国软件大会上，大快搜索获评“2018中国大数据基础软件领域领军企业”称号，入选中国数字化转型TOP100服务商，《城市数据运河》获评优秀政务大数据解决方案。

大数据

企业

原创 2018-12-24 15:50:42 694 阅读

恭喜大快搜索李海鹏入选数字化转型促进会专家委员

12月20日，在工信部指导，中国电子信息产业发展研究院主办的2018中国软件大会上，宣布并成立了数字化转型促进会，大快搜索不仅成为数字转型促进会首批会员企业，来自大快搜索的李海鹏同志成功入选成为数字化转型促进会专家委员。

数字化

转型

促进会

原创 2018-12-24 15:13:32 752 阅读

问道崂山 2018·中国（青岛）大数据应用与解决方案高峰论坛圆满落幕

12月6日-7日，“2018问道崂山·中国（青岛）大数据应用与解决方案高峰论坛-暨首届大快搜索合作伙伴生态系统大会&开发者技术沙龙”在青岛海天大剧院酒店成功举办。本次高峰论坛由青岛市大数据与云计算行业协会、山东省计算机学会大数据与智能计算专委会联合主办，大快搜索、青岛新闻网承办，论坛以“创新大数据汇聚新动能”为主题，依托本次活动主要承办方大快搜索全国合作伙伴资源，邀请了百余家知名大数据企

大数据应用与解决方案

hadoop

原创 2018-12-14 14:46:37 646 阅读

互联网数据化运营基础应用之信息质量模型

信息质量模型在互联网行业和互联网数据化运营中也是有着广泛基础性应用的。具体来说，电商行业和电商平台连接买卖双方最直接、最关键的纽带就是海量的商品目录、商品Offer、商品展示等，无论是B2C（如当当网、凡客网），还是C2C（如淘宝网），或者是B2B（如阿里巴巴），只要是以商业为目的，以交易为目的的，都需要采用有效手段去提升海量商业信息（商品目录、商品Offer、商品展示等）的质量和结构，从而促进交易。

信息

质量

模型

原创 2018-11-26 13:21:41 390 阅读

Python图像处理：图像腐蚀与图像膨胀

Python图像处理：图像腐蚀与图像膨胀图像的膨胀（Dilation）和腐蚀（Erosion）是两种基本的形态学运算，主要用来寻找图像中的极大区域和极小区域。其中膨胀类似于“领域扩张”，将图像中的高亮区域或白色部分进行扩张，其运行结果图比原图的高亮区域更大；腐蚀类似于“领域被蚕食”，将图像中的高亮区域或白色部分进行缩减细化，其运行结果图比原图的高亮区域更小。

Python图像处理

图像膨胀

转载 2018-11-23 15:27:18 3336 阅读

大规模特征构建实践总结

网上有非常多介绍大规模机器学习的资料，大部分的内容都集中在为何要做大规模机器学习模型以及Parameter Server相关的资料，但我们在实际实践中，发现大规模的特征预处理也有很多问题需要解决。有一次和明风（以前在阿里，后来去了腾讯做了开源的PS：angel）交流过这部分的工作为何没有人开源，结论大致是这部分的工作和业务相关性大，且讲明白了技术亮点不多，属于苦力活，所以没有开源的动力。

机器学习

spark

原创 2018-11-16 15:14:15 511 阅读

非局部神经网络，打造未来神经网络基本组件

将非局部计算作为获取长时记忆的通用模块，提高神经网络性能在深度神经网络中，获取长时记忆（long-range dependency）至关重要。对于序列数据（例如语音、语言），递归运算（recurrent operation）是长时记忆建模的主要解决方案。对于图像数据，长时记忆建模则依靠大型感受野，后者是多层卷积运算堆叠的结果。卷积和递归运算处理的都是一个局部邻域，可以是空间局部邻域，也

神经网络

转载 2018-11-12 14:02:51 421 阅读

系统架构都经历了怎样的演变？

当今技术的发展日新月异，系统架构也跟随技术的发展不断升级和改进，从传统的单一架构演变为如今的微服务分布式架构，我们来看看技术架构的演变过程。

系统架构

分布式数据库

非关系型数据库

原创 2018-11-07 15:31:35 402 阅读

云计算的云数据安全与加密技术

云计算、大数据等信息技术正在深刻改变着人们的思维、生产、生活和学习方式，并延深进入人们的日常生活。

云计算

数据安全

数据加密

原创 2018-11-06 14:23:28 1599 阅读

从服务端视角看高并发难题

所谓服务器大流量高并发指的是：在同时或极短时间内，有大量的请求到达服务端，每个请求都需要服务端耗费资源进行处理，并做出相应的反馈。

服务器

web开发

原创 2018-11-02 14:19:54 353 阅读

动态分配多任务资源的移动端深度学习框架

与云相比，移动系统受计算资源限制。然而众所周知，深度学习模型需要大量资源。为使设备端深度学习成为可能，应用程序开发者常用的技术之一是压缩深度学习模型以降低其资源需求，但准确率会有所损失。尽管该技术非常受欢迎，而且已被用于开发最先进的移动深度学习系统，但它有一个重大缺陷：由于应用程序开发者独立开发自己的应用，压缩模型的资源-准确率权衡在应用开发阶段的静态资源预算的基础上就被预先确定了，在应用部署后仍然保持不变。

动态分配

多任务

资源框架

移动端

原创 2018-10-31 15:18:48 714 阅读

详谈分布式系统缓存的设计细节

在分布式Web程序设计中，解决高并发以及内部解耦的关键技术离不开缓存和队列，而缓存角色类似计算机硬件中CPU的各级缓存。如今的业务规模稍大的互联网项目，即使在最初beta版的开发上，都会进行预留设计。但是在诸多应用场景里，也带来了某些高成本的技术问题，需要细致权衡。

分布式系统

web开发

原创 2018-10-29 15:23:02 376 阅读

处理数据缺失的结构化解决办法

数据缺失是数据科学家在处理数据时经常遇到的问题，本文作者基于不同的情境提供了相应的数据插补解决办法。没有完美的数据插补法，但总有一款更适合当下情况。我在数据清理与探索性分析中遇到的最常见问题之一就是处理缺失数据。首先我们需要明白的是，没有任何方法能够完美解决这个问题。不同问题有不同的数据插补方法——时间序列分析，机器学习，回归模型等等，很难提供通用解决方案。在这篇文章中，我将试着总结最常用的方法，

数据处理

结构化

解决办法

原创 2018-10-26 14:53:38 1190 阅读

如何用Python做自动化特征工程

机器学习的模型训练越来越自动化，但特征工程还是一个漫长的手动过程，依赖于专业的领域知识，直觉和数据处理。而特征选取恰恰是机器学习重要的先期步骤，虽然不如模型训练那样能产生直接可用的结果。本文作者将使用Python的featuretools库进行自动化特征工程的示例。机器学习越来越多地从手动设计模型转变为使用H20，TPOT和auto-sklearn等工具来自动优化的渠道。这些库以及随机搜索等方法旨

Python

特征工程

原创 2018-10-17 16:25:44 954 阅读

深度剖析HBase负载均衡和性能指标

深度剖析HBase负载均衡和性能指标在分布式系统中，负载均衡是一个非常重要的功能，HBase通过Region的数量实现负载均衡，即通过hbase.master.loadbalancer.class实现自定义负载均衡算法。下面将为大家剖析HBase负载均衡的相关内容以及性能指标。内容HBase系统负载均衡是一个周期性的操作，通过负载均衡来均匀分配Region到各个RegionServer上，通过hb

HBase负载均衡

HBase

转载 2018-10-13 10:24:08 538 阅读

保护个人隐私信息该走的两条路

置身互联互通的网络时代，个人信息的采集与记录十分普遍，相关信息在特定平台的共享也无可避免。一定程度上，这为拓展网络应用、便利日常生活提供了必要条件和基础。然而，面对源源不断的“授权”要求，人们也不无担忧：往往一点击“同意”，个人信息就必须共享，这样的程序或应用会不会埋下隐患？从某种意义上说，个人信息保护方面存在的短板，影响着用户对网络世界的信任感、安全感。

信息安全

云计算

原创 2018-10-12 13:44:53 409 阅读

机器学习的趋势和人工智能的未来

每家公司现在是一个数据公司，在一定范围能够使用机器学习在云中部署智能应用程序，这归功于三个机器学习的趋势：数据飞轮，算法经济，和智能云托管。

机器学习

人工智能

原创 2018-10-10 13:19:42 493 阅读

区块链在零售业和银行业的广泛应用

区块链的兴起，标志着人类开始构建真正可以信任的互联网，通过梳理区块链的兴起和发展可以发现，区块链引人关注之处在于能够在网络中建立点对点之间可靠的信任，使得价值传递过程去除了中介的干扰，而且还公开数据并又未能透露隐私，既起到共同决策又保护个体利益的效果。

区块链

人工智能

大数据

原创 2018-10-08 09:31:04 462 阅读

P2P借款人信用风险实时监控模型设计

P2P网络贷款(“peer-to-peer”)为中小企业和个人提供了便利的融资渠道。近年来，随着互联网金融的逐步发展，P2P网贷已成为时下炙手可热的互联网金融新模式。凭借着“高收益”的理财优势，各类P2P网贷平台呈现逐年增长的态势。目前，我国正常运行P2P平台数量已达近3000家，累计成交量约8000亿元。

p2p

大数据

互联网

原创 2018-09-29 10:02:03 479 阅读

大数据在金融领域的应用案例解析

融资租赁作为发展实体经济的助推器，在经济新常态下机遇和挑战并存。融资租赁企业需要紧紧把握“服务实体经济本源”这一政策红利，充分发挥融资与融物属性，积极推动业务创新，突破同质化竞争格局，也要加强“金融科技”的技术研究，加大技术的投入和运用

大数据在金融领域的应用

大数据金融应用案例

大数据在金融中的应用

原创 2018-09-26 10:17:52 3704 阅读

云存储产品浅析

云上存储产品主要有对象存储，块存储，网络文件系统（NAS），还有最赚钱的CDN，我们将针对这些主流产品，讲讲他们产品特点，有云上存储时候知道如何选型，当然我们是技术型作者也会简单讲讲实现思路，出于信息安全，不可能完全阐述工业界方案。工业界各大厂商很多上层存储产品都重度依赖底层文件系统，我们也捎带说说存储祖师爷DFS。Linux IO STACK 云计算本质就是单机计算能力的无限扩展，我们

云存储产品

云计算存储

云存储介绍

转载 2018-09-20 10:27:32 688 阅读

LINUX操作系统知识:进程与线程详解

当一个程序开始执行后，在开始执行到执行完毕退出这段时间内，它在内存中的部分就叫称作一个进程。Linux 是一个多任务的操作系统，也就是说，在同一时间内，可以有多个进程同时执行。我们大家常用的单CPU计算机实际上在一个时间片段内只能执行一条指令。那么Linux是如何实现多进程的同时执行的呢？原来Linux使用了一种称为” 进程调度 “的手段，首先，为每个进程指派一定的运行时间，这个时间通

linux

操作

系统

知识

原创 2018-09-18 09:26:30 6705 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

大快搜索