百度技术的博客_搜索技术

基于hash计算的多层实验流量切分的实现

1. 背景介绍站点新功能或者是站内新策略开发完毕之后，在全流量上线之前要评估新功能或者新策略的优劣，常用的评估方法是A-B测试，做法是在全量中抽样出两份小流量，分别走新策略分支和旧策略分支，通过对比这两份流量下的各指标的差异，我们可以评估

hash

抽样实验

流量切分

原创 2012-10-22 14:57:09 4701 阅读 1收藏

一种基于flex的可视化多层流量切分界面的实现

1. 背景介绍策略开发人员在完成策略之后，在全流量上线之前要评估新的策略的优劣，常用的评估方法是A-B测试，做法是在全流量中抽样出两份小流量，分别走新策略分支和旧策略分支，通过对比这两份流量下的各指标的差异，我们可以评估出新策略的优劣，进

FLEX

可视化界面设计

抽样实验

流量切分

原创 2012-10-22 14:48:38 1474 阅读

让搜索跨越语言的鸿沟——谈跨语言信息检索技术

跨语言信息检索，是信息检索领域中的一个研究课题。近10几年来，由于互联网的飞速发展，这方面的研究受到了学术界的广泛重视。将这项技术应用于搜索，可以帮助我们查找到更多的有用信息，例如外语相关页面、多语言页面以及语言无关的资源（如图片）等等。这些信息可以大大丰富搜索的结果，满足用户多样的需求。在跨语言信息检索的研究中，有一些研究成果已经趋于成熟，达到可以应用的状态。事实上，Yahoo和Google在5，6年前就已经开始提供多语言的搜索服务。毫无疑问，在这方面他们已经走在了世界的前列。目前，百度的各项国际化业务正在如火如荼的开展，对跨语言技术来说，正是用武之地。相信不久的将来，它将会在搜索国际化进程中扮演举足轻重的角色。来，就让我们一探究竟吧。

国际化

跨语言信息检索

机器翻译

原创 2012-06-12 07:06:40 4028 阅读

一款用于改进图片搜索效果的标注游戏

【摘要】：图片搜索由于在搜索目标上的特殊性，往往依赖于图片所在网页的文本来判断图片的内容（我们成为图片周边文本）。而周边文本往往不能很好的表达图片的内容，并且一张图片往往在多个网页中被引用，图片周边文本也不太一致，甚至于很多图片并没有周边文本，因此给图片搜索算法提出了更高挑战。通过“众包”的方式（百度众测平台）为图片进行信息标注，从而提高搜索引擎的准确性和召回率往往是一个比较有效的方法，并且标注的数据可以作为图片机器学习的样本数据，对于提高图片机器学习的准确率也有很大的效果；但是在图片标注的过程中也有很多问题需要解决

图片搜索效果

图片搜索

原创 2012-06-01 02:06:44 1858 阅读

浅谈网页搜索排序中的投票模型

前些天读了一本《选举的困境》，其中有一章，从美国的选举制度说起，介绍美国选举制度的不足，然后针对其不足，提出种种改善，然而每种改善都有其各自的问题，其中的变化很有趣。先说美国选举制度，美国的总统选举是一种“赢者通吃”的方式，每个州根据其人口多少，有几十或几百的“州票”，州里的人对总统候选人进行选举，在某个州获得票最多的那个候选人，获得这个州所有的“州票”，然后统计所有候选人的“州票”多少，获得最多“州票”的候选人获胜。

网页

美国

日志分析方法概述

日志在计算机系统中是一个非常广泛的概念，任何程序都有可能输出日志：操作系统内核、各种应用服务器等等。日志的内容、规模和用途也各不相同，很难一概而论。

日志

方法

分析

概述

休闲

原创推荐 2011-12-16 20:25:27 10000+阅读 10点赞 1收藏 2评论

搜索引擎中的粒度问题

传统的搜索引擎的定义，是指一种对于指定的查询（Query），能够返回与之相关的文档集合（Documents）的系统。而百度将这个定义更加丰富化，即搜索引擎能够帮助人们更方便的找到所求。

职场

休闲

搜索引擎

文本

粒度

原创 2011-12-01 03:12:49 4147 阅读 1收藏

基于主特征空间相似度计算的切分算法及切分框架

摘要: 本文从切分的需求、作用、难点等方面谈起，介绍分析了目前主流的各种切分方法以及其优缺点，并介绍了一个新型的无监督切分方法，并在此基础上对切分在工程需求上进行了相应的分析和讨论，在最后在此算法基础上给出一个融合各种优点的切分框架。

职场

休闲

Query Segmentation

中文分词

无监督

原创 2011-11-29 11:11:20 2260 阅读

搜索背后的奥秘——浅谈语义主题计算

模型

分析

休闲

主题

语义

原创 2011-11-23 06:11:35 1307 阅读

如何根据http请求信息区分访问用户的国家、语言信息

是不是见到google，facebook等大型专业网站的拥有不同的语言站群，可以不同语言间切换很给力？而我们只能羡慕嫉妒恨呢？今天要介绍的就是如何识别不同国家，只需要简单几步，就能识别出来自不同国家的请求，使你的web应用更有国际范。国家识别主要用到的是http header中的host，Accept-Language，cookie以及请求的url，ip等。下面先温习下http header的基础知识。

职场

休闲

地域识别

语言识别

http请求信息

原创 2011-11-16 11:11:38 4927 阅读 1点赞

地图检索 – 与众不同

前言：半年前，和师弟在一起吃饭时，他忽然抬头，很好奇地问我：“为什么有了百度的大检索，百度地图还要自己做检索呢？”这个问题也一直伴随着我，后来有幸转入检索方向，不断摸索，也才有了这篇文章。

空间

地图

休闲

领域

位置信息

原创推荐 2011-11-16 10:11:31 3337 阅读 2评论

最“纯粹”的搜索客户端：百度搜索

百度目前已经占到中国桌面搜索市场近80%的份额，移动市场的布局也在向多个方面延伸，已经发布的APP包括“掌上百度”，“百度身边”，“百度地图”等，在李彦宏的移动互联网构想中，百度将整合旗下产品并推出百度·易移动互联网平台。今天介绍的是一款上线不久的“纯粹”搜索客户端——“百度搜索”。（iPhone版下载）

职场

搜索

客户端

休闲

百度搜索 .

原创 2011-11-10 13:14:00 1271 阅读

下一代大规模增量索引平台 – Percolator

本文作者：百度刘景龙原文刊登于《程序员》杂志2011年第二期。觉得写的非常好！所以转过来跟大家分享分享！下一代大规模增量索引平台 – Percolator

增量

下一代

大规模

索引平台

Percolator

原创 2011-02-28 16:43:00 1366 阅读

以求医为例谈搜索引擎排序算法的基础原理

我们向搜索引擎提交一个查询，搜索引擎会从先到后列出大量的结果，这些结果排序的标准是什么呢？这个看似简单的问题，却是信息检索专家们研究的核心难题之一。

搜索引擎

排序算法

休闲

求医

基础原理

原创 2011-01-27 08:01:02 896 阅读

智能算法在站点质量评级体系中的应用

互联网的迅速发展，海量Web数据的扑面而来，给搜索引擎技术带来了严峻的挑战，但同时也带来了新的机遇。从网页抓取的角度来看，同一站点往往包含质量相似的资源，对一个优质网站进行爬取，往往可以找到更多的优质资源。因此，我们希望对网站的质量进行评级，来反映资源的质量水平，从而影响spider的调度和收录。在以往的实践中，大体思路是根据人工调研出的经验构造出规则和阈值。发现问题后逐个打补丁、调阈值，来适应变化。这种方式最大的问题在于扩展性不强、维护代价高，而且不利于国际化多语言的支持。因此，我们希望采用更智能的方法，在站点数据中自动发现规律，来完成质量的评级。　　我们的站点质量智能评级框架如图1所示。

应用

休闲

智能算法

站点质量

评级体系

原创 2011-01-27 05:01:27 856 阅读

WPF中如何使用C#创建DataTemplate数据模版

看到博客园有篇文章谈到“使用C#编程的方式创建DataTemplate数据模板”（原文地址），博主的做法是创建一个FrameworkElementFactory对象，设置好后将其设置为DataTemplate对象的VisualTree属性。我认为此方法有待商榷，盖因查阅MSDN，发现FrameworkElementFactory类的介绍页面上有一段备注：

使用

创建

休闲

如何

WPF

原创 2011-01-25 08:01:29 10000+阅读 1点赞

调研分享：图片文件在各文件系统上的访问性能对比

1 概述　　在某产品线的图片服务器，存放了亿级别的图片文件，每个文件的大小在0.5k-100k之间，其中1K以下的文件数量在50%左右，1-4K文件数量在40%左右，4K以上10%，大量的文件存储对文件系统的性能要求非常高，特对目前业界常用系统性能在图片服务的表现进行调研。　　因线上flash卡故障率非常高，所以在寻找替代方案，磁盘是否可以满足线上系统需求？是否满足今后可扩展性（容量、文件数量）？是否可以更好的处理数据同步使用时间？

文件系统

休闲

性能对比

图片文件

调研分享

原创 2011-01-25 08:01:08 933 阅读

浅析视频搜索中的清晰度识别过程

一、综述　　随着互联网视频越来越多，人们迫切希望能够快速地从众多的视频中精准定位到一些高质量的视频。视频清晰度是评价视频质量的一个重要指标，特别是对于影视剧和动漫类视频来说，高清晰的视频能大大提升用户的体验。所以如何判断视频清晰度，识别出高清晰的视频对于用户和搜索引擎来说是非常有价值的。　　和大多数评价机制一样，视频清晰度分为相对清晰度和绝对清晰度。相对清晰度可以理解为视频之间的清晰度排序，而绝对清晰度可以理解为首先将清晰度划分为不同的级别，然后判断视频属于哪个级别。目前，我们视频搜索的清晰度识别就属于“绝对清晰度”，应用是将视频划分为“高清”和“非高清” 两个级别展现给用户。

视频

搜索

休闲

清晰度

识别过程

原创 2011-01-25 08:01:05 2194 阅读

调研分享：Flipboard的使用特点和页面信息抽取机制

Flipboard是什么？

使用

特点

调研

Flipboard

原创 2011-01-25 05:01:49 1489 阅读

语音搜索的基础-语音识别

一直在想，假如有一天我们生活中的机器人像在很多科幻电影里面看到的那样，能够理解人类的语言，并能完成与人类的自然对话，是多爽的事情。语音的研究一直在试图解决这个问题。例如，语音到文字，即通常所说的语音识别，就试图将语音转换为文字，然后交给计算机进行后续的理解；而文字到语音，即语音合成，则试图将文字转换为声音，让人类可以听到。也许通过全世界语音界的科研和工程人员的努力，在不久的将来，我们真的可以和机器进行自由的对话（其实我一直很期待这一天的到来）。

搜索

基础

休闲

语音

语音识别

原创 2011-01-25 05:01:35 1745 阅读

“分布式哈希”和“一致性哈希”的概念与算法实现

分布式哈希和一致性哈希是分布式存储和p2p网络中说的比较多的两个概念了。介绍的论文很多，这里做一个入门性质的介绍。

休闲

概念

算法实现

“分布式哈希”

“一致性哈希”

原创 2011-01-24 04:01:50 2876 阅读

Boosting算法简介

一、Boosting算法的发展历史　　Boosting算法是一种把若干个分类器整合为一个分类器的方法，在boosting算法产生之前，还出现过两种比较重要的将多个分类器整合为一个分类器的方法，即boostrapping方法和bagging方法。我们先简要介绍一下bootstrapping方法和bagging方法。

职场

算法

简介

休闲

Boosting

原创 2011-01-18 09:01:20 10000+阅读 2点赞 3评论

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客

百度技术博客