以下笔记整理于猿人学网站
Google搜索引擎建立至今已经快20年了，之后全球各类大大小小类似的搜索引擎也陆续出现、消亡。国内目前以百度为大，搜狗、360、必应等也势在必争。搜索引擎技术也发展的相当成熟，同时也就出现了很多开源的搜索引擎系统。比如，Solr、Lucene、Elasticsearch、Sphinx等。
写学习笔记是我学习pytho
转载
2023-07-18 11:31:49
155阅读
github 搜索技巧参考自 B站 up 主 CodeSheep 的视频【如何高效地在网上找开源项目做！在职程序员实际演示一波视频教程操作】，然后写着写着一好奇就去看文档了现在这篇博客相当于官方文档的翻译版?当然，你也可以去看【官方文档】体验原汁原味的教程干啥的？相当于给搜索结果添加过滤条件，看下下面的案例你就知道啦，过滤 github 的搜索结果，更精确搜索项目案例普通搜关键词：python搭配
1. GitHub 搜索技巧在项目名称搜索 in:name xxx 在项目描述搜索 in:description xxx 在项目 README 搜索 in:readme xxx 利用 star 搜索 stars:>3000 xxx 利用 fork 搜索 forks:>300 xxx 也可以直接使用 GitHub 高级
转载
2024-03-13 14:11:19
62阅读
9月初安全团队披露bt天堂网站挂马事件，该网站被利用IE神洞CVE-2014-6332挂马，如果用户没有打补丁或开启安全软件防护，电脑会自动下载执行大灰狼远控木马程序。鉴于bt天堂电影下载网站访问量巨大，此次挂马事件受害者甚众，安全团队专门针对该木马进行严密监控，并对其幕后真凶进行了深入调查。一、“大灰狼”的伪装以下是10月30日一天内大灰狼远控的木马样本截图，可以看到该木马变种数量不少、伪装形态
转载
2024-03-10 18:07:11
1301阅读
前言想快速获取各个高校的博士招生网站，于是通过python先获取出有可能包含高校博士招生网站的URL，然后通过人为筛选得到了想要的招生网站（注意，并非直接爬取，是间接获取的）。整理了一份网站名单，以方便查阅各大高校博士招生信息。Python获取1. 根据搜索引擎关键字获取内容常见搜索引擎搜索格式[1]：百度搜索引擎： http://www.baidu.com.cn/s?wd=’ 关键词’&
转载
2024-01-26 23:17:46
236阅读
1、安装pymongo并引入pip install pymongo连接MongoDB时，需要使用PyMongo库里面的MongoClient。2、连接mongoDB一般来说，传入MongoDB的IP及端口即可，其中第一个参数为地址host，第二个参数为端口port（如果不给它传递参数，默认是27017），我这里把地址放到配置文件setting中了3、指定要操作的库MongoDB中可以建
转载
2023-06-13 20:39:02
216阅读
1. 搜索引擎的分类搜索引擎按其工作方式主要可分为三种：
分别是全文搜索引擎（Full Text Search Engine）
目录索引类搜索引擎（Search Index/Directory）
元搜索引擎（Meta Search Engine）。 ■ 全文搜索引擎
全文搜索引擎是名副其实的搜索引擎，国外具代表性的有Google、Fast/AllTheWeb、AltaVista、In
转载
2023-09-22 18:40:07
15阅读
PythonSearch：一个强大的Python搜索引擎你是否曾经在寻找Python编程资源时，发现搜索结果中杂七杂八的内容让你无从下手？或者你是否觉得现有的搜索引擎无法满足你对Python技术内容的精确搜索需求？那么PythonSearch就是你的最佳选择。PythonSearch是一个基于Python编写的搜索引擎，旨在为Python开发者提供精准且高效的搜索功能。特点基于Python编写，完
转载
2023-07-28 11:26:29
330阅读
简 介： 利用 urllib.request 可以调用一些搜索引擎 BING 的搜索引擎结果。但是通过测试发现尚无法对中文进行传递函数进行搜索。具体解决方法现在尚未得知。关键词： bing，python，搜索引擎
§01 百度搜索为了对博客中所引用的专业名词给出确切定义，在中文环境下，调用 百度百科 可以对博文专业名词限定准确的含义。那么问题是，如何在不手工打开百度百科的情况下
转载
2023-11-15 19:01:47
206阅读
完整代码如下：#!/usr/bin/env python
#-*- coding: utf-8 -*-
import sys
import os
import datetime
from PyQt5.QtWidgets import *
from PyQt5.QtCore import *
from PyQt5.QtWebEngineWidgets import QWebEngineView,Q
转载
2023-06-16 14:46:03
292阅读
一、从用户的角度考虑 1、搜狗搜索的界面十分简洁方便，没有杂乱的东西，提醒用户搜索的标识十分的醒目，使用户的视觉效果比较舒适。 2、搜狗搜索分析和理解用户可能的查询意图，对不同的搜索结果进行分类，对相同的搜索结果进行聚类，引导用户更快速准确定位自己所关注的内容。包括网页搜索、音乐搜索、图片搜索、新闻搜索、等服务中，帮助用户快速找到所需的搜索结果。3、搜狗搜索的高级搜索界面还根据用户
转载
2024-04-15 14:51:27
818阅读
一.基本介绍Scrapy是用纯Python实现的一个开源爬虫框架，是为了高效地爬取网站数据，提取结构性数据而编写的应用框架，用途非常广泛，可用于爬虫开发，数据挖掘，数据监测，自动化测试等领域。二.Scrapy框架的架构Scrapy框架包含以下组件 1.Scrapy Engine(引擎)：负责Spider,Item Pipeline,DownLoader,Scheduler之间的通信，包括信号和数据
转载
2024-08-11 08:20:32
55阅读
什么是搜索引擎？搜索引擎是“对网络信息资源进行搜集整理并提供信息查询服务的系统，包括信息搜集、信息整理和用户查询三部分”。如图1是搜索引擎的一般结构，信息搜集模块从网络采集信息到网络信息库之中（一般使用爬虫）；然后信息整理模块对采集的信息进行分词、去停用词、赋权重等操作后建立索引表（一般是倒排索引）构成索引库；最后用户查询模块就可以识别用户的检索需求并提供检索服务啦。 图1
转载
2023-07-02 23:02:37
250阅读
1.安装全文检索包# 全文检索框架
pip install django-haystack
# 全文检索引擎
pip install whoosh
# 中文分词框架
pip install jiebaheystack一些配置都是固定写好的,需要注意下2.配置全文检索1.安装haystack应用INSTALLED_APPS = (
...
'haystack',
)2.在settings.p
转载
2023-06-27 11:24:09
281阅读
搜索引擎可以用Nutch等工具来配置，也可以自己写代码实现，作为一个小练习。 要做的搜索引擎搜索范围限定在某个新闻网站内部，和百度site:(指定网址)的功能类似。把爬虫和解析的代码改改，也可以用于其他的搜索场合。 使用的编程语言为python。 这篇文章把搜索引擎需要的步骤都讲的很清楚了： http://073palmer.blogspot.com/2012/06/python.html
转载
2023-07-01 11:11:17
198阅读
1.什么是搜索引擎？搜索引擎是“对网络信息资源进行搜集整理并提供信息查询服务的系统，包括信息搜集、信息整理和用户查询三部分”。如图1是搜索引擎的一般结构，信息搜集模块从网络采集信息到网络信息库之中（一般使用爬虫）；然后信息整理模块对采集的信息进行分词、去停用词、赋权重等操作后建立索引表（一般是倒排索引）构成索引库；最后用户查询模块就可以识别用户的检索需求并提供检索服务啦。图1 搜索引擎的一般结构2
转载
2023-06-10 20:52:31
236阅读
搜索引擎（Search Engine）是指根据一定的策略、运用计算机技术从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务。在日常生活中，可以看到 Google 等 Web 检索网站，还有邮件检索和专利检索等各种应用程序。在自己写一个搜索引擎之前，需要先了解基本的原理和概念。比如分词，倒排索引，BM25 算法等。可以跟一下 Coursea 的公开课「Text Retrieval
转载
2024-07-30 15:09:56
273阅读
在互联网时代，网站数据是一种宝贵的资源，可以用来分析用户行为、市场趋势、竞争对手策略等。但是，如何从海量的网页中提取出有价值的信息呢？答案是使用网络爬虫。网络爬虫是一种自动化的程序，可以按照一定的规则，从网站上抓取所需的数据，并存储在本地或云端。Python是一种非常适合编写网络爬虫的编程语言，因为它有着丰富的库和框架，可以方便地处理网页请求、解析、存储等任务。但是，仅仅爬取网站数据还不够，我们还
GitHub的流行， GitHub在开源世界的受欢迎程度自不必多言。再加上今天，GitHub官方又搞了个大新闻：私有仓库也改为免费使用，这在原来可是需要真金白银的买的。可见微软收购后，依然没有改变 GitHub 的定位，甚至还更进一步。花开两朵，各表一枝。我们今天想要聊的并不是 GitHub 多么重要，而是要说一下 GitHub 的搜索功能。你在 GitHub上搜索代码时，是怎么样操作的呢？是不
转载
2024-03-29 09:04:48
54阅读
1.背景当用户在搜索框输入关键字后，我们要为用户提供相关的搜索结果。可以选择使用模糊查询 like 关键字实现，但是 like 关键字的效率极低。查询需要在多个字段中进行，使用 like 关键字也不方便,另外分词的效果也不理想。全文检索方案全文检索即在指定的任意字段中进行检索查询。全文检索方案需要配合搜索引擎来实现。搜索引擎原理搜索引擎 进行全文检索时，会对数据库中的数据进行一遍预处理，单独建立起
