八月已经过了一半，答辩完之后，sci小论文也刚写完，今天难得休息。今天就来填上个月的坑，power bi做文献爬虫。这里先解释一下原理，首先使用学术搜索引擎搜索关键词，然后翻页下载所有的标题，作者，出版年份，引用次数，最后将下载完的数据用powerquery清洗，powerpivot建模，powerview可视化。词云的制作使用的是powerbi的可视化插件完成的，非常简单。另外，为了从词云中剔除
1)urllib2+BeautifulSoup抓取Goolge搜索链接近期，参与的项目需要对Google搜索结果进行处理，之前学习了Python处理网页相关的工具。实际应用中，使用了urllib2和beautifulsoup来进行网页的抓取，但是在抓取google搜索结果的时候，发现如果是直接对google搜索结果页面的源代码进行处理，会得到很多“脏”链接。看下图为搜索“titanic james
转载
2024-01-12 00:44:09
27阅读
文献搜索对于广大学子来说真的是个麻烦事，如果你的学校购买的论文下载权限不够多，或者不在校园内，那就很头痛了。幸好，我们有Python制作的这个论文搜索工具，简化了我们学习的复杂性2020-05-28补充：已用最新的scihub提取网，目前项目可用，感谢@lisenjor的分享。2020-06-25补充：增加关键词搜索，批量下载论文功能。2021-01-07补充：增加异步下载方式，加快下载速度；加强
转载
2023-08-06 21:08:57
80阅读
文章目录一、写在前面二、准备工作三、开始爬取四、效果展示 一、写在前面马上要毕业了兄弟们，毕业论文是个麻烦事，论文要的资料得一条一条去网上查看，那多浪费时间，咱直接写个爬虫，批量下载慢慢看，不舒服？二、准备工作使用软件 Python和pycharm就可以了，版本的话都行，只要你别用python2。模块requests #模拟请求
Selenium # 浏览器自动化操作win+r打开搜索框，
转载
2023-07-07 22:11:18
133阅读
PubMed是国际上公认的最具权威的生物医学文献数据库，检索文献用Pubmed，一般人都知道。不过嗵嗵还是会经常收到读者关于Pubmed和文献检索各种各样的问题，今天咱们就一次性解决问题，把Pubmed的基本、高级和精准检索功能做个梳理，大家各取所需吧。**********基本检索功能**********在靠近页面上部的地方，首先映入我们眼帘的，即是供我们输入所需查询内容的检索框。在检索框中输入查
转载
2023-10-25 19:17:19
73阅读
之前这篇文章（路人乙小明：用entrez eutilities来查pubmed文献）提过如何利用entrez eutilities查找文献。当时在最后面获取论文摘要和题录的部分直接用了text的模式。最近觉得用xml模式能获得更加细致的数据。比如我如果只想获得题目，杂志，一作，doi这几个信息，如果直接用text获取摘要，然后再用regex就比较容易出错，但是xml就不会有这样的问题
转载
2023-08-08 12:03:11
125阅读
一、HTTP协议相关http是一个简单的请求-响应协议，它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。请求和响应消息的头以ASCII码形式给出；而消息内容则具有一个类似MIME的格式。这个简单模型是早期Web成功的有功之臣，因为它使得开发和部署是那么的直截了当。1.URL介绍URL之前首先说一下URI。URI（uniform resource identi
转载
2023-11-28 22:14:30
153阅读
文献搜索工具 Python: 一步步搭建你的搜索引擎
前言：
在当今信息爆炸的时代，获取学术文献变得越来越重要。一个好的文献搜索工具不仅能提高工作效率，还能帮助研究人员快速找到所需的资源。Python 的丰富库支持让我们能够轻松实现这个目标。在本文中，我将详细介绍如何构建一个文献搜索工具所需的各个环节，包括背景定位、参数解析、调试步骤、性能优化、排错指南和最佳实践。
## 背景定位
随着科学研
PubMed为科研路上必不可少的数据库，今天传授PubMed高手常用的7个技巧，让你快速找到自己想要的文献。1，获取全文技巧Pubmed提供的文献大多是摘要，并不提供文献全文服务。对于文献列表中显示的PMC Full text 图标的文章，可以直接到PMC 中去阅读网页版的全文，或者在网页版全文阅读页面找到PDF 下载链接进行下载。另外，LinkOut-more resources这里也可以链接到
转载
2023-09-15 11:01:55
193阅读
1.爬虫简介：网页爬取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。请求网站并提取数据的自动化程序。 2.爬取网页的基础知识-HTTP协议： （1）HTTP协议简介： 超文本传输协议是一种用于分布式、协作式和超媒体信息系统的应用层协议。HTTP是万维网的数据通信的基础。 HTTP的发展是由蒂姆·伯纳斯-李于1989年在欧洲核子研究组织（CERN）所发起。1999年6月公布的 R
转载
2023-09-05 17:32:05
184阅读
接着上次的python内容，我们继续进行python应用上手实际python做项目的时候我们都或多或少的要接触一些文档，而很坑的是，这些技术文档多半还是用英文写的，其实因为近年来卷积神经网络等机器学习技术的发展，计算机语言翻译功能已经非常发达，我们可以更多的尝试用软件来翻译文档，这里我们做一个简单的爬虫，把我们的文档自动送给“百度翻译”，然后让爬虫再自动把翻译结果下载下来~。知己知彼，百战不殆，我
转载
2023-12-19 17:24:15
244阅读
写在前面其实这个工具在年初的时候使用过，最近翻看自己以前的笔记时候又看到了。我觉得这款工具是很不错的文献检索工具，具体的操作以及参数也比较简单。搜索指定关键词就可以查到相关的文献名称、摘要(CN/EN)以及DOI号等信息。对于了解相关领域/关键词的文献还是很有帮助。安装 PyPubMed# 要求Python环境 Python3.6+
pip3 isntall pypubmed
#若安装速度太慢
转载
2023-11-12 22:52:23
129阅读
此处有几种选择可以达到目的：(1)官网上匹配筛选条件(注：匹配快速，但是下载下来的数量受到限制，每次只能下载10000条数据，甚至更少。)可以看到，我需要的数据是有三十多万条，但是每次只能下载10000条，那我岂不是要手动n次。。很明显，在大批量下载文献的情况下，官网不是很友好。由于我不喜欢用R写代码，所以我写一半还是换了Python，熟练R的小伙伴可以自行根据指南走通需求。(3)重量级库来了，P
转载
2023-07-29 10:39:03
68阅读
文章目录网络爬虫原理爬虫类型爬虫抓取策略网页更新策略参考文献 网络爬虫原理首先，我们来讲讲什么是爬虫。就目前的搜索引擎对象往往都是数以百计的网页，所以搜索引擎面临的主要问题就是如何将这些网页存储到本地。而用来获取这些网页的工具就叫爬虫。我们来看一下一个爬虫框架。首先先人工精选一部分网页作为初始网页放到待抓取URL队列之中，之后爬虫框架开始从这个待抓取URL队列中取出URL，根据这个URL下载网页内
转载
2023-11-12 13:39:09
236阅读
更多1.书籍信息书名：Web Scraping with Python译名：用Python写网络爬虫作者：Richard Lawson译者：李斌出版社：人民邮电出版社ISBN：978-7-115-43179-0页数：1572.纸张、印刷与排版16开本，纸张较厚，行、段间距较大，字体较大。3.勘误4.笔记与评价阅读级别：翻译。推荐级别：细读，适合初学者。本书面向Python爬虫的初学者，从最基础的抓
转载
2023-10-27 17:06:22
519阅读
事隔几天，终于已经接近尾声。今天给大家分享一下python的爬虫知识，若分享的不好，还望海涵。 前言：前期对于urllib、re、BeautifulSoup 这三个库的用法，已经在文章中说明，更多的则是理论基础，实践才是真知。因此，此次主要讲解如何利用我们刚才的几个库去实战。一、确定爬虫目标：任何网站皆可爬取，就看你要不要爬取而已。本次选取的爬取目标是当当网，爬取内容是 以 Pytho
转载
2023-09-04 22:27:39
328阅读
# 如何使用Python搜索文献
## 引言
在科学研究中，文献是获取和分享知识的重要途径。为了找到相关的文献，我们通常需要使用合适的搜索工具和方法。Python是一种功能强大的编程语言，它提供了许多库和工具，可以帮助我们进行文献搜索和处理。本文将介绍如何使用Python搜索文献，并给出一个实际问题的解决方案。
## 实际问题
假设我们正在研究人工智能领域的最新进展，并且我们对GAN（生成对抗
原创
2023-10-22 03:41:24
95阅读
python爬虫 -- 前言介绍1. 大数据时代，数据来源2. 什么是爬虫3. 怎么抓取网页数据？3.1 网页三大特征3.2 爬虫设计思路4. 为什么选择python爬虫？5. python爬虫5.1 何如抓取HTML页面5.2 解析服务器响应的内容5.3 爬虫框架5.3.1 Scrapy框架5.4 分布式策略5.4.1 scrapy-redis5.4 爬虫 反爬虫 反反爬虫之间的斗争 1. 大
转载
2023-10-01 13:01:20
201阅读
在互联网上的各类网站中，无论大小，基本上都会有一个搜索框，用来给用户对内容进行搜索，小到站点搜索，大到搜索引擎搜索。从简单的来说，搜索功能确实很简单，一个简单的 select 语句就可以实现数据的搜索。而从复杂的来看，无论是搜索的精度还是搜索的效率，都是有很深的研究范围的。对于简单的搜索功能来说，一个 select 查询语句也足够使用，但在稍微复杂一点的搜索
转载
2023-10-20 14:49:42
62阅读
目录前言一、准备工作二、爬取步骤1. 引入库2. 发送请求拿到页面 3.定位到章节URL ４.拼接URL拿到章节内容 5.存储各章节内容完整代码 前言 这次爬虫任务是从诗词名句上爬取《三国演义》整本小说的内容，每一章的内容都给它下载下来。我们使用的是 BeautifulSoup 这个模块。一、准备工作 首先我们要安装 lxml 和 bs4，并
转载
2023-10-16 23:09:58
191阅读
