第九届CUIT信息安全大赛正常进行,围观地址:http://hack.myclover.org/在论坛加了个类似的@功能,在回复帖子的时候可以@系统中的用户,被@的用户可以收到自己被@的通知可以做出相应的处理。关于model#-*- coding:utf-8 -*- from django.db import models from django.contrib.auth.models i
原创 2013-05-15 16:28:11
1404阅读
5点赞
5评论
编写简单的Python脚本实现新动态的实时监控运行环境搭建流程设计详细设计loginparser_weibo_info& refresh执行一下总结 运行环境搭建Python3.6 运行环境Chrome浏览器 和 对应的selenium驱动 主找到国内的驱动镜像源地址: https://npm.taobao.org/mirrors/chromedriver/这里一定要注意驱动和浏览
转载 2023-08-30 06:58:36
104阅读
最近开始追星,希望能给他尽一份力。本文是基于Win的自动评论的上,在Mac电脑上进行的自动化评论尝试,包含登陆和评论两大功能,该尝试是基于mac电脑,win电脑可Win的自动评论。 目录环境要求1 分析2 引入selenium模块及驱动2.1 selenium模块安装2.2 安装Chromedriver2.3 导入selenium和webdriver3 模拟登录3.1 半自
一、思路整理 写了上篇文章“如何用Python编程实时监控币种拉盘或砸盘行为”之后,发现公信宝的拉盘每次都提前在告知,如下图而且第三次回购竟然持续两天时间,那如果能及时收到通知就又多了一手消息。但又不可能随时盯着,就想怎么用python来实时监控新内容。谷歌下,大部分给出的方案是先用python模拟登陆移动版m.weibo.cn,然后从自己的关注列表或关注用户的UID
本文记录了用新浪官方Python SDK调用API进行开发的流程。准备工作申请成为开发者并创建一个应用:首先要有一个新浪的账号,然后去新浪开放平台(http://open.weibo.com/)创建一个应用,具体的步骤官网文档介绍的非常详细:在开发者页面点击“登录” -> “创建应用” -> 选择应用类型(如“网页应用”)-> 填写应用信息。P.S.,应用需要设置一个
转载 2023-07-03 16:56:48
179阅读
Python 发送1 #!/usr/bin/env python 2 # -*- coding: utf-8 -*- 3 4 from weibo import * 5 6 def press_sina_weibo(): 7 8 APP_KEY = 'XXXX' 9 APP_SECRET = 'XXXX' 10 11 CALLBACK_U
转载 2023-07-04 22:56:49
268阅读
本文通过一种简单的方式来抓取华为终端官方的内容信息。首先抓取登录的cookie,然后使用cookie来登录。 具体的代码如下所示:# -*- coding: utf-8 -*- """ Created on Sun Apr 16 14:16:32 2017 @author: zch """ import requests from bs4 import BeautifulSoup
转载 2023-06-21 09:46:55
145阅读
第一次写博客,mark一下。以前没写过技术分享博客也是因为没什么好分享的,现在觉得有些经验和思考过程还是值得记录下来的;一则便于以后查阅,二则如果能给别人带来些许帮助,则无比幸甚。这次是因为工作需要做一些市场声量的分析,需要爬取一些论坛内容,内容做数据分析,懒得找其他盈利性的网站购买,就自己研究了一下Python 爬虫,写出来一个小小的爬虫爬虫主要分两大部分:1,下载网页功能(就是把网页内容以
转载 2023-08-20 21:40:25
0阅读
爬取某人的数据,把某人所有时间段的数据都爬下来。具体思路:创建driver-----get网页----找到并提取信息-----保存csv----翻页----get网页(开始循环)----...----没有“下一页”就结束,用了while True,没用自我调用函数代码如下from selenium import webdriver from selenium.webdriver.commo
最近在研究用 Python 来制作各个类别的机器人,今天先来分享一个自动发布新浪的机器人。基本思路 其实要实现一个简单的自动发布机器人还是不难的,只需要每天按时找好要发布的素材(一般就是爬虫了),然后再通过开放出来的 API 接口,自动发布即可。素材对于素材,我这里选取的是金山词霸的每日一句英语,我们可以爬取该网站的相关信息来组成我们的素材。http://news.iciba.co
转载 2023-07-25 15:42:49
172阅读
 1、主函数(WeiboLogin.py)import urllib2 import cookielib import WeiboEncode import WeiboSearch if __name__ == '__main__': weibologin = WeiboLogin('xxxxxxx', 'xxxxxx')#用户名、密码 if weibologin.Lo
这次的项目 和文件都放到了 github 上 https://github.com/poiu1235/weibo-catch:有兴趣的可以follow一下,或者点个赞咯我这里采用的深度挖掘的方式:没有设定爬取的边界(这个以后是要考虑的)大致的思路是,用自己的 账号登陆后,获取自己的列表和朋友列表。然后根据朋友列表然后在爬取对方的列表和朋友列表。这样不断的深度挖掘和遍历的过程过程中
转载 2023-09-14 09:46:21
74阅读
fiddler 之前了解了一些常见到的反爬措施,JS加密算是比较困难,而的登录中正是用JS加密来反爬,今天来了解一下。分析过程首先我们去抓包,从登录到首页加载出来的过程。我们重点关注一下登录操作,其次是首页的请求,登录一般是POST请求。我们搜索一下: 得知登录的url为https://login.sina.com.cn/sso/login.php?client=sso
爬取新浪信息,并写入csv/txt文件,文件名为目标用户id加".csv"和".txt"的形式,同时还会下载该原始图片(可选)。运行环境开发语言:python2/python3系统: Windows/Linux/macOS以爬取迪丽热巴的为例,她的昵称为"Dear-迪丽热巴",id为1669879400(后面会讲如何获取用户id)。我们选择爬取她的原创。程序会自动生成一个wei
转载 2023-09-14 16:51:18
189阅读
新浪的数据可是非常有价值的,你可以拿来数据分析、拿来做网站、甚至是*****。不过很多人由于技术限制,想要使用的时候只能使用复制粘贴这样的笨方法。没关系,现在就教大家如何批量爬取的数据,大大加快数据迁移速度!我们使用到的是第三方作者开发的爬虫库weiboSpider(有工具当然要用工具啦)。这里默认大家已经装好了Python,如果没有的话可以看我们之前的文章:Python详细安装指南。1.
本篇文章主要针对Python爬虫爬取内容(也可类似实现图片)。通过给定初始爬取起点用户id,获取用户关注其他用户,不断爬取,直到达到要求。一、项目结构:1. main.py中对应程序过程逻辑2. url_manager.py对应管理URL3. html_parser.py 将网页下载器、网页解析器、文保存封装在了一起。(理论上应该分开,但是我这里图方便就合在一起了)二、程序介绍:1. 主函数
转载 2023-09-18 20:50:42
324阅读
要自动发最简单的办法无非是调用新浪的API(因为只是简单的发,就没必要用它的SDK了)。参考开发文档http://open.weibo.com/wiki/API 进行代码编写创建应用要使用的API,需先要有个应用。随便是个应用就行,可以到这里注册一个站内应用应用注册。注册应用的主要目的是要获得MY_APPKEY 和MY_ACCESS_TOKEN,如图所示获取access_token
前言不知道大家在工作无聊时,有没有一种冲动:总想掏出手机,看看热搜在讨论什么有趣的话题,但又不方便直接打开浏览,今天就和大家分享一个有趣的小爬虫,定时采集热搜榜&热评,下面让我们来看看具体的实现方法。页面分析热搜页热榜首页:https://s.weibo.com/top/summary?cate=realtimehot  热榜首页的榜单中共五十条数据,在这个页面,我们
基于python编写的应用Python编程语言Python 是一种面向对象、解释型计算机程序设计语言,由Guido van Rossum于1989年底发明,第一个公开发行版发行于1991年。Python语法简洁而清晰,具有丰富和强大的类库。它常被昵称为胶水语言,它能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起。本文是一个基于python编写的应用,是针对开放平台S
随着互联网的发展,人们在新浪、Twitter、Facebook、等社交媒体的网络社交活动也越来越活跃。就新浪而言,2023年春晚期间活跃用户3亿左右。由于我国网民群体庞大、网络社交活动不受地域限制、话题自由开放等特点,使得签到数据能够很好地反映社会热点问题、社会现象及社会舆论。 通过签到数据可以表征城市的网络活力。结合网络活力、人口密度、城市人均GDP等数据,进行聚类分析可以得出不
  • 1
  • 2
  • 3
  • 4
  • 5