--查询某schema下所有函数的属主
SELECT n.nspname AS "Schema",p.proname AS "Name",pg_catalog.pg_get_userbyid(p.proowner) AS "Owner"
FROM pg_catalog.pg_proc p
LEFT JOIN pg_catalog.pg_namespace n ON n.oid = p.pro
原创
2022-01-13 10:30:57
501阅读
最近看到一篇关于爬虫的文章，而自己又正好在爬虫，于是就想写一篇分享下， 让我们一步一步来，第一步：安装核心爬虫依赖puppeteer， 如果你打开googole.com是404，运行npm i puppeteer前，先运行set PUPPETEER_SKIP_CHROMIUM_DOWNLOAD=1； ok，如果没有问题，我们可以在项目根目录（下文简称根目录）下新建index.js;//index.
转载
2024-02-28 17:57:01
74阅读
GP高可用原理下面重点讲GP的同步原理。这个图是用了阿里云之前的blog里面的一个图案。在GP里面它是有master这种架构，在master节点上，用户连到GP之后，后台会起相应的back进程的处理用户的请求。当比如有建表或者删表或者更新数据字典的操作的时候，是通过Postgres的WAL日志流复制的方式，比如说新建一个表，就会先把这个日志写到buffer里面，然后再刷盘。这边会有新的进程然后同步
转载
2023-11-15 22:49:44
105阅读
GPGP是General Partner的缩写，意思是普通合伙人。投资者经常听到的一些基金、风投等投资公司采用的就是普通合伙人的制度，在美国等发达国家，普通合伙人很常见。其实，说白了，GP最开始指的就是投资公司最初成立时期的创始人，他们按照出资额分配股份，共同管理公司，公司的利润营收与其有着直接的关系。而在后来的发展过程中，为了留出一些优秀的管理层，
转载
2023-07-31 23:44:23
4阅读
网络爬虫就是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。今天小编特意整理了一些实用的Python爬虫小工具，希望对大家的工作学习有帮助。通用：urllib -网络库(stdlib)。requests -网络库。grab – 网络库(基于pycurl)。pycurl – 网络库(绑定libcurl)。urllib3 – Python HT
转载
2023-08-01 17:26:54
115阅读
JS如何做爬虫，JS做爬虫要靠node节点环境，cheerio（主要是解析下载的网页可以像jquery一样，这是必要的，使用它在npm上查看文档也很简单）。
转载
2019-11-25 16:39:00
202阅读
目录1. BeautifulSoup1.1 特点1.2 使用步骤1.3 解析器1.4 教程1.5 Project：安居客房价抓取（BeautifulSoup）如何获取Header信息2. Selenium2.1 Project：安居客房价抓取（Selenium）2.2 Project：自动登录开课吧学习中心（Selenium）常见的python爬虫工具如下：BeautifulSoup：Python
转载
2023-07-05 19:58:57
295阅读
本人纯python小白一枚！目前刚自学python爬虫三个礼拜（python语法一个礼拜，爬虫两星期），以后还会继续深入，因为它真的是一门“面向小白”、容易入门而且还十分有趣的脚本语言。 废话不多说，先介绍代码功能 支持输入小说名或者作者名两种方式进行爬取，因为网站排行榜小说数目比较庞大，使用单一主线程爬取速度过慢，所以import了threading模块进
转载
2024-01-16 14:35:23
147阅读
由于本人也是初学者，算是小白一枚，这里跟大家分享一下爬取网站上的小说的过程。第一步我们需要导入我们需要的模块，比如requests,BeautifulSoup,还有正则模块re。代码如下：import reimport requests
from bs4 import BeautifulSoup
然后我们需要找到我们需要爬取的网站，这里我随便选取了一个小说网站：
http://www.tianxi
转载
2023-12-28 23:26:11
69阅读
gp_XYZ，gp_Vec，gp_Dir
原创
2023-03-04 16:23:16
322阅读
arcgis gp
原创
2021-07-09 10:32:23
229阅读
# MySQL中的性能调优：如何利用GP进行数据库优化
MySQL是一个广泛使用的开源数据库管理系统，具有高效性和灵活性。在进行数据库管理时，性能优化是一个不可忽视的重要环节。GP（Guided Performance）是一种通过建议和分析来提升数据库性能的工具。本文将探讨GP在MySQL中的作用，并提供一些实用的代码示例，帮助你更好地优化数据库性能。
## GP概述
GP（Guided P
## 从Hive到GP：将数据从Hive迁移到Greenplum
在数据处理和分析领域，Hive和Greenplum都是常用的工具。Hive是一个基于Hadoop的数据仓库系统，而Greenplum是一个基于PostgreSQL的关系型数据库管理系统。当需要将Hive中的数据迁移到Greenplum时，可以通过一些简单的步骤来实现。
### 步骤一：将Hive数据导出为CSV文件
首先，我们
原创
2024-04-16 06:03:33
93阅读
我们都知道网络上的爬虫非常多，有对网站收录有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守 robots 规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如一些恶意爬取网站漏洞的爬虫。最近发现 nginx 日志中出现了好多宜搜等垃圾的抓取记录，于是整理收集了网络上各种禁止垃圾蜘蛛爬站的方法，在给自己网做设置的同时，也给各位站长提供参考。 一、Apache①、通过修改 .hta
GreenPlum6使用PXF进行连接HDFS、HIVE环境配置初始环境准备文件配置服务器文件修改PXF配置文件(pxf-env.sh)配置环境变量PXF服务器配置文件分发、启动建表、查询、测试 最近我们正在测试GP6.7的性能，尝试着使用PXF连接HDFS进行外部表获取，提供一个GreenPlum中文社区 PXF中文文档 环境配置配置环境：GreenPlum 6.7 ; PXF 5.11 ;
转载
2023-12-14 21:12:30
144阅读
因为公司需要使用greenplum，而官方的datax版本在导数据到greenplum时，速度是非常慢的（严格说是datax导数据到postgresql，在导入到GP时，数据走的是master，一条一条insert的，当然是慢）。所以，这里采用了别人开发好的支持GP 的datax版本：https://github.com/HashDataInc/DataX首先来说一下GP，GP作为一种数据仓库工具
转载
2023-12-14 14:51:33
76阅读
Hadoop的总体概述Hadoop起源于谷歌的集群系统，谷歌的数据中心使用廉价Linux PC机组成集群，在上面运行各种应用。其核心组件有3个：第一个就是，GFS（GOOgle File Syetem），一个分布式文件系统，隐藏下层负载均衡冗余复制等细节，对上层程序提供一个统一的文件系统API接口。第二个是MapReduce的，谷歌发现大多数分布式运算可以抽象为MapReduce的操作.MAP是把
转载
2024-01-08 13:31:01
72阅读
而从这2个功能拓展，需要的知识就很多了：请求数据、反爬处理、页面解析、内容匹配、绕过验证码、保持登录以及数据库等等相关知识，今天我们就来说说做一个简单的爬虫，一般需要的步骤！存数据先说存数据，是因为在初期学习的时候，接触的少，也不需要太过于关注，随着学习的慢慢深入，我们需要保存大批量的数据的时候，就需要去学习数据库的相关知识了！这个我们随后开篇单独说明。初期，我们抓到需要的内容后，只需要保存到本地
转载
2024-02-13 21:14:42
34阅读
脚本内容 python代码
转载
2019-12-10 15:15:00
1362阅读
2评论
# 如何实现Python爬虫脚本下载
## 整体流程
下面是实现Python爬虫脚本下载的整体流程：
| 步骤 | 描述 |
|------|------|
| 1 | 导入必要的模块 |
| 2 | 发送HTTP请求获取网页内容 |
| 3 | 解析网页内容，提取需要下载的链接 |
| 4 | 下载文件 |
## 详细步骤
### 步骤1：导入必要的模块
首先，我们需要导入必要的模块
原创
2024-06-03 03:40:14
69阅读
