最近生产环境上发现有服务器进程出现任务堆积的情况，由于一时无法定位出原因，故对堆积的任务数量进行监控。进程日志中已有任务数量的输出，故只需要编写一个脚本读取日志中的任务数量，发现任务数量超过某个阈值就发送告警短信即可。 本想使用 Shell 脚本来实现，没想到 Shell 的语法实在不好掌握，赋值语法，数值比较语法，字符串与数字的转换，等等，这些语法的问题经过了多次 google 和百度后，还是
转载
2023-08-15 12:01:22
36阅读
https://sspai.com/post/53008 ...
转载
2021-07-24 23:41:00
207阅读
2评论
简介所谓分析，通常都是指从数据中获取“信息”。近来，随着数据迅猛增长——其中绝大多数数据是非结构的，要想获得相关想要的信息变成越来越困难。庆幸地是，与此同时出现了一些强大的方法来帮助我们从这些数据中抽取出我们想要的信息。文本挖掘领域中这样相关的一种技术是主题建模。正如其名，主题建模能够从一个文本对象中自动识别它的主题，并且发现隐藏的模式。这些能够帮助做出更好的决策。主题建模和那些基于规则的文本挖掘
转载
2023-08-30 09:40:27
199阅读
文章目录前言一、明确一个大方针二、分析网页1.查看页面结构三、开始动手吧1.获取网页信息2.获取图片地址3.全部代码总结 前言本案例仅用于技术学习每天与电脑为伴，天天看着默认的桌面屏幕，作为喜新厌旧的我怎么能忍？搜索桌面壁纸，随意的挑选了一个网址，开始爬取图片之旅。一、明确一个大方针中心主旨还是获取网页信息—提取图片信息—保存图片 使用到的库有requests，获取网页信息，BeautifulS
转载
2023-11-30 13:48:45
81阅读
Jupyter Notebook 想必大家都不陌生了，数据分析或机器学习数据探索时特别方便。最近对它的颜值越来越不满意，尤其是晚上，感觉很刺眼，于是就换个暗点的主题。可能有同学还不了解 Jupyter Notebook 可以换主题，这里就简单介绍一下，下面我列出了常用的几个主题效果。如果有喜欢的可以安装试试，如无，可 Ctrl + w 文章目录技术提升安装主题库查看可用主题切换主题tips 技术提
转载
2023-10-08 14:34:50
65阅读
引言 近年来涌现出越来越多的非结构化数据，我们很难直接利用传统的分析方法从这些数据中获得信息。但是新技术的出现使得我们可以从这些轻易地解析非结构化数据，并提取出重要信息。 主题模型是处理非结构化数据的一种常用方法，从名字中就可以看出，该模型的主要功能就是从文本数据中提取潜在的主题信息。主题模型不同于其他的基于规则或字典的搜索方法，它是一种无监督学习的方法。 主题可以由语料库中的共现词项所定义，一
转载
2023-08-22 14:02:10
156阅读
两种办法，一种是用百度的API，效果还可以，不过好像每天有50次的调用的限制from aip import AipImageClassify
import cv2
""" 你的 APPID AK SK """
APP_ID = 'X'
API_KEY = 'X'
SECRET_KEY = 'XX'
client = AipImageClassify(APP_ID, API_KEY, SECRET_
转载
2023-09-25 18:47:44
284阅读
概念主题：自动将文本语料库编码为一组具有实质性意义的类别主题分析的典型代表：隐含狄利克雷分布（LDA）LDA最明显的特征：能够将若干文档自动编码分类为一定数量的主题。主题数量需要人为确定主题数量原理通过对比新旧文档来判断模型的好坏，然后在不同参数的很多模型找到最优模型。 代码导入sklearn模块：from sklearn.feature_extraction.text im
转载
2023-11-09 23:12:07
193阅读
主题建模可以帮助开发人员直观地理解和探索数据，以便更好地挖掘语料库中的主题。成功的主题建模需要多次迭代：清洗数据、读取结果、相应地调整预处理并重试。本文通过分析国家领导人从2014年到2021年的新春贺词的主题，对文本数据进行预处理，建立主题模型，模型验证，模型可视化等操作，最后通过主题模型总结出从中获得的信息。具体实现过程如下：1、数据预处理本文的文本数据为国家领导人从2014年到2021年的新
转载
2023-10-24 08:40:37
153阅读
图像主色提取算法我们在网易云上听歌, 略加设置就能在能看到这样的效果:网易云是怎么提取出专辑封面主要颜色的呢 首先, 我们需要思考如何表示一张图片. 图片是由一系列像素点组成的, 最简单的表示图片的方法就是用位图, 也即记录下每个像素点的 rgb 来表示 所以我们可以用一个 width * height * 3 的数组来表示一张图片, 其中 width 和 height 分别表示宽高, 3 代表
转载
2023-10-08 16:19:25
65阅读
主题建模是一种无监督的机器学习方法，它帮助我们发现文档(语料库)中隐藏的语义结构，它使我们能够快速的发现文档中
转载
2023-10-12 23:11:46
161阅读
主题模型 LDA 入门（附 Python 代码）
一、主题模型在文本挖掘领域，大量的数据都是非结构化的，很难从信息中直接获取相关和期望的信息，一种文本挖掘的方法：主题模型（Topic Model）能够识别在文档里的主题，并且挖掘语料里隐藏信息，并且在主题聚合、从非结构化文本中提取信息、特征选择等场景有广泛的用途。 主题可以被定义为“语料库中
转载
2023-10-24 22:38:14
318阅读
赛博朋克 - SynthWave '84你还记得 84 年那个无尽的夏天吗？自上而下在海洋高速公路上巡航，我们的头发和头上的风在霓虹灯梦中嗡嗡作响？这种配色方案受到现代 Synthwave 乐队（如 FM-84、Timecop 1983 和 The Midnight）的音乐和封面艺术的影响。上图使用的字体是 Fira Code ，如果你也是连体字的老粉了，那拿去吧你！地址：https:/
转载
2024-01-31 00:40:42
11阅读
gensim是python下一个极易上手的主题模型程序库(topic model)，网址在：http://radimrehurek.com/gensim/index.html 安装过程较为繁琐，参考http://radimrehurek.com/gensim/install.html 中的步骤。我本机用的python2.7，需安装setuptools或者pip，然后
转载
2024-05-21 21:26:36
30阅读
使用Python 进行简单文本类数据分析，包括： 1. 分词 2. 生成语料库，tfidf加权 3. lda主题提取模型 4. 词向量化word2vec #!/usr/bin/env python
# -*- coding:utf-8 -*-
import MySQLdb
import pandas as pd
import pandas.io.sql as sql
import ji
转载
2023-12-18 21:12:31
56阅读
一、jupyter更换主题jupyter默认主题为白色，时间长了容易引起视觉疲劳，那么怎么更换jupyter的主题呢？更换主题前需退出jupyter服务。Windows7环境，win+R组合键进入DOS模式，执行命令安装jupyter主题：pip install jupyterthemes在安装过程中可能遇到让升级pip的提示，大家按照提示进行升级就是了。查看已安装了哪些主题：jt -l更改主题为
转载
2024-08-19 22:01:24
31阅读
更换jupyter主题天秤座强迫症来了 为了换一个好看的主题首先更新pip(base) C:\Users\KyrieIrving>pip install jupyterthemes -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
Looking in indexes: http://pypi.douban.co
转载
2023-05-26 11:35:11
71阅读
主题词模型是一种统计模型，用于发现文档集合中出现的抽象“主题”。 Latent Dirichlet Allocation（LDA）是主题模型的一个例子，用于将文档中的文本分类为特定主题。LDA为每个文档构建了主题，每个主题用特定单词表现出来，这称之为隐狄利克雷分布。数据我们使用的数据可以从Kaggle下载,该数据集搜集了15年内发布的超过一百多万条新闻标题的数据。首先我们先导入所需要的包,在本例中
转载
2023-08-04 12:49:51
345阅读
在这篇文章中，我们讨论了基于gensim 包来可视化主题模型 (LDA) 的输出和结果的技术 。介绍我们遵循结构化的工作流程，基于潜在狄利克雷分配 (LDA) 算法构建了一个主题模型。在这篇文章中，我们将使用主题模型，探索多种策略以使用matplotlib 绘图有效地可视化结果 。相关视频：文本挖掘主题模型（LDA）及R语言实现我将使用 20 个新闻组数据集
转载
2023-10-12 09:17:19
195阅读
LDA(Latent dirichlet allocation)是有Blei于2003年提出的三层贝叶斯主题模型，通过无监督的学习方法发现文本中隐含的主题信息，目的是要以无指导学习的方法从文本中发现隐含的语义维度-即“Topic”或者“Concept”。隐性语义分析的实质是要利用文本中词项(term)的共现特征来发现文本的Topic结构，这种方法不需要任何关于文本的背景知识。文本的隐性语义表示可以
转载
2023-08-07 16:17:42
283阅读
