捍卫发际线的博客_网络监控,云计算,Linux,数据恢复,集群,系统集成,备份,负载均衡,安全,系统安全,shell命令,服务搭建

python pandas dataframe读取超大数据集

数据准备先放在pandas的dataframe数据结构内，然后遇到效率问题（处理慢）和空间问题（数据量过大oom），表现为：数据存储慢，数据加载到内存困难。这里就记录下处理超大数据集用到的方法，以供大家参考。一般数据读取，加载和保存在现有的dataframe上没有太好的解决办法，但是可以充分利用现在服务器的高性能多核的特性（利用所有IDLE CPU内核），当然这里有有点也有缺点。

数据集

超大数据集

python pandas

并行处理

速度块

置顶原创精选 2023-01-19 17:31:31 3786 阅读

golang 在alpine系统上报错：Error loading shared library libresolv.so.2

错误是因为您在Alpine系统上安装Go 1.21时，Go编译器试图加载一个不存在的库libresolv.so.2，这个库是系统C库的一部分。Alpine系统使用了一个不同的C库（musl libc），它更小，但是也可能会遇到一些兼容性问题。

centos

golang构建

报错

libresolv.so.2

alpine

原创 5月前 389 阅读

OpsEval：运维大语言模型评测榜单

语言模型

运维

OpsEval

运维大模型

评测榜单

转载 5月前 99 阅读

K-Means实现物流中心优化

聚类是一类机器学习基础算法的总称。聚类的核心计算过程是将数据对象集合按相似程度划分成多个类，划分得到的每个类称为聚类的簇聚类不等于分类，其主要区别在于聚类所面对的目标类别是未知的 k-means聚类也称为K均值聚类算法，是典型的聚类算法，对于给定的数据集和需要划分的类数K，算法根据距离函数进行迭代处理，动态的把数据划分成K个簇，直到收敛为止，簇中心也称为聚类中心问题描述：双十一期间，物流公司要给某城市的50个客户配送货物，假设公司只有5辆货车，客户的地理坐标在txt文件中，如何配送效率最高代码解决了两个小问题，对初次尝试者更友好： • 第一解决地图问题，其他示例没有直接给出地图附件，这里使用地图连接代替，可选择其他的png格式的图片或者连接替换；(city.png）； • 第二解决坐标数据集问题，其他示例没有给出坐标数据集文件，这里采用随机产生数据集，可执行定义产生的数据集数量；（testSet.txt)

聚类

数据集

数据

原创 6月前 164 阅读

知识图谱-节点属性

知识图谱采用基于图的数据结构，以图的方式存储知识并返回经过加工和推理的关联信息。知识图谱在金融领域的主要应用场景有欺诈检测、信用评级、失联管理等，本文主要介绍知识图谱基本概念和节点属性。

相似度

最短路径

networkx

网络属性

转载 6月前 687 阅读

知识图谱-节点欺诈判断

对节点进行分类，例如判断这个节点是否欺诈。一般的结构型数据分类预测任务，我们通过数据特征和标签作为训练集训练模型。而知识图谱网络中的节点特征是网状结构不是向量结构，我们需要找到从网络中抽取特征的方法，即通过特殊的表达手段，将网络中的节点空间关系抽象为一个向量。

知识图谱

networkx

节点欺诈

模型特征

转载 6月前 488 阅读

大模型训练中的显存占用分析及优化方法：解析问题思路与策略的一些总结

在训练规模庞大的模型训练时，GPU显得至关重要，然而，GPU资源的可用性常常面临严重不足的局面。这种情况可能由于模型尺寸过大，导致显存空间不足，进而影响训练进程的顺利进行。为了克服这一难题，我们迫切需要深入探究其根本原因，并对其背后的工作原理有深入的理解。只有这样，才能针对具体情况施以恰当的策略，实现对GPU资源的有效利用，确保训练任务能够高效进行。

数据

反向传播

深度学习

转载 8月前 5991 阅读 2点赞 2收藏

手动配置resolv.conf 文件,不被NetworkManager修改

/etc/resolv.conf默认情况下，Red Hat Enterprise Linux (RHEL) 8 上的 NetworkManager使用来自活动 NetworkManager 连接配置文件的 DNS 设置动态更新文件。但是，您可以禁用此行为并在/etc/resolv.conf.

DNS

服务器

NetworkManager管理

resolv.conf修改

原创 2023-04-07 17:53:06 2116 阅读

公共卫生干预下中国 COVID-19 流行趋势的改进 SEIR 和 AI 预测

起源于中国湖北省武汉市的 2019 年冠状病 (COVID-19) 爆发恰逢春节，春节是每年春节期间的大规模迁徙时期。为了遏制其传播，中国于 2020 年 1 月 23 日采取了前所未有的全国性干预措施。这些政策包括大规模隔离、严格的旅行控制和对疑似病例的广泛监测。但这些政策是否对疫情产生了影响，尚不得而知。我们试图展示这些控制措施如何影响疫情的遏制。

SEIR 和 AI 预测

趋势预测

公共卫生干预

流行趋势

转载 2023-04-03 11:32:10 490 阅读

复杂网络基础知识（网络模型、统计特征、重要节点等）

复杂网络

最短路径

网络模型

复杂网络基础知识

原创 2023-03-24 19:43:04 3861 阅读

一文读懂复杂网络（应用、模型和研究历史）

复杂网络

网络模型

神经网络

一文读懂复杂网络（应用、模型和研究历史

转载 2023-03-24 11:19:07 1311 阅读

jupyter notebook 中编辑公式

jupyter notebook是一个python的交互式开发环境，广泛应用于数据分析的场景下。在jupyter notebook中，还可以很方便的编辑数学公式。

数学公式

Markdown

juberlab

notebook

原创 2023-03-22 10:25:01 427 阅读

模拟无标度网络上的随机和蓄意攻击过程

任这一份案例的目标是完成复杂网络的脆弱性分析，即抗毁性分析，研究网络在节点的随机损毁和蓄意损毁下，其最大连通子图的相对大小S和全局效率E的变化。

复杂网络

连通性

原创 2023-03-22 10:12:16 805 阅读 1点赞

Python 绘制中国城市数据地图可视化

用 Python 绘制中国城市地图数据主要用于对地理数据进行可视化分析。这种方法可以帮助您更直观地了解数据的分布情况，并为您提供关于数据之间的相关性的更深入的理解。例如，您可以通过使用地图数据绘制中国城市人口分布图，以了解每个城市的人口数量和密度。您还可以通过使用地图数据绘制中国城市的经济数据，以了解每个城市的经济活动情况，包括贸易额、工业产值等。本例，我们利用 pandas 和 pyecharts 来完成相关需求。

Python

中国城市

地图可视化

pandas 和 pyecharts

转载 2023-02-23 17:35:19 730 阅读

高效NumPy操作，避免不必要数组复制

了解NumPy的内部原理，避免不必要的数组复制，提高NumPy的操作效率

NumPy

高效

就地复制

数组复制

原创推荐 2023-02-01 15:17:52 836 阅读

用强化学习寻找关键节点——复杂网络研究新范式

牵一发而动全身，网络中有些节点一旦被去除，就会对网络的连通性产生断崖式的影响。该如何找到这样的节点。近日，发表在 Nature Machine Intelligence 上的一篇论文“通过深度强化学习识别复杂网络中的关键节点”中，提出的 FINDER 算法，开辟了解决该类问题的全新范式。

强化学习

连通性

权重

转载 2022-11-07 14:44:11 432 阅读

根因分析的好方法

近年来，随着IT系统监控能力的日益成熟，IT系统运行时问题的根因分析领域吸引了很多研究者的目光。本文通过调研大量运维领域根因分析的相关文献，并结合运维的实际需要，将根因分析问题进行了拆解，并对各子问题的解决方案进行了总结和分析。

运维经验

根因分析

故障诊断

原创 2022-09-19 10:22:13 1009 阅读

如何用简单易懂的例子解释隐马尔可夫模型？

隐马尔可夫（HMM）好讲，简单易懂不好讲。我认为@者也的回答没什么错误，不过我想说个更通俗易懂的例子。我希望我的读者不是专家，而是对这个问题感兴趣的入门者，所以我会多阐述数学思想，少写公式。霍金曾经说过，你多写一个公式，就会少一半的读者。所以时间简史这本关于物理的书和麦当娜关于性的书卖的一样好。我会效仿这一做法，写最通俗易懂的答案。还是用最经典的例子，掷骰子。假设我手里有三个不

概率分布

马尔可夫

马尔科夫链

原创 2022-09-13 14:17:28 344 阅读

通过 import taichi as ti 将 Python 代码加速 100 倍

Taichi 是一个嵌入在 Python 中的 DSL，但有自己的编译器来接管用装饰的代码@ti.kernel，实现在包括 CPU 和 GPU 在内的各种硬件上的高性能执行。它提供的最显着优势之一是加速 Python 代码，因此无需再羡慕 C++/CUDA 的性能。

python

让Python代码提速100倍

太极

原创 2022-09-13 10:55:15 1656 阅读

90个Pandas案例

整理了90个Pandas案例

dataframe

Pandas案例

pandas操作

转载 2022-09-08 10:29:33 92 阅读

LINUX解决matplotlib绘图中文字体乱码

LINUX系统python通过matplotlib绘图中文字体乱码，解决服务器里面没有字体的问题

python

matplotlib

支持中文

绘图中文

中文乱码

原创 2022-08-03 11:52:34 1019 阅读

wireshark 包分析

wireshard简单使用，包异常简单分析，

重传

丢包

wireshark

过滤异常包

原创 2022-07-19 15:07:32 1877 阅读

linux ipv4 ipv6双栈（优先ipv4而不使用ipv6配置）

服务器上及时开启双栈支持IPv6也是面临一定的问题。环境下又必须推进这件事情，那就使用折中方案。配置双栈但是 IPv4优先。服务器具备ip双栈情况下，服务器优先ipv4出口

优先级

ip双栈

优先ipv4

RFC协议

gai.conf

原创精选 2022-07-04 21:27:49 10000+阅读 1收藏

centos6.5 php+mysql mysql库找不到

centos6 + php-5.4.39 还有一堆pho的扩展，注定过程不会简单。前提没办法升级，只能做维护性迁移至容器。问题：遇到问题， php不能发现mysql库

mysql

php

libcrypto.so.10 not

php不能发现mysql库

centos6.5

原创精选 2022-06-27 19:16:51 805 阅读

python networkx画图，报错：AttributeError: module ‘scipy.sparse’ has no attribute ‘coo_array’

python networkx模块画图报错： module ‘scipy.sparse‘ has no attribute ‘coo_array‘ 解决

python

scipy.sparse

coo_array

networkx

原创精选 2022-06-24 19:13:48 6510 阅读 yyds干货盘点

linux文件误删恢复

文件误删恢复，lsof查看fd位置

bash

误删

文件恢复

原创精选 2022-02-11 15:58:40 1638 阅读 1收藏

从 lsof 开始，深入理解 Linux 虚拟文件系统

有时会出现这样的情况，磁盘空间显示已经被占满，但是在查看磁盘的具体文件占用情况时，发现磁盘仍然有很大的空余空间。

文件系统

数据

lsof

文件占用

转载 2022-02-11 14:34:06 137 阅读 1收藏

Linux下du和ls计算的文件大小竟然差10倍

数据

find命令

服务器

转载 2022-02-10 18:05:07 592 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

敲多少ls cd 才能财务自由

python pandas dataframe读取超大数据集

golang 在alpine系统上报错：Error loading shared library libresolv.so.2

OpsEval：运维大语言模型评测榜单

K-Means实现物流中心优化

知识图谱-节点属性

知识图谱-节点欺诈判断

大模型训练中的显存占用分析及优化方法：解析问题思路与策略的一些总结

手动配置resolv.conf 文件,不被NetworkManager修改

公共卫生干预下中国 COVID-19 流行趋势的改进 SEIR 和 AI 预测

复杂网络基础知识（网络模型、统计特征、重要节点等）

一文读懂复杂网络（应用、模型和研究历史）

jupyter notebook 中编辑公式

模拟无标度网络上的随机和蓄意攻击过程

Python 绘制中国城市数据地图可视化

高效NumPy操作，避免不必要数组复制

用强化学习寻找关键节点——复杂网络研究新范式

根因分析的好方法

如何用简单易懂的例子解释隐马尔可夫模型？

通过 import taichi as ti 将 Python 代码加速 100 倍

90个Pandas案例

LINUX解决matplotlib绘图中文字体乱码

wireshark 包分析

linux ipv4 ipv6双栈（优先ipv4而不使用ipv6配置）

centos6.5 php+mysql mysql库找不到

python networkx画图，报错：AttributeError: module ‘scipy.sparse’ has no attribute ‘coo_array’

linux文件误删恢复

从 lsof 开始，深入理解 Linux 虚拟文件系统

Linux下du和ls计算的文件大小竟然差10倍

推荐系统入门介绍

推荐系统入门介绍