手搓AI的博客_NLP

深度学习--数据操作

n维数组，也叫张量（tensor）Pytorch导入库import torch生成张量arangx = torch.arange(12) xzerostorch.zeros((2,3,4))onestorch.ones((2,3,4))randntorch.randn()张量属性shapex.shapenumelx.numel()itemx.item()张量行为reshapex.reshape(3

广播机制

数组

算术运算

原创 2023-08-16 10:53:06 69 阅读

音频处理

音频转换ffmpeg将音频转换为16k的采样频率的Wavffmpeg -i 2023.3.3.mp4 -af "aresample=16000" -ac 1 2023_3_3_16k.wavmoviepyspleeter目前spleeter提供三种音轨分离方式，其中：Vocals (singing voice) / accompaniment separation (2 stems) —两个音轨：

建模

github

语音合成

原创 2023-08-15 14:56:34 177 阅读

NLP与神经网络

在NLP中使用神经网络，是现在主流的做法。神经网络神经网络，全称人工神经网络（Artificial Neural Network），模拟生物神经网络的工作方式。特点：是一种由人工神经元（虚拟的数学模型）构成的计算系统。它具有学习、泛化和适应性等能力能够对输入数据进行自动识别、分类、聚类等任务。广泛应用于图像识别、自然语言处理、语音识别、智能控制等领域。神经网络的训练过程是通过反向传播算法来实现的，

神经网络

数学模型

计算系统

原创 2023-08-14 17:52:22 103 阅读

PCM编码音频

whatPCM（Pulse Code Modulation）是一种用于音频信号编码和解码的数字化方法。how在PCM编码中，音频信号被采样，并将每个采样点的振幅量化为固定精度的数字值。这些数字值被表示为二进制代码，并以连续的方式传输或存储。PCM编码过程包括以下几个步骤：采样（Sampling）将连续的音频信号转换为离散的采样值。采样率决定了每秒钟采样的次数，常见的采样率如44.1kHz（常用于C

数据

采样率

Code

原创 2023-08-07 15:55:31 276 阅读

NLTK 使用指南

NLTK 安装pip3 install nltkNLTK 数据下载代码中下载 import nltk nltk.download()手工下载https://www.nltk.org/nltk_data/根据需要，进行下载。NLTK 使用

数据

原创 2023-08-04 19:21:13 109 阅读

ASR 语音唤醒

what语音唤醒，即关键词检索（keyword spotting）用语音唤醒设备，让设备由休眠状态切换至工作状态。How持续监听，匹配到唤醒词和声纹后，将应用切换到工作状态。一些实现百度语音唤醒snowboywekws

休眠状态

百度

原创 2023-08-03 13:13:04 160 阅读

笔记：LLM

介绍部分使用ChatGPT查询得到……LLM是啥？NLP中的LLM大模型（Large Language Model）是指能够处理海量文本数据和生成高质量语言表达能力的大型神经语言模型。通常，LLM大模型会使用海量的训练数据和深度学习神经网络来学习文本数据的规律，并生成基于统计的语言表达。目前，常见的LLM大模型包括GPT-3/4、BERT、Transformer、ELMo等。这些模型已经在自然语言

自然语言处理

语言模型

数据

原创 2023-07-05 11:07:14 252 阅读

Python conda

# Python3 conda## 安装```bashwget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.shsudo bash Miniconda3-latest-Linux-x86_64.shconda config --set auto_activate_base false```### 多用户使用安

bash

Python

虚拟环境

原创 2023-06-09 19:39:09 126 阅读

神经网络：softmax激活函数

softmax的作用：将多分类的输出值转换为范围在[0, 1]和为1的概率分布soft 反方词 hardhardmax从一组数据中找到最大值softmax为每一个分类提供一个概率值，表示每个分类的可能性。所有分类的概念值之和是1.优点在x轴上一个很小的变化，可以导致y轴上很大的变化，将输出的数值拉开距离。在深度学习中通常使用反向传播求解梯度进而使用梯度下降进行参数更新的过程，而指数函数在求导的时候

多分类

深度学习

反向传播

原创 2023-06-08 09:47:51 231 阅读

神经网络：感知器

生物神经网络神经元细胞：树突（in） + 轴突（out）人工神经网络人工神经元模型——MP神经元模型是1943年，由Warren McCulloch和Walter Pitts提出的。其中，y是输出φ是激活函数b是偏移∑表示对每一个输入*该输入的权重的结果求和先对输入进行线性变换，再进行非线性变换（激活函数）。激活函数（activation functions）目标：激活函数的目标将神经网络非线性化

激活函数

神经网络

线性变换

原创 2023-06-06 09:38:07 78 阅读

matplotlib 基本使用

示例代码：import matplotlib.pyplot as plt import numpy a = -3 b = 12 c = 9 # line x = numpy.linspace(-4, 8, 20) y = a * (x**2) + b * x + c plt.plot(x, y) x_dot = -b / (2 * a) y_dot = a * x_dot * x_d

示例代码

原创 2023-05-31 16:59:07 62 阅读

LangChain学习笔记1：基本概念

GPT：x中之事，事无大小，悉以咨之概念加载器（Loader）从某种介质中获取数据，即加载。文档（Document）数据转换成文档进行处理。类比数据库转换成记录……文本分割（Text Spltter）LLM一次处理的数据有限，分割成多批进行处理。向量数据库（Vector stores）文档转换成向量，把文档存入到向量数据库，自动转换成向量。链（Chain）任务代理（Agent）门面，可以根据情况进

数据库

获取数据

深度学习

原创 2023-05-27 10:05:19 537 阅读

tts-autolabel

安装pip install tts-autolabel -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html -i https://pypi.tuna.tsinghua.edu.cn/simple pip install "modelscope[audio]" -f https://modelscope.oss-c

tensorflow

html

重新安装

原创 2023-05-21 09:25:20 1202 阅读

windows NVIDIA studio

包括了 CUDA、cuDNN等，所以windows上装它就行了带的CUDA是11.8

CUDA

原创 2023-05-20 16:12:42 125 阅读

cuDNN安装

WSL2 Ubuntu中安装cuDNN，还得注册cuDNN是啥？安装文档 https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html#installlinux-debUbuntu算是debian系吧下载https://developer.nvidia.com/rdp/cudnn-download网速不行，下载90

bc

CUDA

html

原创 2023-05-19 09:58:27 79 阅读

pip3 install 超时

方法有两种加长超时时间pip3 install --default-timeout=100 pytorch下载离线安装（推荐，毕竟网速不好）安装的时候使用国内源，会自动显示下载地址。然后使用迅雷下载，-i https://pypi.tuna.tsinghua.edu.cn/simple安装方式：pip3 install ./torch-1.13.1-cp37-cp37m-manylinux1_x

迅雷

linux

离线安装

原创 2023-05-18 10:16:51 137 阅读

CUDA 12.1 但是 pytorch最高11.8

搞了新机器，使用高端显卡，结果太新了？在WSL2 Ubuntu中安装了 CUDA 12.1 之后，安装Pytorh，pip3 install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple居然能正常运行估计是，CUDA 向下兼容……

CUDA

Ubuntu

向下兼容

原创 2023-05-17 20:02:28 1156 阅读

Windows WSL2中安装CUDA

吃水不忘挖井人，参考：Windows10/11 WSL2 安装nvidia-cuda驱动 - 哔哩哔哩 (bilibili.com)cudnn (102条消息) Windows 11/10 WSL2 Ubuntu 20.04 下配置Cuda及Pytorch_windows cuda_home_Quatttschen的博客-CSDN博客查看显卡支持的版本nvidia-smi从下面的图片中可以看出，支

ubuntu

CUDA

hive

原创 2023-05-16 12:50:35 3409 阅读

NLP知识体系

NLP的知识体系句法语义分析关键词抽取文本挖掘机器翻译信息检索问答系统对话系统ChatGP

文本挖掘

对话系统

机器翻译

原创 2023-05-15 09:58:16 124 阅读

建模

动画特效

Max

原创 2023-05-14 21:08:09 66 阅读

SambertHifigan个性化语音合成体验

在环境安装方面简单步步坑，在此记述一下备忘。注意：只能在GPU环境中运行，CPU环境中会失败。环境安装操作系统最好是Ubuntu。国内很多使用的CentOS，由于 CentOS被Redhat收购后，出现许多问题。导致很多软件适配不积极，存在许多问题。Python版本管理工具推荐：miniconda其它的conda、anaconda应该也行。创建虚拟环境conda create -n modelsc

html

python

CentOS

原创 2023-05-13 09:12:25 573 阅读

AI虚拟偶像

虚拟偶像是 … 人物形象通过绘画、音乐、动画、CG等技术手段制作在因特网等虚拟场景具象出来从事演艺活动本身并不以实体形式存在的。表現形式紙片人3D形象全息投影分类静态以定制好的图片、视频发布。互动有两种：中之人：通过真人在后端实时表情、动作捕捉，然后通过动作引擎实时响应。AI互动：通过语音识别、对话机器人，对于用户进行响应和实时渲染，脱离了后端的真人。虚拟偶像林明美日本TV动画《超时空要塞》中

3D

视频流

语音识别

原创 2023-05-10 11:55:17 295 阅读

NLP 主要任务

关键词抽取从句子中抽取某类关键词句子事件抽取从句子中抽取出来发生的事件做个句子事件抽取: 小明偷了一辆共享单车，卖了50块钱，买苹果的时候被警察抓了，关在牢里15天。推理NLU推理小明在北京上学，推理出：小明在中国上学。数学推理如果鲁迅还活着，他多少岁了？

NLP

原创 2023-05-09 10:42:45 70 阅读

自然语言处理（NLP）

自然语言处理，英文简称NLP，全称Natural Language Processing。最近爆火的Chat-GPT，是NLP领域的前沿研究成果。NLP的发展阶段基于规则基于统计学基于深度学习：当前尖端技术未来……NLP分类自然语言生成（NLG, Natrual Language Generation）自然语言理解（NLU, Natural Language Understand）NLP基本任务

NLP

自然语言处理

原创 2023-05-08 15:57:21 143 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

shoucuohulu

深度学习--数据操作

音频处理

NLP与神经网络

PCM编码音频

NLTK 使用指南

ASR 语音唤醒

笔记：LLM

Python conda

神经网络：softmax激活函数

神经网络：感知器

matplotlib 基本使用

LangChain学习笔记1：基本概念

tts-autolabel

windows NVIDIA studio

cuDNN安装

pip3 install 超时

CUDA 12.1 但是 pytorch最高11.8

Windows WSL2中安装CUDA

NLP知识体系

3D 相关工具

SambertHifigan个性化语音合成体验

AI虚拟偶像

NLP 主要任务

自然语言处理（NLP）