navysummer的博客_Android,ASP,C#

java操作hadoop之MapReduce

1.Mapper文件WordCountMapper.java package com.hdfs; import org.apac

apache

hadoop

Text

原创 2022-12-17 17:12:25 114 阅读

maven打包附带依赖的配置

<build> <plugins> <plugin> <artifactId>maven-assembly-plugin</artifactId>

hive

jar

maven

原创 2022-12-17 17:12:19 166 阅读

python打包指南

在项目的根目录里创建setup.py # -*- coding: utf-8 -*- # author:navysummer # email:navysummer@yeah.net import shutil import setuptools from setuptools.command.ins

python

安装包

上传

原创 2022-12-11 01:25:29 137 阅读

hadoop3.x集群搭建教程

0.Hadoop和Java之间的版本配套官方描述：https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersions hadoop 3.x 版本仅支持 Java8 hadoop 2.7.x及以上版本支持Java7和Java8

hadoop

vim

mapreduce

原创 2022-12-05 13:48:49 187 阅读

java操作hdfs

1.添加maven依赖，即在pom.xml文件李添加依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/20

apache

maven

hadoop

原创 2022-12-04 00:20:54 170 阅读

logstash日志处理

1.日志格式： [2018-11-24 08:33:43,253][ERROR][http-nio-8080-exec-4][com.hh.test.logs.LogsApplication][code:200,msg:测试录入错误日志,param:{}] 处理： filter { if "nova

正则

错误日志

原创 2022-11-26 10:05:44 74 阅读

es删除字段

POST 索引/_update_by_query { "script": "ctx._source.remove('{字段名}')", "query": { "bool": { "must": [ { "exists": { "field": "字段名" } } ] } } }

字段名

原创 2022-11-26 10:05:38 527 阅读

es修改mapping

1.备份数据POST _reindex?wait_for_completion=false&scroll=10m { "source": { "index": "数据索引", "size": 10000 }, "dest": { "index": "备份索引" }}2.删除旧的索引DELETE 数据索引3.创建新的索引PUT 备

数据

字段

原创 2022-11-20 01:52:13 246 阅读

k8s创建本地storageclass

apiVersion: v1 kind: Namespace metadata: name: local-path-storage apiVersion: v1 kind: ServiceAccount metadata: name: local-path-provisioner-service-a

json

原创 2022-11-06 00:59:17 917 阅读

containerd安装

1.配置源 #下载阿里云的yum源 curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo #安装基本的软件 yum install wget jq psmisc vim net-

centos

docker

unix

原创 2022-11-06 00:59:09 145 阅读

如何选择Docker运行时、Containerd运行时、或者安全沙箱运行时？

镜像和容器已然成为应用的打包和交付标准。Kubernetes成为了整个容器云原生应用的标准OS，越来越多的企业和用户选择在ACK中部署自己的应用。容器服务Kubernetes版（ACK）支持Containerd、Docker、安全沙箱三种运行时。本文通过对比三种运行时的实现和使用限制、部署结构，并通

docker

linux

ide

原创 2022-11-06 00:58:49 394 阅读

containerd安装

1.配置源 #下载阿里云的yum源 curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo #安装基本的软件 yum install wget jq psmisc vim net-

centos

docker

unix

原创 2022-11-06 00:58:40 351 阅读

基于drf快速创建api

1.安装项目依赖 pip install django pip install djangorestframework 2.创建django项目 django-ad

django

python

数据迁移

原创 2022-10-21 09:07:55 110 阅读

drf的序列化

1.序列化的基类BaseSerializer from rest_framework import serializers serializers.Base

序列化

perl

超链接

原创 2022-10-21 09:07:46 128 阅读

深度学习pytorch之线性回归实现

1.手工实现 import torch from matplotlib import pyplot as plt # 损失率： learn_rate = 0.1 # 训练数据 x = torch.rand([500,1]) y = 3*x + 0.8 # 参数 w = torch.rand([1,1

数据

反向传播

归零

原创 2022-10-08 13:12:07 132 阅读

机器学习常用算法之knn算法

1.基于numpy实现 from numpy import tile, array def classify0(inx, data_set, labels, k): """ 原理：使用欧式距离公式：((xa0-xb0)**2-(xa1-xb1)**2)**0.5计算出输入点到各个点的欧式距离，按照距

tensorflow

数据

元组

原创 2022-10-08 13:12:03 111 阅读

linux搭建nfs

1.nfs介绍 NFS就是Network File System的缩写，它最大的功能就是可以通过网络

客户端

服务端

服务器

原创 2022-09-24 00:57:41 655 阅读

k8s之挂载

1.挂载本地路径 pod yaml apiVersion: v1 kind: Pod metadata: name: test spec

nginx

3g

html

原创 2022-09-24 00:57:33 891 阅读

k8s部署python项目

1.编写Dockerfile FROM python:3.7 WORKDIR /opt RUN pip3 install -U d

docker

django

python

原创 2022-09-24 00:57:25 896 阅读

k8s生成资源或者资源配置文件

1.生成clusterrole #语法 kubectl create clusterrole NAME --verb=verb --resource=resor|client|none

docker

json

nginx

原创 2022-09-24 00:57:20 274 阅读

营业执照信息识别

python依赖 paddlepaddle==2.3.1 paddleocr==2.5.0.3 python示例 #!/user/bin/env pyt

paddle

python

原创 2022-08-23 14:15:40 421 阅读

身份证信息识别

python依赖 paddleocr==2.5.0.3 paddlepaddle==2.3.1 python示例 #!/user/bin/

paddle

python

原创 2022-08-23 14:15:28 440 阅读

Openssl自签发SSL证书

确认系统中是否已安装openssl工具,没有就安装 yum install openssl openssl-devel -y 确认/etc/pki/CA目录下是否有以下文件，没有则自行创建 mkdir -pv /etc/pki/CA/{certs,crl,newcerts,private} touc

服务端

nginx

.net

原创 2022-08-06 00:51:25 137 阅读

Openssl自签发SSL证书

确认系统中是否已安装openssl工具,没有就安装 yum install openssl openssl-devel -y 确认/etc/pki/CA目录下是否有以下文件，没有则自行创建 mkdir -pv /etc/pki/CA/{certs,crl,newcerts,private} touc

服务端

nginx

.net

原创 2022-08-06 00:51:18 191 阅读

K8S存储

一、本章概述K8S存储管理按照发展的历程，涉及到有Volume、PV/PVC、StorageClass，Volume是最早提出的存储卷，主要解决容器和数据存储的依赖关系，抽象底层驱动以及支持不同的存储类型，使用Voume需要了解底层存储细节，因此提出了PV，Persistent Volume是由k8

数据

共享存储

生命周期

原创 2022-08-06 00:51:12 583 阅读 1点赞 1收藏

k8s安装Dashboard

安装dashboard wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.6.0/aio/deploy/recommended.yaml kubectl apply -f recommended.yaml 查看pod kub

github

原创 2022-08-06 00:51:00 243 阅读 1收藏

k8s部署nginx

# 创建pod kubectl create deployment web --image=nginx # 查看pod列表 kubectl get pods -o wide # 暴露资源为service kubectl expose deployment web --port=80 --protoc

nginx

ide

原创 2022-07-16 00:55:54 1115 阅读 1点赞 2收藏

kubernetes容器编排YAML详解

简单认识 k8s 集群中对资源管理和资源对象编排部署都可以通过声明样式（ YAML）文件来解决，也就是可以把需要对资源对象操作编辑到YAML格式文件中，一般使用 YAML 格式的文件来创建符合我们预期期望的 pod , 我们把这种文件叫做资源清单文件，通过 kubectl 命令直接使用资源清

缩进

数据

nginx

原创 2022-07-16 00:55:50 506 阅读 1收藏

kubernetes容器编排YAML详解

简单认识 k8s 集群中对资源管理和资源对象编排部署都可以通过声明样式（ YAML）文件来解决，也就是可以

缩进

自定义注解

nginx

原创 2022-07-16 00:55:40 197 阅读

kubernetes容器编排YAML详解

简单认识 k8s 集群中对资源管理和资源对象编排部署都可以通过声明样式（ YAML）文件来解决，也就是可以把

缩进

数据

nginx

原创 2022-07-16 00:55:29 474 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

navysummer的博客

java操作hadoop之MapReduce

maven打包附带依赖的配置

python打包指南

hadoop3.x集群搭建教程

java操作hdfs

logstash日志处理

es删除字段

es修改mapping

k8s创建本地storageclass

containerd安装

如何选择Docker运行时、Containerd运行时、或者安全沙箱运行时？

containerd安装

基于drf快速创建api

drf的序列化

深度学习pytorch之线性回归实现

机器学习常用算法之knn算法

linux搭建nfs

k8s之挂载

k8s部署python项目

k8s生成资源或者资源配置文件

营业执照信息识别

身份证信息识别

Openssl自签发SSL证书

Openssl自签发SSL证书

K8S存储

k8s安装Dashboard

k8s部署nginx

kubernetes容器编排YAML详解

kubernetes容器编排YAML详解

kubernetes容器编排YAML详解

欢迎