公司使用腾讯cdn为网站静态内容加速，由于业务需求，需要每天下载昨天的日志（因为腾讯方面给出回复，访问日志会有2个小时或以上时间的延迟，所以不建议下载当天日志，所以每天统计前一天的日志以做分析）。因为cdn是由运维来管理，但是这个需求是业务的，如果每天都由运维进行下载，再通过邮件或其他工具发送，可能就显得麻烦。所幸腾讯CDN提供了API接口，因此采用shell脚本调用API进行下载的方式，定期下载
原创
2016-08-11 15:50:19
2297阅读
前言 Elasticsearch的一个很大的优势是支持多种语言，比如有Java API，.Net API等等，最重要的是它还支持使用RESTful API。RESTful是统一规范的http接口，任何语言都可以使用，如果大家不了解什么是RESTful，那么可以关注叩丁狼的技术文章和公开视频。我们要想学会Elasticsearch的使用，那么以RE
转载
2024-05-12 21:01:21
140阅读
全文检索1.全文搜索概念：（1）数据结构：·结构化：只具有固定格式或者有限长度的数据，如数据库，元数据等·非结构化：指不定长或者无固定格式的数据，如邮件，word文档等（2）非结构化数据的检索：·顺序扫描法：适合小数据量文件·全文搜索：将非结构化的数据转为结构化的数据，然后创建索引，在进行搜索（3）概念：全文搜索是一种将文件中所有文本域搜索项匹配的文件资料检索方式2.全文搜索实现原理3.全文搜索实
转载
2024-10-02 11:26:35
99阅读
1.导入依赖 2.官方调用教程 3.IDEA配置 一定要保证：我们刀日德依赖，和安装的ES版本一致！！！ 默认的版本可能和本地安装的版本不一致： 本地使用7.6.1，而springboot es starter里面使用的是6.8.7 相关的源码 4.API测试 4.1 ES rest client注
转载
2021-05-13 22:56:00
819阅读
2评论
在进行Django项目开发的过程中，Web API的开发是一个研发工程师必备的技能。本文主要介绍接口开发中，如何对数据库的连接访问，使用模块进行封装，用户可以通过调用封装好的接口，只需要传入sql语句，便可以获得查询结果。
1.安装django
进入创建的"python37"虚拟环境，即运行conda activate python37
2.安装d
前几天写过一篇《Elasticsearch 7.x 最详细安装及配置》，今天继续最新版基础入门内容。这一篇简单总结了 Elasticsearch 7.x 之文档、索引和 REST API。什么是文档文档Unique ID文档元数据什么是索引REST API一、索引文档（Document）1.1 白话什么是文档从使用案例出发，Elasticsearch 是面向文档，文档是所有搜索数据的最小单元。案例
注意箭头函数写法：let list = [1,2]
let list1 = list.filter(el=>{ el != 1 }) // 没有加return ,无值返回
console.log(list1) // []
let list = [1,2]
let list1 = list.filter(el=>{ return el != 1 }) // 加{} ,需加retur
curl -L -X POST -u elastic:123456 'http://127.0.0.1:9200/nginx*/_search?pretty' -H 'Content-Type: application/json' -d '{ "track_total_hits": true,
"sort": [
{
 
原创
2022-06-07 17:48:04
414阅读
一、Term Index(词项索引)1、FSM（Finite State Machine）有限状态机2、FSA（Finite State Acceptor）确定无环有限状态接收机3、FST(Deterministic acyclic finite state transducer)确定无环状态转换器二、Term Dictionary(词项字典)三、Posting List(倒排表)1、FOR（F
转载
2024-07-30 11:56:33
107阅读
一、简介1.1Elasticsearch简介Elasticsearch是一种开源的搜索和分析引擎，最初由开源搜索引擎Lucene的作者于2010年创建。它提供了一个可伸缩、高性能的搜索和数据分析平台，可用于多种用途，包括文本搜索、应用程序性能监控、业务分析、日志聚合等。Elasticsearch使用分布式架构，可以处理大量数据并实现快速搜索和聚合。它使用基于JSON的RESTful API进行交互
转载
2024-07-12 00:39:51
92阅读
一、安装由于xadmin自带的包里面已经包含了django-import-export所以不用再pip install django-import-export了但是xadmin管理后台只有导出按钮没有导入按钮所以本次引入了导入功能 二、配置文件demo/settings.py： import os
# Build paths inside the project
CTP接口 Python API下载的描述
在金融领域，使用CTP接口获取市场数据是一项常见需求。本文将详细介绍如何下载和配置CTP接口的Python API，帮助你快速上手并实现整合。
### 环境准备
在开始之前，你需要准备一个合适的开发环境。我们将使用Python 3.6或更高版本，以及一些必需的第三方库。
首先，安装以下依赖：
- `numpy`
- `pandas`
- `mat
04Hadoop的Yarn作用任务的调度和资源的管理主从架构主节点:ResourceManager作用：负责接收客户端任务的请求和资源的管理，MapReduce程序在运行任何一个任务的时候都需要资源，在运行MapReduce任务的时候需要CPU、内存等资源都会跟ResourceManager申请，当MapReduce程序要运行一个任务时会向ResourceManager发送运行任务的请求，Reso
一、开发EJB的步骤 第一大步：开发编译业务接口和Bean类 (1) 编写业务接口和Bean类 (2) 编译 第二大步：打包部署到JNDI服务器 (3) 提供部署描述文件 (4) 打包（编译后的字节码文件和部署描述文件）成ejb-jar (5) 部署ejb-jar到容器 第三大步：测试 (6) 检测部署是否成功（看容器是否发现） (7) 识别客户端程序来调用EJB 业务接口（Business I
转载
2024-04-28 20:17:46
128阅读
一、Web APIs介绍1、API的概念API（Application Programming Interface，应用程序编程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，无需理解其内部工作机制细节，只需直接调用使用即可。2、Web API的概念Web API 是浏览器提供的一套操作浏览器功能和页面元素的 API ( BOM 和
转载
2023-09-27 17:13:17
107阅读
Java API是Java平台的重要组成部分。Java开发过程中，我们经常需要查看Java API文档。官方的Java API文档是在线的，如何下载下来呢？方法如下：1、打开Java文档下载地址地址如下：https://www.oracle.com/technetwork/java/javase/documentation/jdk8-doc-downloads-2133158.html2、接受许可
转载
2023-06-11 20:23:24
227阅读
Java高级互联网架构 2019-03-23 10:20:00概述Java应用中，日志一般分为以下5个级别：ERROR 错误信息WARN 警告信息INFO 一般信息DEBUG 调试信息TRACE 跟踪信息Spring Boot使用Apache的Commons Logging作为内部的日志框架，其仅仅是一个日志接口，在实际应用中需要为该接口来指定相应的日志实现。Spring Boot默认的
转载
2024-03-18 19:49:04
52阅读
logging模块的日志级别：日志级别一共有5个从低到高如下， 作用是在当你给python函数赋予日志器时， 需要自己标记日志级别（后面会用到）debug（调试级别）：严重程度最低级别，详细程度最高的日志信息，常用于问题诊断info（轻微级别）：严重程度仅次于DEBUG，信息详细程度也仅次于DEBUG，通常只记录关键节点信息，用于确认一切是否按照我们预期的那样进行工作warning（警告级别）：当
转载
2024-04-22 15:37:25
50阅读
ELK分布式日志系统
ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。Logstash是一个用来搜集、分析、过滤日志的工具。它支
转载
2024-04-04 08:49:22
169阅读
ELK 不知道大家了不了解，他是 Elasticsearch、Logstash、Kibana 的简称，其中 Elasticsearch 是一个搜索分析引擎，Logstash 是收集过滤日志的工具，而 Kibana 则是一个 Web 图形界面工具，配套 Elasticsearch 使用很方面的制作出精美的图表，很多的公司都使用 ELK 作为日志收集和分析系统，搭建非常的方便。同时也不只是用
转载
2024-02-17 09:56:59
80阅读
