1、概要hdfs由namenode和datanode组成，前者负责管理文件系统元数据，后者负责存储具体数据。hdfs支持类shell的命令行直接与其交互。hdfs的主要特性包括：1、文件权限和认证；2、机架敏感，在分配tasks和存储时会考虑到机架；3、安全模式，维护中用到的一种管理模式；4、fsck，一个检测文件系统健康的工具，可以查找丢失的文件或blocks；5、fetchdt，一个用于获取D
转载
2024-04-20 14:36:03
45阅读
最近一个项目需要用到SCL3300倾角传感器， 在网上买了两个传感器，打了一个小板，就开始测试了。板子焊好，本想一天内解决代码的问题，结果也花了两三天才搞定，现在把调试结果和心得总结一下，希望有朋友用到时不要走弯路。 1） SCL3300传感器资料 特性 3轴测量 带加速度输出和角度输出 -40℃~125℃ 3.0V~3.6V工作电压 SPI接口 0.001°/√Hz的噪声 其它的资料可以查看PD
# 国产替换MongoDB
在近年来，国产数据库越来越受到关注，其中国产替代MongoDB的产品也逐渐成熟。这些国产数据库不仅具有性能稳定、安全可靠的特点，还支持简单易用的API，让开发者更加方便地进行数据库操作。
## 为什么选择国产替代MongoDB
MongoDB是一个非常流行的NoSQL数据库，但是使用过程中也有一些问题，比如需要付费、性能不稳定等。而国产替代MongoDB的产品，比
原创
2024-03-15 05:32:31
135阅读
ELK7.x日志系统搭建 1. elk基础搭建基本介绍什么是 ELK ？ 通俗来讲， ELK 是由 Elasticsearch 、 Logstash 、 Kibana 三个开源软件组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，他们组成了一套完整的日志系统的解决方案。
Logstash 对各个服务的日志进行采集、过滤、推送。
Elasticsearch 存储 Logstash 传送的
# Redis 替换国产：理解与实践
在当今互联网技术快速发展的背景下，数据存储技术渐渐成为了重点关注的领域。其中，Redis 作为一种音速且灵活的内存数据库，因其优秀的性能和丰富的数据结构广泛应用于各种项目中。然而，随着信息安全和数据主权的不断被关注，国内也出现了一些优秀的国产数据库产品，企业在使用 Redis 的同时，开始考虑如何将其替换为国产解决方案。
## 1. Redis 概述
R
原创
2024-08-08 15:04:20
149阅读
注：该文内容部分来源于ChinaHadoop.cn上的hadoop视频教程。一. HDFS概述HDFS即Hadoop Distributed File System, 源于Google发表于2003年的论文，是一种分布式的文件系统。HDFS优点：高容错性（数据自动保存多个副本）适合批处理适合大数据处理流式文件访问（一次性写入，多次读取）建立在廉价机器上HDFS缺点：不善于处理低延迟数据访问不善于处
转载
2024-04-04 15:55:25
52阅读
随着工业制造领域全面迎来数字化、智能化升级，越来越多的企业对工业控制的应用需求激素增加，被称为“工业大脑”的PLC（可编程逻辑控制器）越来越受到重用，对于智能制造、电气能源、环境监测等细分产业发展意义重大。目前PLC市场仍以国外PLC品牌为主，西门子、施耐德等欧美PLC和三菱、欧姆龙等日系PLC具备较强的行业竞争力。其中西门子一家独大，常年市场占有率在42%-46%之间，且近三年份额还有所提升，而
转载
2024-04-23 10:35:08
22阅读
IPFS的核心是一个分布式系统，用于存储和访问文件，网站，应用程序和数据。它与传输层无关，这意味着它可以在各种传输层上进行通信，包括传输控制协议（TCP），uTP，UDT，QUIC，TOR甚至是蓝牙。相比于HTTP，IPFS的传输速度之所以更快，在于IPFS是通过哈希标识的方式查找文件的，当你拥有哈希后，你会询问并连接到的网络“谁拥有此内容（哈希）”。然后连接到相应的节点并下载，也就是说，这能形成
Ceph替换HDFS，变革数据存储方式
随着数字化时代的快速发展，数据量的增长速度越来越快，企业对数据存储和管理的需求也越来越迫切。传统的HDFS（Hadoop Distributed File System）虽然在大数据领域有着较为广泛的应用，但也暴露出了一些不足之处，比如稳定性不足、扩展性有限等问题。为了解决这些问题，越来越多的企业开始将目光转向Ceph。
Ceph是一种开源的、分布式的存
原创
2024-03-05 13:16:45
105阅读
CEPH 文件系统Ceph 文件系统或CephFS是一个符合 POSIX 的文件系统，构建在 Ceph 的分布式对象存储RADOS之上。CephFS 致力于为各种应用程序（包括共享主目录、HPC 暂存空间和分布式工作流共享存储等传统用例）提供最先进的、多用途、高可用性和高性能的文件存储。CephFS 通过使用一些新颖的架构选择来实现这些目标。值得注意的是，文件元数据与文件数据存储在单独的 RADO
转载
2024-09-27 12:51:31
61阅读
# 国产MySQL替换与免费开源数据库的探索
随着信息化的快速发展，数据库在各行各业中的重要性愈加凸显。而MySQL作为一种流行的关系型数据库管理系统，被广泛应用于网站、应用程序及数据仓库中。尽管MySQL本身是开源的，但近年来，越来越多的企业和开发者开始关注国产数据库的替代方案，特别是在特定的需求与政策背景下，寻找免费的国产MySQL替换方案成为一种趋势。
## 国产数据库的崛起
近年来，
原创
2024-08-20 11:58:31
102阅读
FTools for Excel 是一款文件（文件夹）批量处理工具，以Microsoft Office Excel COM加载项的形式实现。之所以借助Excel加载项这种形式实现，是因为Excel本就是一个高度灵活的“列表控件”，用户可以自由地对获取到工作表的路径进行各种增、删、改、查操作，极大方便对文件（文件夹）路径的过滤、编辑等。①基础模块，用于获取文
1、python mysql redis mongodb selneium requests举得这5个库里面的主要被用户使用的东西全都是面向对象的，包括requests.get函数是里面每次都是实例化了一个新的Session类实例，只是看起来是调用函数，要想精确控制使用，直接使用requests get函数和post函数是不够用的。所以可以下个结论这5个库都是面向对象的。2、通常情况下
近年来，已经有越来越多的企业参与到Hadoop社区的发展中来，它们对HDFS的改造提出了不同的方案，有的是基于社区版HDFS源码进行改造，比如Cloudera的CDH版本和Facebook的AvatarNode，也有的是参照HDFS重写一套分布式文件系统，比如百度的HDFS2和腾讯的XFS，当然社区也推出了新的版本Hadoop0.23。总的来看，Hadoop
转载
2024-02-28 10:12:05
268阅读
Apache提供了两种HDFS v2 的HA方案。HA的具体实现和使用方式本文就不赘述了，可以参考以下链接：HA with NFS HA with QJMCDH(Cloudera的Hadoop发行版)在早期的版本中只支持HA with NFS方案。自CDH4.1起，增加对HA with QJM的支持。QJM由Cloudera设计，并已经merge到Hadoop的TRUNK(HDFS-30
转载
2024-04-30 17:05:32
32阅读
# Python国产化替换
随着国内科技的发展和自主创新意识的提升，越来越多的国产化替代方案逐渐走进人们的视野。Python作为一种广泛应用的编程语言，也不例外。在国产化替换的潮流下，一些国内技术公司和开发者开始探索和推广国产化的Python替代方案。
## 为什么需要Python国产化替代？
Python作为一门强大的编程语言，被广泛应用于数据分析、人工智能、Web开发等领域。然而，由于P
原创
2024-04-02 05:11:36
675阅读
这两年的国内BI市场，最值得关注的趋势便是“国产化”。一方面，受到国际政治和企业自身战略布局等因素影响，BI界巨头Tableau退出中国市场，另一方面，则是面对需求日渐旺盛的国内BI市场，国产BI如瓴羊Quick BI、Smartbi、帆软FineBI、永洪BI等不断做大做强，抢占市场份额。这里面，其实是一场很大的布局。当年，很多人都没想到美国会通过“实体清单”等方式让华为、中兴等中国通信巨头被芯
用 GlassFish v2 替换 Tomcat 5.x1. 背景 用了很多年的Tomcat, 无论开发环境还是生产环境, 应该说, 大家对它还是基本满意的. 不过, 也不是一点问题没有. 从开发人员的角度来说, Tomcat主要的缺点就是较弱的热部署 (hot deploy)能力. 修改一个Java类, 保存后, Tomcat会重新加载这个类, 但不久就要重 新启动Tomcat才能继续
# 如何实现“国产化redis替换”
## 1. 事情的流程
在实现“国产化redis替换”这个过程中，需要按照以下步骤进行操作：
```mermaid
erDiagram
确定需求 --> 下载并编译替换工具 --> 替换redis二进制文件 --> 配置替换后的redis --> 测试替换效果
```
## 2. 每一步的具体操作
### 步骤1：确定需求
在替换redis之前，
原创
2024-05-24 04:55:18
95阅读
## Hadoop国产化替换的流程
### 步骤概述
为了实现Hadoop国产化替换，我们需要完成以下步骤：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 下载并安装国产化的Hadoop版本 |
| 步骤二 | 修改Hadoop配置文件 |
| 步骤三 | 导入数据到Hadoop集群 |
| 步骤四 | 运行MapReduce任务 |
| 步骤五 | 输出结果 |
接
原创
2023-11-06 11:43:12
334阅读
1评论
