程序员守护石的博客_Strom,Hadoop,MongoDB,Spark,Docker,其他大数据,Hbase,redis,Java,Linux,程序员原创

通俗理解大数据及其应用价值

作为早期的互联网、电子政务、商业管理、工业制造等行业领域，首先每天产生的数据量并不大，而且以高价值的结构化数据为主，例如：早期互联网Web1.0时代，一台SQLServer数据库就能支撑绝大多数的门户网站，一台小机搭配Oracle就能轻松应对在线金融业务系统；其次数据访问需求比较简单，主要是业务数据模型之间的关联设计，业务数据的插入、更新和删除，对于更复杂的数据需求主要还是对字段的分组查询形成多维统计和明细下钻。但是这一切都被互联网的发展所打破，尤其是到了2010年移动互联网的爆发。大数据的名词和概念随着Google的定义席卷了全球，那么大数据最基本的一个特征就是信息服务所接收到的数据请求量非常庞大，这对于传统的RDBMS来讲是冲击性的。

数据

大数据

数据库

原创精选 2022-05-08 19:59:02 479 阅读 1收藏

程序员薪资高吗？爱跳槽就是因为薪资吗？

先聊聊程序员的薪资社会上很多人都是认为程序员高薪不是靠劳动量大（很多行业工作时间不比程序员少），也不是靠着科技突破上做出贡献，很少有解决真正卡脖子的问题。反而是靠着公司的大数据杀熟、各种推荐算法，各种垄断抽成，赚取巨额利润，因此质疑程序员凭什么拿高薪？

程序员

项目经理

新技术

软件开发

原创 2022-05-05 10:40:15 118 阅读

如何自学编程？

继续在发表了几篇关于自学编程的小作文，讲述了自学的重要性、自学过程和自学技巧，依然在社区火爆，我继续做一次文章的整合与延展，以文章的形式发表出来，勉励各位能在技术事业上不断突破。 1. 即将找工作，下一步怎么办我做过几年某985名牌大学的研究生实践导师，这些研究生一毕业，不

程序员

搜索

调试工具

ide

原创 2022-05-05 10:39:30 79 阅读

守护石谈学习Java之路

这次在CSDN Blink发表了几篇关于Java编程学习的小作文，讲述了Java工程师的成长路线、Java学习的技能树和入门工作要关注的核心问题，我继续做一次文章的整合与延展，以文章的形式发表出来，勉励各位能在技术事业上不断突破。 1. Java学习之路，我们该怎么走？我记得2002年的那一场雪

java

架构师

spring

原创 2022-05-05 10:38:26 149 阅读

理解「分布式系统」曾经发生的事情

分布式系统主要包含的内容很多，我就针对两个核心方面做一下解读：分布式应用服务和对象远程调用、数据的分布式存储。先说说分布式应用服务以及对象远程调用的元老之一： EJB/RMI（Enterprise Java Beans/Remote Method Invocation）吧！分布式应用和对象远程调用

架构

数据

微服务

分布式系统

原创 2022-05-05 10:32:43 107 阅读

博客数据库要连接Elasticsearch，使用MySQL还是MongoDB更合理

若进行博客等文本类数据的读写以及专业搜索引擎的连接的解决方案对比，可以肯定的下结论：MongoDB的解决方案中要远远好于MySQL的解决方案。一、从开发工序角度 MySQL的文章读写方式 **方式一：**文章标题、作者、标签、时间和内容存关系表，图片存OSS，地址存关系表上述方式因为OSS和My

数据库

mongodb

mysql

数据

原创 2022-05-05 10:32:20 236 阅读

分布式存储单主、多主和无中心架构的特征与趋势

# 分布式对象存储和分布式文件系统具有很强烈的对比性分布式对象存储是key/value的存储模式，以restful访问方式为主，几乎处于扁平化的存储形式，通过地址作为主键，访问、更新的文件对象作为值。文件本身可以分布式分片，但是key/value的访问都是原子性，文件不能追加数据，亦不能随机访问文

架构

数据

元数据

hdfs

原创 2022-05-05 10:32:00 781 阅读

什么原因才是阻碍Linux桌面发展的罪魁祸首

我大概2000年上大学在宿舍开始玩Linux，到现在20年了！也算是最早一批痴迷于Linux桌面用户啦！记得当时的毕业设计BBS论坛开发就是在Mandrake Linux（后改名Mandriva，一种继承自Redhat体系面向桌面的软件）上面完成的，为了下载三张700M的iso镜像，拿着硬盘跑到网吧

Linux

linux

服务端

android

原创 2022-05-05 10:31:25 119 阅读

分布式和微服务之间的关系

# 一、分布式和微服务架构的定义分布式应用场景涵盖的面非常广，我理解的部分：不同进程之间的互相通信，不同主机的分布式对象之间调用，用于大数据存储的分布式文件系统，用于网络之间相互识别的命名服务，集群中计算或存储的无中心对等模型，分布式事务，数据副本在分布式环境中的复制，云计算服务，

架构

微服务

架构师

数据

原创 2022-05-05 10:31:14 294 阅读

NewSQL分布式数据库，例如TIDB用K/V的底层逻辑

分布式文件系统HDFS无索引就无K/V 首先分布式数据并不是绝对的喜欢使用kv存储模式，例如分布式数据库里面mongodb和elasticsearch是文档形式存储，若把HDFS也算进去的话，它是无索引的存储。上图是HDFS作为分布式数据存储的文件分块存储模式，简单直接，并没有进行任何的kv索引建

大数据

数据

hdfs

sql

原创 2022-05-05 10:30:51 133 阅读

大数据热是华而不实吗？大数据和小数据有什么本质区别

通过看到一种火热的技术现象，会产生对事物的一种浅层认知后，然后再深入理解去获得一个比较深刻的认识。大数据具有社会化，技术性的重要特点。 1. 从社会化看先说这个“大”，也就是大数据最早的定义：速度、类型和容量，所谓的3V。实际上大数据的发展早已经突破了这个定义。数据体现的不是所谓的“大小”，而是规

大数据

数据

生命周期

原创 2022-05-05 10:30:31 109 阅读

四款面向高并发、海量级分布式存储的分布式架构对比

一、Redis的分布式结构解读首先redis采用去中心化的设计这个理解是不到位的。redis分布式的模式，具有主从和集群两种，redis社区的集群方案redis cluster采用的是去中心化设计。我们先看看redis的演化过程：上图是标准的Redis主从模式，只有Master接收写入请求，并将

架构

redis

数据

kafka

原创 2022-05-05 10:29:59 391 阅读

通俗地理解面向服务的架构（SOA）以及微服务之间的关系

SOA是一种软件的应用架构方法，它基于面向对象，但又不是面向对象，整体上是面向服务的架构。SOA由精确的服务定义、松散的构件服务组成，以及业务流程调用等多个方面形成的一整套架构方法。这话是不是听起来，让人觉得有点晕，我们就细细品读一下。 1. SOA的架构思想 1). SOA架构是面向服务的，只不

架构

微服务

异构

面向对象

原创 2022-05-05 10:29:35 456 阅读

博客站的架构渐进升级优化，亿级日写量架构又是什么样呢？

传统上建设一个博客网站需要：一个反向代理Nginx、一个应用服务、一个数据库MySQL，就能建立起来标准的WEB站。如果每天3000多的文章量就存在慢的问题，就要考虑架构的适量改进了。传统架构的优化那么是否增加并均衡负载多个应用服务可以提升并发请求响应速度。同时考虑加入Redis，提升读取性能

架构

数据库

数据

关系型数据库

原创 2022-05-05 10:29:16 128 阅读

国内开源项目无法形成气候且难以持续性的问题分析

1. 国外开源社区国外开源首先最主流的群体就是社区，Linux内核，Debian发行版，GNU开源库，都是做得很纯净的社区模式。其次才是商业公司组织，通过开源，提升企业在社区中的影响力和地位。例如：Java的开源版OpenJDK，Google的Android 也有通过开源流行起来的创业公司，例如

程序员

开源项目

hadoop

spark

原创 2022-05-05 10:28:53 114 阅读

HDFS/HBase技术报告·分布式数据库设计架构的全面解析

Hadoop生态的分布式数据库 1、什么是分布式数据库？从狭义的理解就是分布式关系型数据库，主要特指目前热门的NewSQL。从广义的理解，分库分表的传统关系型数据库，传统关系型数据库集群，关系型数据库的主从架构，分布式KV数据库（例如：HBase），分布式文档数据库（例如：MongoDB），分布

大数据

数据

hdfs

nosql

原创 2022-05-05 10:28:28 421 阅读

MongoDB如何才能优雅且合理地设计？

最近刚入坑MongoDB，感觉比MySQL扩展性更强，一张表可以存储特别复杂的字段，这点我非常喜欢，最近需要用MongoDB存储一篇文章的数据，文章的评论和回复的数据存储是个大问题，设计了好久感觉我设计的字段好复杂，还不太合理，请求各位大佬指点一二，希望能参考你们的设计方案。 MongoDB的嵌套与

大数据

mongodb

数据

嵌套

原创 2022-05-05 10:27:48 123 阅读

微服务架构开发电商系统需要用Redis、ES和MQ吗？

如果不用什么很高大上的东西，就是有多个微服务就行这种技术架构会很难吗？我看了一些视频，他们都用到了es、mq、redis的东西，我想不用这些东西，就简单的有多个服务，这样可行吗？ 01 使用微服务你考虑好了吗？首先商场的开发要根据你的实际需要来定夺架构，例如，只是在微信小程序中商品滚动图片展示、

架构

微服务

redis

分布式事务

原创 2022-05-05 10:27:33 152 阅读

小企业面对大数据如何破局，高并发与海量数据技术又如何操作？

公司的项目数据量有限，获取行业线上线下消费数据也困难，没有足够的数据量，如何应用大数据？如何在公司现有情况下接触实际的高并发大数据项目？就是想实操一下高并发的架构设计或者参与互联网级别项目的开发，但又不想舍弃现在的工作？中小企业如何想办法破局大数据本身就特别容易形成技术垄断，让长尾的中小企业无

大数据

数据

高并发

原创 2022-05-05 10:27:16 231 阅读

JAVA中Abstract到底有什么用？都用在哪些方面比较合适？

功能向上聚合 Abstract作为抽象类和抽象方法，第一种情况是在聚合子类的通用性上起到作用，往往出现在重构过程中自然而然形成的一种层次结构～希望将多个子类的通用方法和逻辑提取到父层的抽象类。这种重构情况的最极致表现就是：若再加入新的子类，子类只需要实现抽象类的abstract方法，而且可能就只用

java

struts

子类

抽象类

原创 2022-05-05 10:26:53 283 阅读

现在后端都在用什么数据库存储数据？

那我就根据这两三年的研究与工作经历，说说如今的情况。 1.Oracle：传统行业，尤其是政府，医疗，学校和大企业，基本上还是Oracle应用最广，其次就是DB2。反而是WebLogic和WebSphere这些中间件基本上随着经典javaee的没落，已经逐步退出历史舞台，被富前端和微服务框架的轻量级组

数据库

postgresql

数据

原创 2022-05-05 10:26:38 226 阅读

CTO（技术总监）平时都在做些什么？

目前创业，最后一家公司任职医疗科技公司的研发中心总经理，之前也在几家公司的任职研发/技术总监岗位，在我理解的范围，目前国内中小企业对于CTO/技术总监的岗位区别没有那么明确的职能区分。 1. 先总结我先概要性总结一下CTO/技术总监的作用： ❶ CTO/技术总监应具有企业技术方向的整体把控力，也

程序员

产品经理

互联网产品

项目经理

原创 2022-05-05 10:25:52 770 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

守护石

通俗理解大数据及其应用价值

程序员薪资高吗？爱跳槽就是因为薪资吗？

如何自学编程？

守护石谈学习Java之路

理解「分布式系统」曾经发生的事情

博客数据库要连接Elasticsearch，使用MySQL还是MongoDB更合理

分布式存储单主、多主和无中心架构的特征与趋势

什么原因才是阻碍Linux桌面发展的罪魁祸首

分布式和微服务之间的关系

NewSQL分布式数据库，例如TIDB用K/V的底层逻辑

大数据热是华而不实吗？大数据和小数据有什么本质区别

四款面向高并发、海量级分布式存储的分布式架构对比

通俗地理解面向服务的架构（SOA）以及微服务之间的关系

博客站的架构渐进升级优化，亿级日写量架构又是什么样呢？

国内开源项目无法形成气候且难以持续性的问题分析

HDFS/HBase技术报告·分布式数据库设计架构的全面解析

MongoDB如何才能优雅且合理地设计？

微服务架构开发电商系统需要用Redis、ES和MQ吗？

小企业面对大数据如何破局，高并发与海量数据技术又如何操作？

JAVA中Abstract到底有什么用？都用在哪些方面比较合适？

现在后端都在用什么数据库存储数据？

CTO（技术总监）平时都在做些什么？

欢迎