一个叫大姚的工程师的博客_C/C++,Docker,Hadoop,云平台,其他大数据,其他企业信息化,Spark,云服务,代码编写,团队、项目管理,数据库

机器学习技术系列：【机器学习工程化平台 Kubeflow】简介

导言如今，很多科技企业都投入了对机器学习技术的研究和应用中。但是面临的情况可能是组织已经在本地使用机器学习，但还不能够将其部署到生产环境中；或者能够部署模型，但无法对其进行有效管理。在这种情况下，最有价值的技能不是训练模型，而是管理模型，并以让它们产生最大影响的方式部署它们。了解模型开发生命周期通常机器学习或模型开发遵循以下路径：数据→信息→知识→洞察力。这种从数据中产生洞察力的方式可以用下图来形

机器学习

MLops

原创精选 2月前 243 阅读

实践总结：【用户画像运营分析系统】的工程实践

一、背景【用户画像运营分析系统】是利用用户的“一切”线上行为可追溯、可分析的特点，完成对用户多维度数据的完备收集和挖掘研究，让用户的特点和行为在企业面前都做到“可视化”，形成“用户画像”。从而达成以下商业目标：为企业的经营分析服务；针对用户进行精细化运营服务；针对用户进行个性化推荐、精准营销、个性化客服等多样化服务，深入挖掘潜在的商业价值；一些应用场景!image.png(https://s2.5

用户画像

数据仓库

原创推荐 2月前 450 阅读 1点赞 1收藏

机器学习技术系列：一篇图文笔记了解【机器学习基础知识】

导言最近有小半年由近半数工作和生活时间在机器学习技术（ML）的学习与工程实践中，感觉自己阅读了几本ML方面好书，找到了一些更好的学习网站，所以重新梳理了一下自己理解的的ML基础知识。相关参考摘录书籍及网站如下《机器学习实战：基于ScikitLearn、Keras和TensorFlow》（第2版）《Python深度学习》（第2版）网站：<https://www.showmeai.tech/一、机器学

机器学习

原创推荐 3月前 1007 阅读 1点赞 1收藏

实践总结：【云原生技术与大数据技术】在企业的落地

一、背景：期待解决的问题一年多之前，在经历了不成功的创业之旅后，回到了之前的企业，负责集团互联网业务的产研工作。彼时，在产研层面我们面临着以下问题:（一）在企业视角期待解决的问题1.产品交付质量的提升刻不容缓产品平台注册用户已达千余万，日均活跃用户稳定在百万左右，虽然问题和故障发生率和出现频率不高，但是在大体量用户下的客诉问题依然给市场和内部运营带来了诸多负担。更为严重的是，在市场增长关键期因为大

云原生

大数据

中台

原创精选 3月前 406 阅读

大数据技术系列：图解【大数据平台开发】

导言在前面的文章《「大数据技术体系」学习实践导览》(https://blog.51cto.com/yaocoder/5711005)中，概要式的梳理了大数据平台的业务目标，大数据平台的架构框架，大数据平台中常用的技术及工具，数据治理四方面的内容，算是对自身所了解大数据知识体系的抛砖引玉。今天想以自身的经历和实践经验，分享一下大数据平台的技术生态、开发管理与应用架构。为求简明扼要，内容主要以图示概览

大数据平台

数据仓库

数据流水线

原创精选 4月前 543 阅读

云原生技术系列：深入浅出了解【Kubernetes】

导言：先谈谈在企业深度实践Kubernetes后的一些体会：1.作为一个有过数年微服务编写、运维经历的工程师，我认为使用Kubernetes可以最大化增益微服务的可靠性及服务治理工作。2.作为一个有过数年在团队提倡和推行DevOps持续交付理念的技术管理者，在使用Kubernetes后才真正在团队落地了DevOps全流程。3.在这些过程中，我和团队还有一个更大的体会：Kubernetes极大的提升

云原生

kubernetes

docker

原创推荐 5月前 851 阅读

大数据技术系列：【大数据技术体系】学习实践导览

导言截止目前为止，在自己的技术生涯中，要说哪一种技术体系的学习路径最为曲折，那非大数据技术体系莫属了。相比特定编程语言的学习，相比类如云原生技术这类已然涵盖面很广的技术体系，个人感觉大数据技术的体系“繁杂度”高出了几个量级。具体原因并不是因为大数据技术体系的“难度”，而是因为其“广度”和“自由度”。“广度”——在多年的历史发展和众多企业的参与中，大数据技术及工具的门类极其繁多，特性差异化多且很多体

spark

hadoop

大数据

数据中台

数据治理

原创推荐 7月前 822 阅读 1收藏

云原生技术系列：【Docker 容器】应用示例

导言：之前在文章《云原生核心技术之：容器Docker》(https://blog.51cto.com/yaocoder/5458828)中梳理了容器技术产生的背景、Docker技术简介。其实Docker技术的实际应用也很简单，今天这篇文章便用一个python环境“helloworld！”服务来进行示例。相应的，迁移到生产环境的Python、C、Java、Go等环境应用也大致如此。1、创建一个简单的

docker

原创精选 7月前 321 阅读

云原生技术系列：【DevOps 持续交付体系】的落地实践

导言上一篇文章给大家梳理了DevOps持续交付体系出现的时代背景，以及其定义和解读，也引出了对IT价值流的理解。我们应该都可以感知到，对于新的体系在企业中的实际推广最难的不是体系本身，而是大家思想的抗拒与行动的惰怠；所以在引入推行过程中首先做的是对大家的“思想”松松土。!image.png(https://s2.51cto.com/images/20220903/1662172350914167.

DevOps

CI/CD

持续交付

持续测试

持续部署

原创精选 7月前 344 阅读 yyds干货盘点

云原生技术系列：业务引领的DevOps持续交付体系

导言：云原生技术生态除了上述篇章已经讲述的微服务架构、容器技术（Docker）、容器编排技术（Kubernetes）、ServiceMesh技术（Istio）等技术体系，还有一个很重要的管理实践——DevOps，在进行深层次的微服务或云原生应用架构改造后，进行对应的DevOps整体研发流程改造，可实现业务流程的自动化。下面我们就来了解一下DevOps这种产品研发管理实践。软件工程的发展“如何在满足

持续交付

DevOps

原创精选 9月前 362 阅读

云原生技术系列：Service Mesh 的实现—— Istio

Istio 是 Service Mesh 实现中最成熟也最受欢迎的项目，由 Google、IBM 和 Lyft 开源。可以简单理解为： Istio 是一个用于服务治理的开放平台。 Istio 是一个 Service Mesh 形态的用于服务治理的开放平台。 Istio 是一个与 Kubernetes 紧密结合的适用于云原生场景的 Service Mesh 形态的用于服务治理的开放平台。

Istio

kubernetes

service mesh

docker

原创精选 9月前 1579 阅读 1点赞 2收藏

云原生技术系列：Service Mesh（服务网格）

在复杂业务的后端服务开发中，拆分出的微服务往往是数十个、上百个，即使用上了容器技术方便了其打包部署，使用了 Kubernetes 进行便捷的容器编排管理，但众多微服务之间往往涉及到复杂的业务通信和服务治理场景。前面的篇章已经总体介绍了云原生技术体系中的‘微服务’、‘容器’、‘容器编排’技术，今天给大家介绍的便是体系中的服务治理方案‘Service Mesh（服务网格）’。

服务网格

微服务

ServiceMesh

原创推荐 9月前 843 阅读

云原生技术系列：Kubernetes

一、kubernetes基本介绍Kubernetes是Google开源的一个容器编排引擎，提供了⾯向应⽤的容器集群部署和管理。Kubernetes的⽬标旨在消除编排物理/虚拟计算，⽹络和存储基础设施的负担，并使应⽤程序运营商和开发⼈员完全将重点放在以容器为中⼼的原语上进⾏⾃助运营。Kubernetes也提供稳定、兼容的基础（平台），⽤于构建定制化的workflows和更⾼级的⾃动化任务。二、kub

Kubernetes

原创推荐 9月前 749 阅读 1收藏

云原生技术系列：容器 | Docker

docker

应用程序

服务器

原创推荐 9月前 722 阅读

云原生技术系列：微服务 | DDD（领域驱动设计）| 微服务技术框架

导言：记得自己最早接触类似‘微服务’的理念和实践是在2013年写一个工业级IM系统，当时向往和学习的对象就是腾讯系。特别是腾讯大讲堂中一期《微信之道－至简》对自己的架构理念影响很深，比如下图（1）中体现的就是微服务的设计思想。我也是仿照此架构，设计了我们的IM系统架构。!image.png(https://s2.51cto.com/images/20220707/1657203021985196.

微服务

原创精选 9月前 764 阅读 1点赞

云原生技术系列：“一图一文”全面了解云原生

导言：至如今，云计算这个概念已经火了十年有余，我们这些相关IT从业者也经历了听闻、理解、应用、熟练这么个漫长的过程。当下，千行百业已从积极拥抱云计算向升级为云原生应用方向演进，特别在数字化时代的洪流中，云原生被视为未来社会数字化转型最有效的利器。我们则又要从理解云原生开始，将云原生应用在我们的工作中创造社会价值，也实现自我的价值。本文便将带大家通过“一图一文”全面了解云原生。一图一文Github：

原生应用

云计算

git

原创精选 9月前 434 阅读

实践总结：《‘高并发&高性能&高可用服务程序’编写及运维》指南

导言：记得在远2012年时，因为向往着能写高并发程序，自己选择了跳槽。开始时是写支撑数万设备并发的程序（我们物联网设备业务需要保持长连接），随着企业的发展，逐渐增长到十万、数十万设备，当时还讲究挖掘单机性能，所以紧着各种线程模型、I/O模型……不断地挖掘潜能，实在挖不动了就开始着手用分布式方案的解决。比如当时开源的一个高性能服务模型：<https://github.com/yaocoder/HPN

高并发

高可用

高性能

高扩展

原创推荐 10月前 881 阅读 yyds干货盘点

云原生技术系列：【DevOps持续交付体系】导览

导言：在自己从事产品研发实践和管理的十几年职业生涯里，少部分时间经历的是以瀑布式开发为主导的研发模式；绝大部分时间经历的是以敏捷开发为主导的研发模式；在硬件研发制造的场景下，也经历过以IPD（集成产品开发）为主导的研发模式。其实，各种研发体系的出现和行业实践，都是在解决“如何保障产品交付质量？”“如何提高产品交付速度？”的本质问题。同时，对于研发团队而言，不仅仅是按时保质的交付产品即可，如敏捷开发

DevOps

CI

CD

部署流水线

原创精选 10月前 624 阅读

精进之路：【人工智能】的学习及实践

曾以产研角色和企业管理者的身份亲自经历过PC互联网和移动互联网两段发展历程，现在面临新的一波AI浪潮时，联想起互联网对各个行业/企业的赋能甚至颠覆，十分笃定AI重塑行业/企业也一定是大势所趋。

机器学习

人工智能

原创精选 2022-02-20 21:30:57 686 阅读 1收藏

【基于IPD的产品开发体系】推行实践

导言：在自己从事产品研发实践和管理的十几年职业生涯里，经历过以瀑布式开发为主导的产品研发模式，经历过以敏捷开发为主导的产品研发模式，其相应的背景也是在软件项目和互联网软件平台为主导的情境下。但是当企业产品主要是硬件的研发、生产、销售时，经历的却是以IPD（集成产品开发）为主导的产品研发模式。其实自己经历过对IPD的抗拒，慢慢的适应，到着力推行的转变。作为一个软件开发工程师出身和大部分时间在做着互联

IPD

开发体系

原创 2018-12-03 09:54:01 6013 阅读

《微服务设计》读书笔记

导读：《微服务设计》是一本非常出彩的技术书籍，从可读性、实战技术干货方面都非常优秀，甚至让我想起了曾经读《深入理解计算机系统》《UNIX编程艺术》这类经典好书时的感觉。以下是我做的一些概括性的读书笔记，非常希望大家能阅读全书，挖掘更多知识。

微服务

读书笔记

原创精选 2018-04-28 08:39:21 7116 阅读 3点赞

分布式系统实战

导言：记得在自己大学毕业的2006年到之后近五年的工作里，源于工作经历和有限的视野，几乎对“分布式系统”没有任何概念。当然，彼时的互联网/移动互联网还未对我们的生活呈覆盖颠覆之势，很多网络应用采用传统的集中式服务便可应对。但是随着互联网大潮的风起云涌，出现了越来越多的细分大流量网站及应用，网民体量也如滚落雪球一般越来越大，这种情况下分布式的概念几乎在技术圈“家喻户晓”，也成了我们追逐的另一颗时代“

分布式

原创推荐 2017-12-03 22:06:06 8712 阅读 8点赞 3收藏

我的“技术架构”之旅

导语：很久没写过涉及技术的文章了，因为进行职业转型后对技术有种很纠结的心态。热爱——每每看到五颜六色的代码窗口就会心里发酸，想起曾经那是生活中的一份灿烂心情；不自信——这么久离开技术会不会已经落后生疏（虽然一直没有脱离技术的学习与参与，但是失去了一线写代码的实践）。今天恰好去参加AWS（亚马逊云服务）的一个区域讨论会，一位亚马逊的架构师在为大家讲解AWS云服务及一些案例的架构设计，很多熟悉的概念，

架构设计

原创推荐 2017-11-16 22:48:50 10000+阅读 13点赞 6收藏

敏捷开发思想及Scrum实践

导语：现在每当直接或间接带一支研发团队我都会给大家做一次敏捷思想和实践的培训（注：软件方向，复杂的硬件开发流程建议使用IPD思想）。作为一个有近10年的开发编码工作经验的资深程序员，作为一个管理者，作为一个还算转型成功的创业者，我一直有种初心希望所有研发人员能够敢于并且会表达自己，让更多的人了解自己；希望所有的研发人员不仅仅是机械的写代码，也能洞悉市场、了解用户，让自己的产出能够适配用户和市场的需

敏捷开发

Scrum

原创精选 2017-10-29 22:35:15 7849 阅读 3点赞 4收藏

技术型企业的商业模式

这些天恰好度过了自己的34岁生日，回头一算从06年工作至今已经有11年的职场经历，因为自己的专业背景，一直在技术型企业工作：经历过两家上市公司，一家集软硬件研发为一体的实业公司，一家自己参与创建和管理的互利网公司（集团子公司）。在总结了以上经历过企业的商业模式后，认为技术型企业通常有以下几种商业模式：卖人力资源，卖技术，卖产品，卖解决方案，卖服务、运营用户。卖人力资源：俗称软件外包，这类企业通过自

技术

商业模式

原创精选 2017-10-08 12:14:00 8261 阅读 3点赞 2收藏 3评论

移动固网之殇

背景：标题起了这么一个悲戚戚的名字，自然后面承载着无数个“悲戚戚”的故事。我们平台业务中很重要的一块是视频直播服务（将幼儿园的视频直播给幼儿家长），由于我们没有使用土豪级BGP机房或云带宽网络服务，而是将视频服务器分布式部署在不同的运营商机房中，其中联通和电信多选择的是骨干节点，大家普遍反馈网络质量很好。移动网络就是就近（各省内）选择移动机房部署，之前就常遇见移动固网用户投诉视频看不了，但还不是

互联互通

移动固网

原创 2017-08-22 00:09:35 2751 阅读 1点赞

不会写文档的工程师不是好程序员

自一年多没做技术以来，遇到一些技术同事离职或者参与平台的架构技术评审，每次都感觉困难，文档是其中一个重要原因，要么是随意写一份交接文档完事，要么就是简单画几副逻辑图来讲解评审，更多的是靠口诉。要说我们团队的这些技术人员个顶个也都算公司中的“高手”，但是我却觉得他们还欠缺一个真正的高手所需要的“一定要让别人清晰的、简单的理解你做的，所说的”。另外我们是如何了解历史的，我想就是因为很多人写下了历史，我

文档编写

原创精选 2016-03-12 19:17:18 4806 阅读 1点赞 1评论

创业初体验

何为创业？为什么一开始就抛出这个问题。因为在“创业”这个词满天飞的今天，在政府对大众创业的倡导下，加之社会的鼓噪，创业仿佛成了一件人人可为之事，几乎每个咖啡馆都可以见到一拨拨的人在谈着自己的项目和梦想，每一个不分大小的创业大会总能吸引趋之若鹜的人群，社交网站上顶着总经理和CEO头衔的人越来越多。在我身边，刚参加工作不久的小同事，在职场遇到困境的老同事，天天想要创业的人也大有人在，但是问到他们想做什

创业

原创 2016-01-09 17:13:53 1701 阅读 1评论

一个资深技术人的转型之路

写这篇文章时场景心境皆有不同，正在远离家乡北方遥远的南国深圳，也已经经历过了多次高密集度的各地出差和多个投资人的约见；盯着产品规划、深抠细节；也亲自跑过市场、谈过客户。对，我转型了，由一个对技术无比热爱的人，由一个封闭的技术人转型成为了一个为了公司存亡要想尽各种办法，要处理各种事情的所谓总经理或者CEO。这时我才发现创业维艰，这时我才发现原来技

创业

转型

原创精选 2015-11-28 13:20:59 4261 阅读 1点赞 3评论

技术债务

背景：最近一直在给研发团队强调一定要把产品平台关键的账号系统分离出来，而不是和业务产品线有瓜葛。但是因为涉及改动太大，业务线很忙迟迟得到不到执行。在这种情况下，我协调召开了研发的紧急会议，要求务必在近期解决这个问题，甚至不惜减慢业务线的进度。其实如果大家仅仅是因为时间紧、任务重无法改动我倒不担心，我最怕的就是大家认为这件事情并不严重，在我做技术的9年生涯中见证过太多次因为不重视这种情况、或者推迟修

技术债务

原创精选 2015-08-01 09:58:15 1868 阅读 2点赞 1评论

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客

永远的朋友

机器学习技术系列：【机器学习工程化平台 Kubeflow】简介

实践总结：【用户画像运营分析系统】的工程实践

机器学习技术系列：一篇图文笔记了解【机器学习基础知识】

实践总结：【云原生技术与大数据技术】在企业的落地

大数据技术系列：图解【大数据平台开发】

云原生技术系列：深入浅出了解【Kubernetes】

大数据技术系列：【大数据技术体系】学习实践导览

云原生技术系列：【Docker 容器】应用示例

云原生技术系列：【DevOps 持续交付体系】的落地实践

云原生技术系列：业务引领的DevOps持续交付体系

云原生技术系列：Service Mesh 的实现—— Istio

云原生技术系列：Service Mesh（服务网格）

云原生技术系列：Kubernetes

云原生技术系列：容器 | Docker

云原生技术系列：微服务 | DDD（领域驱动设计）| 微服务技术框架

云原生技术系列：“一图一文”全面了解云原生

实践总结：《‘高并发&高性能&高可用服务程序’编写及运维》指南

云原生技术系列：【DevOps持续交付体系】导览

精进之路：【人工智能】的学习及实践

【基于IPD的产品开发体系】推行实践

《微服务设计》读书笔记

分布式系统实战

我的“技术架构”之旅

敏捷开发思想及Scrum实践

技术型企业的商业模式

移动固网之殇

不会写文档的工程师不是好程序员

创业初体验

一个资深技术人的转型之路

技术债务