导言如今,很多科技企业都投入了对机器学习技术的研究和应用中。但是面临的情况可能是组织已经在本地使用机器学习,但还不能够将其部署到生产环境中;或者能够部署模型,但无法对其进行有效管理。在这种情况下,最有价值的技能不是训练模型,而是管理模型,并以让它们产生最大影响的方式部署它们。了解模型开发生命周期通常机器学习或模型开发遵循以下路径:数据→信息→知识→洞察力。这种从数据中产生洞察力的方式可以用下图来形
一、背景【用户画像运营分析系统】是利用用户的“一切”线上行为可追溯、可分析的特点,完成对用户多维度数据的完备收集和挖掘研究,让用户的特点和行为在企业面前都做到“可视化”,形成“用户画像”。从而达成以下商业目标:为企业的经营分析服务;针对用户进行精细化运营服务;针对用户进行个性化推荐、精准营销、个性化客服等多样化服务,深入挖掘潜在的商业价值;一些应用场景!image.png(https://s2.5
导言最近有小半年由近半数工作和生活时间在机器学习技术(ML)的学习与工程实践中,感觉自己阅读了几本ML方面好书,找到了一些更好的学习网站,所以重新梳理了一下自己理解的的ML基础知识。相关参考摘录书籍及网站如下《机器学习实战:基于ScikitLearn、Keras和TensorFlow》(第2版)《Python深度学习》(第2版)网站:<https://www.showmeai.tech/一、机器学
一、背景:期待解决的问题一年多之前,在经历了不成功的创业之旅后,回到了之前的企业,负责集团互联网业务的产研工作。彼时,在产研层面我们面临着以下问题:(一)在企业视角期待解决的问题1.产品交付质量的提升刻不容缓产品平台注册用户已达千余万,日均活跃用户稳定在百万左右,虽然问题和故障发生率和出现频率不高,但是在大体量用户下的客诉问题依然给市场和内部运营带来了诸多负担。更为严重的是,在市场增长关键期因为大
导言在前面的文章《「大数据技术体系」学习实践导览》(https://blog.51cto.com/yaocoder/5711005)中,概要式的梳理了大数据平台的业务目标,大数据平台的架构框架,大数据平台中常用的技术及工具,数据治理四方面的内容,算是对自身所了解大数据知识体系的抛砖引玉。今天想以自身的经历和实践经验,分享一下大数据平台的技术生态、开发管理与应用架构。为求简明扼要,内容主要以图示概览
导言:先谈谈在企业深度实践Kubernetes后的一些体会:1.作为一个有过数年微服务编写、运维经历的工程师,我认为使用Kubernetes可以最大化增益微服务的可靠性及服务治理工作。2.作为一个有过数年在团队提倡和推行DevOps持续交付理念的技术管理者,在使用Kubernetes后才真正在团队落地了DevOps全流程。3.在这些过程中,我和团队还有一个更大的体会:Kubernetes极大的提升
导言截止目前为止,在自己的技术生涯中,要说哪一种技术体系的学习路径最为曲折,那非大数据技术体系莫属了。相比特定编程语言的学习,相比类如云原生技术这类已然涵盖面很广的技术体系,个人感觉大数据技术的体系“繁杂度”高出了几个量级。具体原因并不是因为大数据技术体系的“难度”,而是因为其“广度”和“自由度”。“广度”——在多年的历史发展和众多企业的参与中,大数据技术及工具的门类极其繁多,特性差异化多且很多体
导言:之前在文章《云原生核心技术之:容器Docker》(https://blog.51cto.com/yaocoder/5458828)中梳理了容器技术产生的背景、Docker技术简介。其实Docker技术的实际应用也很简单,今天这篇文章便用一个python环境“helloworld!”服务来进行示例。相应的,迁移到生产环境的Python、C、Java、Go等环境应用也大致如此。1、创建一个简单的
导言上一篇文章给大家梳理了DevOps持续交付体系出现的时代背景,以及其定义和解读,也引出了对IT价值流的理解。我们应该都可以感知到,对于新的体系在企业中的实际推广最难的不是体系本身,而是大家思想的抗拒与行动的惰怠;所以在引入推行过程中首先做的是对大家的“思想”松松土。!image.png(https://s2.51cto.com/images/20220903/1662172350914167.
导言:云原生技术生态除了上述篇章已经讲述的微服务架构、容器技术(Docker)、容器编排技术(Kubernetes)、ServiceMesh技术(Istio)等技术体系,还有一个很重要的管理实践——DevOps,在进行深层次的微服务或云原生应用架构改造后,进行对应的DevOps整体研发流程改造,可实现业务流程的自动化。下面我们就来了解一下DevOps这种产品研发管理实践。软件工程的发展“如何在满足
Istio 是 Service Mesh 实现中最成熟也最受欢迎的项目,由 Google、IBM 和 Lyft 开源。可以简单理解为: Istio 是一个用于服务治理的开放平台。 Istio 是一个 Service Mesh 形态的用于服务治理的开放平台。 Istio 是一个与 Kubernetes 紧密结合的适用于云原生场景的 Service Mesh 形态的用于服务治理的开放平台。
在复杂业务的后端服务开发中,拆分出的微服务往往是数十个、上百个,即使用上了容器技术方便了其打包部署,使用了 Kubernetes 进行便捷的容器编排管理,但众多微服务之间往往涉及到复杂的业务通信和服务治理场景。前面的篇章已经总体介绍了云原生技术体系中的‘微服务’、‘容器’、‘容器编排’技术,今天给大家介绍的便是体系中的服务治理方案‘Service Mesh(服务网格)’。
一、kubernetes基本介绍Kubernetes是Google开源的一个容器编排引擎,提供了⾯向应⽤的容器集群部署和管理。Kubernetes的⽬标旨在消除编排物理/虚拟计算,⽹络和存储基础设施的负担,并使应⽤程序运营商和开发⼈员完全将重点放在以容器为中⼼的原语上进⾏⾃助运营。Kubernetes也提供稳定、兼容的基础(平台),⽤于构建定制化的workflows和更⾼级的⾃动化任务。二、kub
导言:记得自己最早接触类似‘微服务’的理念和实践是在2013年写一个工业级IM系统,当时向往和学习的对象就是腾讯系。特别是腾讯大讲堂中一期《微信之道-至简》对自己的架构理念影响很深,比如下图(1)中体现的就是微服务的设计思想。我也是仿照此架构,设计了我们的IM系统架构。!image.png(https://s2.51cto.com/images/20220707/1657203021985196.
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号