微信公众号个人公众号：程序员黄小斜微信公众号【程序员黄小斜】新生代青年聚集地，程序员成长充电站。作者黄小斜，职业是阿里程序员，身份是斜杠青年，希望和更多的程序员交朋友，一起进步和成长！专注于分享技术、面试、职场等成长干货，这一次，我们一起出发。关注公众号后回复“2019”领取我这两年整理的学习资料，涵盖自学编程、求职面试、算法刷题、Java技术学习、计算机基础和考研等8000G资料...
转载
2021-07-18 11:26:28
639阅读
搞Java开发的同学，目标都想成为Java架构师；搞大数据开发的同学，目标都想成为大数据架构师。成为大数据架构师有什么好处呢？归其原因：1.技术上能达到一定的高度，被公司认可，也被社会认可，有成就感；2.待遇好，薪资高，生活质量高；3.随着年龄越大，经验越丰富越值钱，避免IT程序员35岁后失业的焦虑。那么成为大数据架构师，需要具备哪些技能呢？搞Java开发，薪资上不去，职业前景有限；搞大数据开发，
原创
2019-10-10 11:52:21
1303阅读
Java面向对象、JavaWeb开发、Hadoop、Java I/O与序列化、Redis、Kafka 、Storm
原创
2022-08-26 06:56:23
84阅读
转型大数据适合的人群1、JavaJava编程是大数据开发的基础，大数据中很多技术都是使用Java编写的，如Hadoop、Spark、mapreduce等，因此，想要学好大数据，Java编程是必备技能！2、PythonPython往往在大数据处理框架中得到支持。3、Linux运维企业大数据开发往往是在Linux操作系统下完成的，因此，想从事大数据相关工作，需要掌握Linux系统操作方法和相关命令。在
原创
2019-05-30 12:05:21
450阅读
2025年的大数据工程师技能树将呈现AI融合化、实时化、云原生化三大趋势，以下是分层级的技术体系与学习路径：1. 基础核心层（不可动摇的基石）1.1 编程语言Python：必须精通PySpark、Pandas（包括Arrow加速）掌握asyncio异步处理（应对实时流场景）SQL++：跨平台方言（Snowflake/Redshift/BigQuery差异点）窗口函数优化（如RANGE BETWEE
这两天真的是被《啥是佩奇》这支广告片刷屏了。佩奇明明是个喜剧角色，却把所有人都给看哭了！中间的剧情，小孙子一句：“想要佩奇”，结果爷爷就开始了满村子的寻找佩奇，到最后寻找到了小编认为是最好看的佩奇不知道大家看了之后是什么感觉，反正我看了之后的感觉是非常感动了。不过经过几天的发酵，“佩奇”这两个字似乎有了更多的含义了！各种”佩奇“齐出不穷，女人的“佩奇”是什么样的？程序员的“佩奇”是什么样的？在这里
原创
2019-05-28 11:10:16
999阅读
首先了解下数据分析的基础，如上图所示。1.1.数据人员如何创造价值基于历史数据和业务背景构建指标体系或者模型。基于指标体系、监控线上业务数据并制定相应的监控规则。输出数据分析报告或者提供可执行策略，推动业务的发展。1.2.完整的指标体系构建1.2.1.指标体系构建的整体思路构建指标体系要“纵向”和“横向”相结合，纵向指的是梳理出分析问题的整个流程，有了纵向分析的过程，还需要横向扩展不同维度，最后
原创
2021-05-07 16:20:46
512阅读
1.1.数据人员如何创造价值基于历史数据和业务背景构建指标体系或者模型。基于指标体系、线上业务数据并制定相应的规则。输出数据分析报告或者提供可执行策略，推动业务的发展。1.2.完整的指标体系构建1.2.1.指标体系构建的整体思路构建指标体系要“纵向”和“横向”相结合
原创
2022-01-14 17:53:06
530阅读
算法/数据工程师必备技能 基础知识 线性代数 矩阵理论 概率论 随机过程
转载
2018-05-17 22:12:00
180阅读
2评论
Apache Hadoop Hadoop现在已经进入第二个10年发展期了, 但不可否认的是, Hadoop在2014年出现了井喷式发展, 由于Hadoop从测试集群向生产和软件供应商方向不断转移, 其越来越接近于分布式存储和处理机架构, 因此, 这一势头在2015年会更加猛烈。由于大数据平台的强大,
转载
2016-04-11 21:40:00
69阅读
2评论
导读：Storm是一个分布式计算框架，主要使用Clojure与Java语言编写，最初是由NathanMarz带领Backtype公司团队创建，在Backtype公司被Twitter公司收购后进行开源。最初的版本是在2011年9月17日发行，版本号0.5.0。2013年9月，Apache基金会开始接管并孵化Storm项目。ApacheStorm是在EclipsePublicLicense下进行开发的
原创
2018-06-28 20:37:15
1917阅读
人工智能大数据与深度学习 公众号： weic2c大数据工程师技能图谱https://github.com/TeamStuQ/skill-maphttp...
转载
2021-10-25 10:42:34
186阅读
人工智能大数据与深度学习 公众号： weic2c大数据工程师技能图谱https://github.com/TeamStuQ/skill-mapWeb 页面地址：http://skill-map.stuq.org/大数据通用处理平台SparkFlinkHadoop分布式存储HDFS
原创
2022-04-21 11:44:11
190阅读
大数据工程师技能图谱大数据工程师技能图谱数据可视化RD3.jsEChartsExcel大数据处理框架SparkRDDSpark SQLSpark StreamingMLLibHadoopHDFS（分布式文件系统）Mapreduce（计算框架）Yarn（资源管理平台）Pig（piglatin 语句到 mapreduce 的映射）Hive（数据仓库，提供 SQL）...
原创
2021-07-09 14:15:14
697阅读
大数据工程师技能图谱大数据工程师技能图谱数据可视化RD3.jsEChartsExcel大数据处理框架SparkRDDSpark SQLSpark StreamingMLLibHadoopHDFS（分布式文件系统）Mapreduce（计算框架）Yarn（资源管理平台）Pig（piglatin 语句到 mapreduce 的映射）Hive（数据仓库，提供 SQL）...
原创
2022-03-14 11:29:57
750阅读
本文参考：软件架构师的12项修炼，后续总结个人读后感。
转载
2023-07-20 09:38:48
92阅读
在软件行业，软件架构师是一个至关重要的角色，他们负责设计和规划系统的整体结构，确保软件系统的稳定性、可扩展性和可维护性。要想成为一名优秀的软件架构师，必须掌握一系列必备技能。这些技能不仅关乎技术层面，还涉及项目管理、团队协作等多个方面。在软考中，这些技能也是评判一个软件架构师是否合格的重要标准。
首先，软件架构师必须具备扎实的技术基础。这包括熟练掌握各种编程语言，如Java、Python、C++
原创
2024-05-29 10:41:08
64阅读
合格的数据分析师必备技能大数据时代到来，如何从数据中提取、挖掘对业务发展有价值的、潜在的知识，为决策层的提供有力依据，为产品或服务发展方向起到积极作用，有力推动企业管理的精益化，对于每个企业都意义重大，而这些工作，大多需要数据分析师才能完成，但如何才能成为一个合格的数据分析师呢？1.业务能力只...
转载
2016-12-26 20:41:00
213阅读
2评论
前言："比你牛B的人比你还努力,你有什么资格不去奋斗"
哲学家常思考的问题：" 我是谁？"" 我从哪里来？"" 要到哪里去？不只是哲学家，我想每个人都有自己对这三个问题的认知。如果我们要成为架构师，我们自己要面临的三大问题：找准自己定位：我是谁？在哪里？怎样做好架构师：我要做什么？如何搭建架构师知识体系：我该怎么做？ 这里面就是做事方法论：目标（我要做什么），方法（计划）（我该怎么做）, 执
转载
2021-06-21 10:30:42
462阅读
谈到这个话题的时候，很多人都会说，要精通windows、精通linux、精通各种软件安装排错、精通思科路由器、交换机等等，。。在网上找工作的时候，各种企业会列出各种要求，越看越心虚，越觉得不足。。。其实呢，狗屁！下面是我做了3年这行的一点体会：必备技能之1：重装：原装、ghost。。。很多时候，遇到系统问题，尝试N个方法之后，问题依然解决不掉，或则问题解决了，但是系统却慢了，或是出现其他问题了。。
转载
2013-11-29 14:56:35
871阅读
