zhi6hao的博客_Python系列,Spark系列

初探ID-Mapping技术

阿里/网易/美团/58用户画像中的ID体系建设(http://www.woshipm.com/pd/4238062.html)阿里ID的打通，必须有IDID之间的两两映射打通关系，通过ID映射关系表，才能将多种ID之间的关联打通，完全孤立的两种ID是无法打通的。网易结合各种账户、各种设备型号之间的关系对，以及设备使用规律等用户数据；采用规则规律、数据挖掘算法（连通图划分+社区发现）的方法，判别账户

广告技术

ID-Mapping

原创 2021-10-26 16:55:17 1894 阅读 10点赞 3收藏

选择一个更佳的姿势挑战关系链计算

本文总结了关系链的拓扑结构和计算框架。王者荣耀春节摇一摇活动，用户可以摇出好友的王者数据，面对庞大的日志数据和关系链扩散，破解奥秘是什么？首发在腾讯内部技术论坛，阅读1500+，收藏/评论100+；脱敏后进行分享。背景王者荣耀春节摇一摇活动，用户可以摇出好友的王者数据，如下图所示。在这个案例中，有两个难点：1.从千亿级的日志数据中，计算每个用户的王者大数据，其中用户规模是亿级，大数据指标超过20个

大数据

好友关系链

GraphX

原创 2021-09-06 15:24:05 602 阅读

怎么样学习一门技术？

技术日新月异，提升学习效率至关重要。小结一下自己的学习门道。前有大框架，后有技术细节。脑海中，先想明白技术架构是怎么样的，解决什么问题；切勿急匆匆陷入细节。用自己的话表达。用23句话说清楚，可以说给自己听，也可分享给别人。说的清楚，那就抓住了要点；说不明白，功夫还不够。结合例子、问题。代码例子，工作场景中的问题。结合案例，对于自己理解或者其他人理解，往往通透。动动手。建议中等难度；别太简单，别太复

学习效率

方法论

原创 2021-09-01 11:48:37 214 阅读

minibatch in python

解决问题中，minibatch是一个有效方法。全部处理，粒度太大，可能搞不定；一个一个处理，粒度太小，效率不高。这时候，minibatch就是折中方案。ShowMeCode基于python进行试验，三种实现机制。1.朴素方法。2.minibatch设置batch_size，不填补；3.minibatch_pad设置batch_size，不足填补pad_valuepythoncoding:utf8d

minibatch

python

原创 2021-08-27 14:48:22 253 阅读

读后感-20210826

近日阅读中，2句话，颇有感悟。记录如下。士先器识，而后文艺。意思是：一个人应当先培养器量见识，其次是文才技艺。出自后晋赵莹主修的《旧唐书·列传·卷一百四十》：“士之致远，先器识而后文艺。”器量，是里子；文艺，是外在。可见的是外在，内心追求更应该聚焦内里的元素。子曰：“道不行，乘桴浮于海，从我者，其由与！”子路闻之喜。孔子说：“如果主张的确无法推行了，我想乘着木排漂流海外。但跟随我的，恐怕只有仲由吧

读后感

原创 2021-08-26 15:22:50 523 阅读

浅析 DataFrame

DataFrame表达了结构化数据。pandas里面有DataFrame，spark里面有DataFrame，flink里面有DataFrame和DataStream。殊途同归，大同小异。SQL逻辑示例：sqlselectxx,COUNT(DISTINCTid)from(selecta.id,a.xx,b.xxxfromtable_AaJOINtable_Bbona.id=b.id)aGROUPB

dataframe

架构思考

原创 2021-08-26 14:47:31 174 阅读

浅谈代码风格和质量指南

今日阅读《ApacheFlink代码风格和质量指南—序言》(https://flink.apache.org/zh/contributing/codestyleandqualitycomponents.html)，颇有启发。摘要如下：一次代码贡献(或者任何代码片段)可以从很多角度进行评价：一组评判标准是代码是否正确和高效。这需要正确且良好的解决逻辑或算法问题。另一组评判标准是代码是否使用了简洁的设

研发流程

代码质量

原创 2021-08-25 16:06:49 461 阅读

精选Flink文档和案例

精选Flink文档和案例Flink文档《Flink原理与实践》：中文领域最详细的Flink入门教程(https://lulaoshi.info/flink/index.html)逻辑清晰，言简意赅。采用scala语言提供按理，有利有弊。优势在于：scala语言是函数式编程，对于map/flatmap/keyby等各类算子，表达力强劲；代码简洁清晰。劣势在于：scala比较冷门，不如java受众广泛

Flink

原创 2021-08-20 17:26:00 757 阅读

dataframe print显示所有行和列

Dataframeprint，经常出现行列截断，不够直观。如何解决呢？让我们动手吧pythoncoding:utf8importpandasaspddataFrame=pd.DataFrame('20210630',1,21636136,1975,'20210630',2,10054435,1277,'20210630',4,8292167,1484,'20210630',5,12018336,1

python

dataframe

原创 2021-08-12 17:10:03 8927 阅读 1收藏

Python是一门优雅的工具语言

人生苦短，我用Python。1.处理数据的过程中，Python+pandas真香。Pandas和常规数据结构(List,Map...)对比，开发效率高、维护成本低。手撸LeetCode，写出一堆方形轮子，毫无意义。2.实践中，容易写的随意，无法复用、解读；工程实践，需更多规范！推荐系统学习，磨刀不误砍柴工。3.运行环境一致性测试环境与线上环境，隔离机器裁撤，环境一致性（Python+Docker）

python

pandas

原创 2021-08-12 16:50:52 210 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx6114ddf9d0eab的博客

初探ID-Mapping技术

选择一个更佳的姿势挑战关系链计算

怎么样学习一门技术？

minibatch in python

读后感-20210826

浅析 DataFrame

浅谈代码风格和质量指南

精选Flink文档和案例

dataframe print显示所有行和列

Python是一门优雅的工具语言