作者介绍 孙赵宏,2018年4月加入去哪儿网,后端大数据研发工程师,目前在大住宿事业部/公共技术中心负责用户基础行为数据工程的研发。本文会主要介绍下基于 Flink 构建用户实时基础行为工程的相关实践,包括 Flink 相关的技术点和基础行为实时工程的业务。Flink 是目前 Qunar 主推的实时数据处理开源平台,用于替代 Spark Streaming。如果你们使用 Flink 也是和我们之前
目录业务需求业务数据源用户访问Session分析Session聚合统计Session分层抽样Top10热门品类Top10活跃Session页面单跳转化率分析各区域热门商品统计分析广告点击流量实时统计分析总体流程实时黑名单广告点击实时统计统计每天各省top3热门广告统计各广告最近1小时内的点击量趋势:各广告最近1小时内各分钟的点击量Flink实现Launcher类AdLog类Schema类Filte
转载 2024-01-17 15:45:39
26阅读
1、程序开发调优 :避免创建重复的RDD需要对名为“hello.txt”的HDFS文件进行一次map操作,再进行一次reduce操作。也就是说,需要对一份数据执行两次算子操作。错误的做法: 对于同一份数据执行多次算子操作时,创建多个RDD。//这里执行了两次textFile方法,针对同一个HDFS文件,创建了两个RDD出来,然后分别对每个RDD都执行了一个算子操作。 这种情况下,Spark需要从H
为了提高源程序的质量和可维护性,从而最终提高软件产品生产力,特编写此规范。本标准规定了程序设计人员进行程序设计时必须遵循的规范。本规范主要针对单片机编程语言和 08 编译器而言,包括排版、注释、命名、变量使用、代码可测性、程序效率、质量保证等内容。 1 .基本规则 格式清晰、注释简明扼要、命名规范易懂、函数模块化、程序易读易维护、功能准确实现、代码空
很多时候, 在linux环境下使用svn命令:通常在上线之后,需要提交的代码都是通过补丁,然后使用SVN来提交。SVN常用命令:svn revert file/path svn diff  当打了补丁之后,可以使用该命令查看是否打上。svn commit -m filename --username user  打了补丁之后,在执行之前要确认是否有新增的文件。svn add n
iPad开发一.iPad开发简介1.什么是iPad一款苹果公司于2010年发布的平板电脑定价介于苹果的智能手机iPhone和笔记本电脑产品之间跟iPhone一样,搭载的是iOS操作系统2.iPhone和iPad的区别屏幕的chicun/分辨率UI元素的排布/设计 由于iPad屏幕比iPhone大,可以容纳更多的UI元素,因此排列方式是不一样的键盘 iPad的虚拟键盘多了个退出键盘的按钮API 共有
转载 2024-04-02 14:59:14
93阅读
### Xcode 可以 Python 开发 在软件开发领域,Xcode 通常被用于开发 iOS 和 macOS 应用程序。但是很多人可能不知道,Xcode 也可以用来进行 Python 开发。通过 Xcode,我们可以使用 Python 编写脚本或应用程序,并在 Xcode 中进行调试和运行。下面让我们一起来探索一下如何在 Xcode 中进行 Python 开发吧。 ### 配置 Xcod
原创 2024-03-26 07:50:43
744阅读
如今,IT编程教育的市场趋势逐渐往泛互联网人群发展,这其中尤其是学习Python的人越来越多。本文要讲的就是怎么开始用Python编写第一个程序,开启你的学习之旅。首先在大家正式开始自己的编程之路之前,应该先把文本编辑器安装好,然后掌握命令行终端的运行方法。在一切准备就绪的时候,我们就可以开始第一个程序的编写了~1、输入内容首先在文本编辑器中输入以下的内容:print "Hello World!"
作为Windows的开发者,没有人比微软更懂如何设计出一台完美融合Windows的硬件,并如何将两者的结合带向更深的一步。Surface系列就是其中最好的体现。作为其旗下第一款Surface产品,Surface其内置NVIDIA Tegra 3处理器,屏幕大小为10.1英寸,最高可选64GB闪存可选,运行Windows RT操作系统。很明显当时Surface就是奔着iPad去的。但也是从Surfa
    本人认为在目前的条件下,我们还不能对帝王陵进行开发。     我们的保存技术水平还不行,只能对陶瓷及其别的经过古代技术处理的发掘物进行保存,而在别的发掘物上我们却无能为力,让我们失去了很多珍贵的东西。例如,马王堆中发掘的丝等物我们却无法保存下来。     有人说我们的秦陵开发时候到了,可以年挣25
原创 2006-11-19 09:25:25
699阅读
Python这门优美的语言是非常适合web开发的,基于Python的Django框架简单便捷且很强大。那么作为新手该如何上手这门语言?一切不敲代码的学编程手段都是扯淡,今天就推荐一些适合新手练手的Python项目
转载 2023-05-24 07:15:27
67阅读
《大数据和人工智能交流》头条号向广大初学者新增C 、Java 、Python 、Scala、javascript 等目前流行的计算机、大数据编程语言,希望大家以后关注本头条号更多的内容。一、系统需求:1、使用控制台作为人机交互输入数据2、使用集合List作为数据存储来模拟数据库3、实现对学生管理数据的如下操作:(1)新增学生信息(2)按照学号删除学生信息(3)按照学号修改学生信息(4)按照学号查
本文主要介绍Python的应用领域,主要有如下几个Web应用开发Python 经常被用于 Web 开发。例如,通过 mod_wsgi 模块,Apache 可以运行用 Python 编写的 Web 程序。Python 定义了 WSGI 标准应用接口来协调 HTTP 服务器与基于 Python 的 Web 程序之间的通信。不仅如此,一些 Web 框架(如 Django、TurboGears、web2p
Java编程可以动图吗 在计算机编程领域,动图是指由多个静态图像按照一定的时间间隔连续播放而形成的图像。动图广泛应用于动画、游戏、用户界面等场景中。那么,Java编程可以用来制作动图吗?答案是肯定的。Java提供了丰富的图形处理库和动画库,可以实现各种动图效果。 Java可以通过Swing或JavaFX来创建图形界面,并利用定时器和绘图功能实现动画效果。下面我们将通过一个简单的示例来演示Ja
原创 2023-12-04 12:06:51
93阅读
Kotlin可以鸿蒙开发吗? 作为一名经验丰富的开发者,我将向你介绍Kotlin在鸿蒙开发中的使用方法和步骤。下面是整个过程的流程图: ```mermaid gantt dateFormat YYYY-MM-DD title Kotlin在鸿蒙开发中的实现流程 section 准备工作 安装鸿蒙开发环境 :done, 2022
原创 2024-01-15 21:30:44
643阅读
Setup Tensorflow with GPU on OSX 10.11环境描述电脑:MacBook Pro 15.6 CPU: 2.7GHz 显卡: GT 650m 系统:OSX 10.11 Python版本:2.7Using Anaconda and pip to install tensorflow安装Tensorflow依赖项 安装brew/usr/bin/ruby -e "$
iOS开发前端可以吗?这是一个让很多开发者感到困惑的问题。在当今的技术环境中,iOS开发者越来越被期望具备前端开发的能力,但这个转变并非没有挑战。本文将详细分析这一问题,从背景到解决方案,再到预防措施,力求给出一个全面的解答。 ### 问题背景 随着移动互联网的普及,越来越多的企业意识到拥有强大的前端团队和移动开发团队的重要性。在iOS开发中,开发者不仅需要编写后端的API,还需保证用户界面
原创 6月前
60阅读
## Java后端开发可以Java卡开发 在Java后端开发中,我们经常会听到“Java卡开发”这个词。那么什么是Java卡开发呢?简单来说,Java卡开发是指利用Java语言来开发智能卡应用程序的过程。智能卡是一种集成了微处理器和存储器的智能芯片,可以用于存储个人信息、进行加密通信等用途。 在进行Java卡开发时,我们通常会使用Java Card平台。Java Card平台是一种用于开发
原创 2024-03-30 07:05:07
63阅读
Docker介绍定义: Docker是基于Go语言实现的云开源项目,诞生于2013年初,最初发起者是dotClouw公司。Docker自开源后收到广泛的关注和讨论,目前已有多个相关项目,逐渐形成了以Docker为中心的生态体系,dotCloud公司后来也改名为Docker lne。 Docker是一个开源的容器引擎,它有助于更快地交付应用。 Docker可将应用程序和基础设施层隔离,并且能将基础设
转载 2024-05-31 20:45:19
30阅读
iPad开发(1)    iPad和iPhone开发的主要区别 1>设备支持的应用程序 iPhone上只能运行iPhone程序 iPad上能够运行iPhone \ iPad程序 2>屏幕方向的支持 iPhone支持3个方向 iPad支持4个方向 3>键盘 iPad的虚拟键盘多了个退出键盘的按钮 iPad特有的API 1.U
转载 2023-10-03 15:57:47
61阅读
  • 1
  • 2
  • 3
  • 4
  • 5