Logo

  • wx5da03a3bd2999

    发布于:4 天前

    0

    Spark Streaming的核心DStream之转换操作实例
    DStream的转化操作DStreamAPI提供的与转化操作相关的方法如下:如下举例详解transform(func)方法和updateStateByKey(fhnc)方法:(1)、transform(func)方法transform方法及类似的transformWith(func)方法允许在DStream上应用任意RDD-to-RDD函数,它们可以被应用于未在DStreamAPI中暴露的任何RD
    阅读 99 评论 0 收藏 0
  • 宜信技术

    发布于:7 天前

    0

    基于Ceph对象存储构建实践
    存储发展数据存储是人类永恒的话题和不断探索的主题绳结记事原始社会,文字未发明之前,人们所使用的一种记事方法,在绳子上打结记事。穿孔卡穿孔卡片是始于20世纪的主要存储方法,也是最早的机械化信息存储形式,进入20世纪60年代后,逐渐被其他存储手段取代。目前穿孔卡片已经极少使用,除非用于读出当年存储的历史数据。磁鼓存储器20世纪50年代,磁鼓作为内存储器应用于IBM650。在后续的IBM360/91和D
    阅读 163 评论 0 收藏 0
  • netbird_fly

    发布于:9 天前

    0

    一次使用spark进行离线计算的实践
    经过一个多月来的研究实践,在亲友团的帮助下,我的第一个spark程序终于上线了,现在总结下实践历程。
    阅读 459 评论 0 收藏 0
  • 观远数据BI

    发布于:14 天前

    0

    SQL的弱点(1):复杂SQL不易理解,以及软件工程如何来帮忙
    1. SQL是经久不衰的基础能经过时间考验的SQL,其优点毋庸置疑。对于日常处理数据的朋友们(BI顾问,数据开发,数仓建模,数据研发,ETL工程师,AI工程师等),SQL更是一项非常重要的基础技能。这里就不再列举SQL的优点了(很多),而只谈谈SQL使用中的一些问题,这里是系列文章的开篇:复杂SQL不易理解。2. 讲故事先讲个故事来示例,注:示例中的表和场景都是经过简化的,实际中可能复杂非常多示例
    阅读 160 评论 0 收藏 0
  • collen7788

    发布于:16 天前

    0

    【赵强老师】在Spark SQL中读取JSON文件
    【赵强老师】在Spark SQL中读取JSON文件
    阅读 115 评论 0 收藏 0
  • 大海之中

    发布于:22 天前

    0

    spark-xgboost8.1 java 例子
    spark-xgboost8.1 java 例子
    阅读 141 评论 0 收藏 0
  • ZMM723

    发布于:24 天前

    0

    spark集群环境搭建
    spark
    阅读 173 评论 0 收藏 0
  • wx5da03a3bd2999

    发布于:2020-04-27 18:44:14

    0

    Spark小实例——求文件中的最大值和最小值(IDEA实现)
    Spark小实例——求文件中的最大值和最小值(IDEA实现)
    阅读 134 评论 0 收藏 0
  • qq5e9815718eb95

    发布于:2020-04-16 19:48:57

    0

    HR人力资源管理系统软件,企业需要的管理软件。
    Teamface企典HR人力资源管理系统软件的五大优势和四大功能: 1.降低企业人力资源成本,提高人均产值。 2.提高管理数据的准确性 3.规范化管理, 5.为企业决策提供数据 6.有助于HR管理目标 7.有助于让HR提供更好的服务 8.有助于降低HR的管理成本 9.有助于HR革新的管理理念
    阅读 75 评论 0 收藏 0
  • wx5da03a3bd2999

    发布于:2020-04-14 14:54:51

    0

    Spark运行原理(大白话笔记)
    spark运行原理讲解的是spark在运行期间集群中的节点是怎么接收任务和处理任务的具体的步骤如下:1、在客户端通过命令提交一个job任务的时候,Driver就会启动相关的节点进行工作2、客户端的driver会向master注册资源。在这两步中,driver的角色实际上就是通知集群有任务了,开始干活,而具体启动任务的是master,master的角色就是分配做任务的资源,并且监控资源的使用情况,这
    阅读 168 评论 0 收藏 0
写文章