Logo

  • Stitch_x

    发布于:8 小时前

    0

    Spark 调优之RDD持久化级别及kryo序列化性能测试
    RDD的持久化是spark优化中必须掌握的,并且,在内存不足的情况下,我们可以将持久化类型选择为MEMORY_ONLY_SER,减少内存的占用,持久化更多的partition,并且不同的序列化方法也会影响序列化性能。 下面,我们就来测试下,持久化级别和序列化方法的选择对RDD持久化大小的影响。
    阅读 93 评论 0 收藏 0
  • 原生zzy

    发布于:18 小时前

    0

    spark案例
      其实小编写这篇文章的目的就是,前两天突然对spark心血来潮,想重温一下scala编写spark,知识嘛要温故知新,虽然现在写的比较少,但是平时花一小时复习复习,看看官网,对知识的巩固和深入有莫大的好处,于是乎小编就从网上搜了搜关于spark的一些入门案例,搜了半小时发现,基本上都是Wordcount,或者一些简单的调用API,让小编实在有些无从下手,于是乎小编就突发奇想,
    阅读 48 评论 0 收藏 0
  • Stitch_x

    发布于:2 天前

    0

    Spark transformation算子之coalesce&&repartition
    详细讲解RDD中两个关于重新分区的算子coalesce和repartition~
    阅读 79 评论 0 收藏 0
  • 南风呀

    发布于:3 天前

    0

    大数据开发学习时间,学习大数据开发需要多久
    当下互联网行业大数据火了,随之大数据开发人才突然编变成了紧缺人才。因为市场上没有对口的大数据开发专业的毕业生,所以对于很多想要进入大数据开发行业的人来说,参加大数据培训,是目前主要的方式。很多人到现在还是学习大数据开发需要多少时间。其实在互联网行业中,IT培训科目还是有很多的,关于学习时间的长短都取决于学习者的基础内容、课程教学、项目实战几方面的影响。下面给大家来一个详细解析。一、基础内容学习对于
    阅读 75 评论 0 收藏 0
  • 南风呀

    发布于:4 天前

    0

    大数据就业:学完大数据怎样就业
    你是不是好奇,这些大数据岗位都要做些什么,为什么这么多企业都在用大数据,学完大数据应该怎样就业?学完大数据有没有前途?大数据是眼下非常时髦的热词,同时也催生出了一些与大数据处理相关的职业下面我们一起来看看参加大数据培训后可以从事的工作岗位及未来发展方向。一、大数据就业前景:首先得明确当下市场对大数据人才的需求,大数据技术人才目前在我国的供需状态,是严重的供不应求,虽然近年来,学大数据的人数有所增加
    阅读 185 评论 0 收藏 0
  • a大数据

    发布于:4 天前

    0

    大数据零基础学习路线,新人记得保存收藏哦
    有很多人对这个东西感兴趣,但是对编程语言也不太了解不过大数据学习并不是高深莫测的,虽然它并没有多简单,但是通过努力,零基础的朋友也是完全可以掌握大数据的。我个人总结了一下零基础学习大数据的话大概分为以下几步:了解大数据理论要学习大数据你至少应该知道什么是大数据,大数据一般运用在什么领域。对大数据有一个大概的了解,你才能清楚自己对大数据究竟是否有兴趣,如果对大数据一无所知就开始学习,有可能学着学着发
    阅读 75 评论 0 收藏 0
  • Stitch_x

    发布于:5 天前

    0

    Spark 报错解决--Error initializing SparkContext
    解决报错Error initializing SparkContext. org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby.
    阅读 95 评论 0 收藏 0
  • Stitch_x

    发布于:5 天前

    0

    Spark系列文章-Spark作业监控
    开启Spark任务监控
    阅读 82 评论 0 收藏 0
  • 南风呀

    发布于:5 天前

    0

    大数据学习:学习大数据需要多少钱
    近几年,大数据越发发展火热。不少想学大数据的人都被培训机构的费用吓跑。现在市面上的大数据培训机构费用一般在1万到2万之间。其实我想说付出与回报是成正比的。那么,学习大数据需要多少钱呢?选择培训机构要注意什么?
    阅读 74 评论 0 收藏 0
  • Stitch_x

    发布于:6 天前

    0

    Scala编程之闭包(closure)
    讲解了闭包的核心,以及如何使用闭包
    阅读 99 评论 0 收藏 0
写文章