Logo

  • 大数据挖掘

    发布于:2020-01-03 11:43:17

    0

    NLPIR技术运用知识图谱技术应用于智能金融
    在金融领域,NLP技术的作用主要在于自动从海量的宏观、行业、微观资讯中发现、分析并整合与各类决策相关的信息。知识图谱在金融中有多项应用,首先通过信息检索技术获取相关文本,然后借语义分析技术从非结构化文本中提取结构化的信息,最后将这些信息加以提炼,并且使之关联到未来可能的发展趋势,从而为预测和决策提供有价值的及时信息。智能金融应用是通过知识图谱相关技术从招股书、年报、公司公告、券商研究报告、新闻等半
    阅读 213 评论 0 收藏 0
  • yongqiao

    发布于:2019-07-23 21:46:20

    0

    一次yarn服务unhealthy状态处理
    自从hadoo集群新加了9个节点之后,有时候发现yarnweb页面有1个或者几个unhealthy状态的节点,但是过一会又正常了,但这种状态经常引起后台的监控的报警。查看了异常节点的日志显示如下yarn的本地日志目录使用超过了90%,然后df看了下,根目录使用率100%了才30G的大小怪不得对比新老节点的磁盘大小发现老节点的大小在20T....修改了新加节点yarn配置文件重新定义了中间态目录,重
    阅读 446 评论 0 收藏 0
  • Ncreep

    发布于:2019-06-26 11:52:27

    0

    hadoop调度器的原理和应用场景解析
    FIFO Scheduler是最简单也是最容易理解的调度器,它缺点是不适用于共享集群。大的应用可能会占用所有集群资源,这就导致其它应用被阻塞。在共享集群中,更适合采用Capacity Scheduler或Fair Scheduler,这两个调度器都允许大任务和小任务在提交的同时获得一定的系统资源。从执行过程图中可以看出,在FIFO 调度器中,小任务会被大任务阻塞。而对于Capacity调度器,有一个专门的队列用来运行小任务,但是为小任务专门设置一个队列会预先占用一定的集群资源,这就导致大任务的执行时间会落后于使用FIFO调度器时的时间。在Fair调度器中,我们不需要预先占用一定的系统资源,Fair调度器会为所有运行的job动态的调整系统资源。如下图所示,当第一个大job提交时,只有这一个job在运行,此时它获得了所有集群资源;当第二个小任务提交后,Fair调度器会分配一半资源给这个小任务,让这两个任务公平的共享集群资源。 需要注意的是,在Fair调度器图中,从第二个任务提交到获得资源会有一定的延迟,因为它需要等待第一个任务释放占用的Container。小任务执行完成之后也会释放自己占用
    阅读 843 评论 0 收藏 0
  • afeiye

    发布于:2019-04-20 14:36:32

    0

    Yarn架构
    Yarn是为了解决MRv1中JobTracker负载过重,而设计的第二代MR运行架构。yarn是个master/slave结构,master节点运行Resourcemanager,slave节点运行nodemanager。RM主要有两个组件:资源调度器(scheduler)和应用程序管理器(ApplicationsManager)scheduler主要进行资源调度,不进行任何与应用程序相关的动作,
    阅读 648 评论 0 收藏 0
  • 科普小哥

    发布于:2019-03-01 17:24:21

    0

    精辟:一篇文章带你看懂数据储存!
    前言:日益火热的云服务小米组织架构调整上了热搜,如同阿里巴巴、华为和腾讯一样,小米组织架构调整中也将云平台单独成为一个部门。自2018年以来,各大企业调整组织架构的动作中,其实可以窥见大企业对云平台的重视程度,云服务在很多方面悄悄的改变了人们的生活,不过由于消费端接触不多,大家对云服务内容认识较少。数据储存是云服务中较为重要的板块,早期百度、腾讯、微博、金山等企业都推出自己的免费云盘,供给用户使用
    阅读 1017 评论 0 收藏 0
  • 马吉辉

    发布于:2019-02-19 14:08:54

    1

    yarn任务调度--capacity scheduler(容量调度) / fair schedule
    2019/2/19星期二yarn任务调度--capacityscheduler(容量调度)/fairscheduler(公平调度)由于集群资源有限,当无法满足众多application的资源请求时,yarn需要适当的策略对application的资源请求进行调度;Scheduler概述Yarn中实现的调度策略有三种:FIFO/Capacity/FairSchedulers(1)FIFOSchedu
    阅读 2279 评论 0 收藏 0
  • 马吉辉

    发布于:2019-02-19 10:56:34

    1

    yarn知识体系总结
    2019/2/18星期一yarn知识体系总结Yarn产生的原因(1)MapreduceV1中,jobtracker存在瓶颈:集群上运行的所有mr程序都有jobtracker来调度SPOF单点故障职责划分不清晰(2)将jobtracker的职责划分成两个部分:资源调度与管理:由统一的资源调度平台(集群)来实现(yarn)任务监控与管理:A、每一个application运行时拥有一个自己的任务监控
    阅读 943 评论 0 收藏 0
  • wyuwu

    发布于:2018-07-07 14:10:58

    0

    OpenCV关于万达平台搭建重映射map_x,map_y的疑惑
    OpenCV中什么万达平台搭建论坛:haozbbs.comQ1446595067是重映射就不赘述了,主要是对源码中map_x,map_y有些疑惑,图像是如何进行重映射的呢?上下变换的部分源码:Matmap_x,map_y;map_x.create(srcimg.size(),CV_32FC1);map_y.create(srcimg.size(),CV_32FC1);for(inti=0;i<
    阅读 1048 评论 0 收藏 0
  • 鑫全

    发布于:2018-06-17 12:42:24

    0

    hadoop2.0中yarn的运行原理
    Yarn的简单介绍         我们知道在离线大数据处理领域中,hadoop是目前无可厚非的处理架构,到目前为止hadoop已经有三个大版本,每个版本下都有架构方面的调整。         在hadoop1.0中有一些弊端,比如hdfs
    阅读 5094 评论 0 收藏 0
  • 鲸落大叔

    发布于:2018-06-10 19:40:22

    0

    Yarn中的Map和Reduce的优化
    Yarn中的Map和Reduce的优化
    阅读 2816 评论 0 收藏 0
写文章