Logo

  • flyfish225

    发布于:7 小时前

    0

    大数据平台CDH6.3.2部署
    大数据平台CDH6.3.2部署标签(空格分隔):大数据平台构建一:环境初始化二:安装CDH6.3.2一:环境初始化1.1环境介绍系统:CentOS7.5X64cat/etc/hosts----192.168.11.160dev01.lanxintec.cn192.168.11.161dev02.lanxintec.cn192.168.11.162dev03.lanxintec.cn----1.2:
    阅读 75 评论 0 收藏 0
  • ZeroOne01

    发布于:1 天前

    1

    Kafka核心API——Connect API
    KafkaConnect基本概念介绍KafkaConnect是一个用于将数据流输入和输出Kafka的框架。Confluent平台附带了几个内置connector,可以使用这些connector进行关系数据库或HDFS等常用系统到Kafka的数据传输,也是用来构建ETL的一种方案。KafkaConnect基本概念:KafkaConnect实际上是Kafka流式计算的一部分KafkaConnect主要
    阅读 527 评论 0 收藏 0
  • ZeroOne01

    发布于:3 天前

    1

    Kafka核心API——Stream API
    KafkaStream概念及初识高层架构图KafkaStream是ApacheKafka从0.10版本引入的一个新Feature,它提供了对存储于Kafka内的数据进行流式处理和分析的功能。简而言之,KafkaStream就是一个用来做流计算的类库,与Storm、SparkStreaming、Flink的作用类似,但要轻量得多。KafkaStream的基本概念:KafkaStream是处理分析存储
    阅读 204 评论 0 收藏 0
  • ZeroOne01

    发布于:3 天前

    1

    Kafka核心API——Consumer消费者
    Consumer之自动提交在上文中介绍了ProducerAPI的使用,现在我们已经知道如何将消息通过API发送到Kafka中了,那么现在的生产者/消费者模型就还差一位扮演消费者的角色了。因此,本文将介绍ConsumerAPI的使用,使用API从Kafka中消费消息,让应用成为一个消费者角色。还是老样子,首先我们得创建一个Consumer实例,并指定相关配置项,有了这个实例对象后我们才能进行其他的操
    阅读 128 评论 0 收藏 0
  • wx5ec775d9752f2

    发布于:4 天前

    0

    诺禾
    20 年元旦前夜,一家位于加拿大多伦多市的人工智能(AI)企业 BlueDot 捕捉到一些异常:中国武汉市海鲜市场周边呈现多起稀有肺炎病例,BlueDot 迅即反响,运用自然言语处置、机器学习等技术,分离大数据和定位追踪,疾速向协作的政府部门和公共卫活力构客户传送警报并报告扩散情况。
    阅读 99 评论 0 收藏 0
  • mac小编

    发布于:4 天前

    0

    Website Watchman for Mac(网站内容监控工具)
    想要一款网站实用工具对网站内容进行实时监控?小编为大家推荐Website Watchman Mac版!
    阅读 36 评论 0 收藏 0
  • TaoismLi

    发布于:6 天前

    0

    ambari大数据集群+HIVE安装配置
            源码安装对于新手来说往往费时费力,搭建好hadoop环境之后,再搭建hadoop生态中其他工具就更具挑战;此外,搭建好之后对于生态工具的管理以及监控也是不小的挑战,因此ambari及CDH并应运而生。ambari及CDH的诞生极大简化了大数据集群的配置安装及监控管理。这篇文章以ambari大数据集群的安装配置为例,记录整个过程。                PS: 本文中用到的安
    阅读 113 评论 0 收藏 0
  • ZeroOne01

    发布于:10 天前

    1

    Kafka核心API——Producer生产者
    Producer异步发送演示在上文中介绍了AdminClientAPI的使用,现在我们已经知道如何在应用中通过API去管理Kafka了。但在大多应用开发中,我们最常面临的场景就是发送消息到Kafka,或者从Kafka中消费消息,也就是典型的生产/消费模式。而本文将要演示的就是如何使用ProducerAPI将消息发送至Kafka中,使应用成为一个生产者。ProducerAPI具有以下几种发送模式:异
    阅读 186 评论 0 收藏 0
  • tomjack2017

    发布于:11 天前

    0

    跟我一步一步学习Hadoop(1)准备Linux集群环境
    安装虚拟机,我的是VMwareWorkstationPro12,在VM中创建虚拟机同时安装一个Linux环境。这里就不在细说,如果有需要的朋友可以联系微信号:18008428026,后期可以增加内容。1.准备Linux环境(我的是CentOS6.4版本)1.0在安装好一台linux后,需要配置好网络。网络配置注意:1.后期的虚拟机我们要使用NAT模式进行网络连接,先在本地机选择网络-->右键
    阅读 67 评论 0 收藏 0
  • ZeroOne01

    发布于:11 天前

    1

    Kafka核心API——AdminClient API
    五类Kafka客户端作用和区别在上文中介绍了如何搭建一个Kafka服务,那么在开发中我们要如何去访问、集成Kafka呢?这就需要使用到本文将要介绍的Kafka客户端API。下图是官方文档中的一个图,形象表示了能与Kafka集成的客户端类型:这些客户端通过API与Kafka进行集成,Kafka的五类客户端API类型如下:AdminClientAPI:允许管理和检测Topic、broker以及其他Ka
    阅读 559 评论 0 收藏 0
写文章