3.  安装、配置和部署HDP集群

在浏览器中使用Ambari的安装向导来安装、配置和部署集群方式如下:

• Log In to Apache Ambari 登录Ambari


• Name Your Cluster  设集群名


• Select Stack      选择HDP Stack


• Install Options   


• Confirm Hosts  


• Choose Services


• Assign Masters

• Assign Slaves and Clients

• Customize Services

• Review

• Install, Start and Test

• Complete

 

3.1.  登录Ambari

 

启动万Ambari之后,用浏览器打开Ambari网页:

   1、浏览器输入网址:http://<your.ambari.server>:8080 其中<your.ambari.server>是你的Ambari服务器的机器名。例如一个带有默认Ambari机器名的网址是这样的:http://c6401.ambari.apache.org:8080。

  2、用默认的用户名/密码(默认是admin/admin)登录Ambari,以后你可以更改密码。

         在新集群里,在你操作Ambari安装向导时,Ambari安装向导会显示一个欢迎页面。

3.2.  启用Ambari安装向导

在Ambari欢迎页面,选择LaunchInstall Wizard:

 

ambari安装hive后不能插入数据 ambari部署_ambari安装hive后不能插入数据

3.3.  集群命名

     1、在Nameyour cluster这一步,键入你要创建的集群名称,名称中不能有空格和特殊字符。

      2、选择 Next

 

3.4.  选择HDP Stack

这个Stack是协调和测试的HDp组件,单选你想要安装的Stack版本:

ambari安装hive后不能插入数据 ambari部署_Ambari_02

展开 Advanced Repository Options 可以选择设置Stack软件包下载的仓库 baseURL,Ambari设置的默认的base URL 都需要Ambari连接网络。

  

    • For an Ambari Server host havingInternet connectivity, Ambari sets the repository Base URL for the latest patchrelease for the HDP Stack version. For an Ambari Server having NO Internetconnectivity, the repository Base URL defaults to the latest patch releaseversion available at the time of Ambari release.

• You can overridethe repository Base URL for the HDP Stack with an earlier patch release if youwant to install a specific patch release for a given HDP Stack version. Forexample,the HDP 2.3 Stack will default to the HDP 2.3 Stack patch release 4, orHDP-2.3.4. If you want to install HDP 2.3 Stack patch release 2, or HDP-2.3.2instead, obtain the Base URL from the HDP Stack documentation, then enter thatlocation in Base URL.

• If you are using a local repository, see Using a Local Repository for information about configuring a local repositorylocation, then enter that location as the Base URL instead of the default,public-hosted HDP Stack repositories.

   如果你使用的是本地仓库,请参阅1.5章节短语配置本地仓库位置信息,用这个地址替换原来的base URL,公共托管HDP Stack库。

ambari安装hive后不能插入数据 ambari部署_配置_03

注:The UI displaysrepository Base URLs based on Operating System Family (OS

Family).Be sure to set the correct OS Family based on the Operating System

you arerunning. The following table maps the OS Family to the Operating

Systems.

 

OS Family

Operating Systems

redhat7

Red Hat 7, CentOS 7, Oracle Linux 7

redhat6

Red Hat 6, CentOS 6, Oracle Linux 6

sles11

SUSE Linux Enterprise Server 11

ubuntu12

Ubuntu12

debian7

Debian7

3.5.  Install Options

为建立集群,此安装向导会针对你如何设置它提供大致的提示信息。你需要提供每台机器的机器名(FQDN),此向导还需要你再 Set Up Password-less SSH(设置无密码登录ssh)章节所创建的私钥文件。使用机器名和密钥文件信息,此向导可以安全的定位、访问和交互集群中的所有机器。

1、用 TargetHosts 文本输入框输入你的所有机器名,一个一个机器名。你也可以用“[]”来表示一个机器集合,如host01.domain 到host10.domain可以表示成host[01-10].domain  。

注:If you aredeploying on EC2, use the internal Private DNS host names

2、如果你想要Ambari用SSH自动的安装AmbariAgent,那么就选择Provideyour SSH Private Key 并使用Host RegistrationInformation中Choose File按钮选择之前在你机器上匹配了公钥的私钥文件(id_rsa文件),或者手动剪切并粘贴到文本框中。

     注:如果是使用的是IE9浏览器,那么ChooseFile按钮可能不能用,这时你就只能手动剪切并粘贴你的私钥。

        Fill in the user name for the SSH key youhave selected.如果你不想使用root用户,那么就必须提供一个执行sudo命令时不需要输入密码的账户的用户名。

 

     3、如果你不想要Ambari自动安装Ambari Agents,那么选择Perform

Manual。更多信息请参见Installing Ambari Agents Manually(http://dev.hortonworks.com.s3.amazonaws.com/HDPDocuments/Ambari-Trunk/bk_ambari_reference_guide/content/ch_amb_ref_installing_ambari_agents_manually.html)。

  4、选择 Register and Confirm 进行下一步操作。

 

3.6.  Confirm Hosts

Confirm Hosts prompts you to confirm thatAmbari has located the correct hosts

for your cluster and to check those hoststo make sure they have the correct directories,

packages, and processes required tocontinue the install.

 

如果有机器出现错误,选择上他并点击灰色的 Remove Selected 按钮,删除它。要删除单个机器,也可以选在当前行小的白色的Remove按钮进行删除。

 

在屏幕底部,你会注意到有一个黄色的盒子,在进行操作的时候,这里会出现一些警告信息。你的机器在进行wget 或 curl的时候,点击Clickhere to see the warnings这里可以看到警告,会看到我们在做什么、什么引起了出现这个警告信息。此警告页面也可以访问一个python 脚本,此脚本会清除你遇到的并要运转RerunChecks的任何问题。

 

注:如果你是在RHEL6.5系统上使用Ambari 1.4或更老版本部署HDP,你可能会看到在进行集群安装向导操作到Confirm Hosts 这一步时,注册Ambari Agents 失败了。单击页面上的Failed连接会展示出这个Agent日志。下面的日志信息展示的是在registration期间Agent和Server进行ssl连接失败的信息:

INFO 2014-04-02 04:25:22,669NetUtil.py:55 - Failed to connect to https://<ambari-server>:8440/cert/cadue to [Errno 1] _ssl.c:492: error:100AE081:elliptic curveroutines:EC_GROUP_new_by_curve_name:unknown group

有关这个问题的更多信息,请参见Ambari Troubleshooting Guide(http://dev.hortonworks.com.s3.amazonaws.com/HDPDocuments/Ambari-Trunk/bk_ambari_troubleshooting/content/ch_ambari_troubleshooting.html)。

 

所有的progress都是Success时,就可进入Next。

 

3.7.  Choose Services

在Select Stack(章节3.4)选择出的版本基础之上,你要选择Services安装到集群之中。HDP Stack 包括了许多的Services,你可以选择安装任何可用的Services,以后添加Services(addservices[http://dev.hortonworks.com.s3.amazonaws.com/HDPDocuments/Ambari-Trunk/bk_Ambari_Users_Guide/content/_adding_a_service.html])也可以。在这个页面的安装向导会默认所有的可用Services。

Services。

  2、这一步选择或不选复选框来确认一套要安装的Services。

  3、选择好要安装的Services之后,进入Next。

 

   注:Ambari不能安装HUe,或者HDP Search(Solr)。添加一个Services之后,你可能就需要执行额外的任务。关于安装和配置特定的服务,请参见下面的信息:

• Spark Guide

(http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_spark-guide/content/ch_introduction-spark.html)

 

• StormUser Guide(http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_storm-user-guide/content/ch_using_storm.html).

 

• ConfiguringStorm for Kerberos Over Ambari(http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_secure-storm-ambari/content/ch_secure-storm-overview.html).

 

 

• Installingand Configuring Kafka(http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_kafka-user-guide/content/ch_installing_kafka.html).

 

 

• ConfiguringKafka for Kerberos Over Ambari(http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_secure-kafka-ambari/content/ch_secure-kafka-overview.html).

 

 

• InstallingRanger Using Ambari(http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_Security_Guide/content/installing_ranger_using_ambari.html).

 

 

• Installing Hue(http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_installing_manually_book/content/ch_installing_hue_chapter.html).

 

 

        • HDP Search

(http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_hdp_search/content/ch_hdp-search.html).

 

3.8.  Assign Masters

The Ambari install wizard assigns themaster components for selected services to

appropriate hosts in your cluster anddisplays the assignments in Assign Masters(翻译:)。

左列显示的是services和当前机器。The right column shows current master

component assignments by host, indicatingthe number of CPU cores and amount of RAM

installed on each host(翻译:)。

 

   1、从下拉菜单中选择一个机器名,可以改变机器的服务分配。

   2、临近机器地址的地方,有一个绿色的减号图标。点击它就可以删除ZooKeeper。

做好了分配以后,进入

 

 

 

3.9.  Assign Slaves and Clients

Ambari安装向导分配slave组件(DataNodes,NodeManagers和RegionServers)到你集群的合适机器上。也会选择机器安装合适的客户端。(也就是说这一步是分配各大数据组件从服务和客户端)。

   1、使用  all  或  none  选择全部机器或者全部不选。如果当前行所示的host旁边有星号,那么这个机器就你能运行一个或多个主组件。

   2、根据特定机器微调你的选择。

   3、做好了分配以后,进入Next。

3.10.   Customize Services

    Customize Services 这一步为你提供了一组标签,可以让你查看和修改你的HDP集群setUp(计划)。向导为每个要操作的选项设置了合理的默认值。你最好审查这些默认值,因为你的要求可能会略有不同。

浏览每一个Service标签,并把鼠标悬停到每一个属性上,你可以看到一个简短的描述,告诉你这个属性是做什么的。Service标签的数量取决于你再集群中安装的Services量。所有的标签都要显示一个带有需要关注的属性数量的红色徽章。选择显示后色徽章号码的标签并输入适当的         信息。

 

Directories(目录):

       选择HDP的信息存储在哪个目录是至关重要的。Ambari可以根据你的环境中可用的挂载点选择合适的默认值。但是还是建议使用默认的目录设置。特别要注意的是,在HDF选项卡下,像 /tmp 和 /var 目录都不能被用作HDFS NameNode 目录和DataNode 目录。

   Passwords(密码):

         你一定要为Hive和Oozie数据库设置密码,也要为Knox设置密码。以Hive为例,选择Hiva标签并展开Advanced部分。数据库密码用红色标记了,提供密码、重新输入一次并确认即可。

Using Non-Default Databases(http://dev.hortonworks.com.s3.amazonaws.com/HDPDocuments/Ambari-Trunk/bk_ambari_reference_guide/content/ch_amb_ref_using_non_default_databases.html#header)介绍了关于使用现有的数据库更过信息。

   注:不支持微软的SQL Server 或 SQLAnywhere数据库。

 

Service Account Users and Groups

      ServiceAccount Users and Groups是在 Misc 标签下面。These are the operating system accounts the service components willrun as。如果你的机器上不存在这些用户,那么Ambari会自动创建这些用户和组(users and groups)到你的本地机器。如果这些用户已经存在,Ambari就能使用这些账户。

     你或许不允许groupmod 或 usermod操作,这取决于你配置的环境。如果这样的话,你一定要确认这些用户和组(users and groups)都已经被创建,并且在Misc标签也选择了“Skip group modifications”。 这就告诉Ambari不需要修改serviceusers的group身份。

     参阅the AmbariReference Guide的Customizing HDP Services (http://dev.hortonworks.com.s3.amazonaws.com/HDPDocuments/Ambari-Trunk/bk_ambari_reference_guide/content/ch_amb_ref_customizing_hdp_services.html)章节可以获得HDP所需的 serviceaccount users and groups 的更多信息。

     完成后,进入 Next。

 

 

3.11.   Review

 

 

 这一步罗列了之前的所有任务,你要检查、确认所有的都是正确的。如果你需要有所改动,使用左边的导航栏返回的合适的区域即可。

要打印你的信息供以后参考,请选择Print。

当你任务你的选择均无误后,请选择Deploy

3.12.   Install, Start and Test

   在这一步,屏幕上显示了安装的进度条。Ambari自动安装、启动并在各个组件上运行简单的测试。全局的进度条显示在屏幕的顶端。各机器的进度条是在列表中的各个记录之中。此过程中不要刷新你的浏览器,刷新浏览器可能会中断进度。

   要查看每个机器的已完成任务的具体信息,请点击Message列中的链接。在弹出的“Tasks”中,单击单击一个任务可以看到相关的日志文件。你也可以通过show 的下拉选择过滤条件。要查看日志的更全面信息,请点击“open”图标或选择“copy”图标复制到粘贴板查看。

   安装完成并启动服务以后 进入Next。

3.13.   Complete

这一页为摘要页,显示了完成任务的概要列表。选择Complete,就进入了Ambari GUI页面。