August 12, 2016 02:02 AM #Java #Pinpoint #APM

0.0 前言

国内的APM行业这两年刚刚起步,但是在国外却比较成熟了,并且由于这两年人力成本的快速提高,国内外涌现了几家非常不错的APM企业,例如APPdynamic,Dynamic,NewRelic等。

我们这里不考虑商业化的实现方案,如何能够提供一种免费的开源实现方案呢?

下面给大家介绍一个开源的 APM (Application Performance Management/应用性能管理)工具 - Pinpoint。一个分布式事务跟踪系统的平台,思路基于google Dapper,用于基于java的大规模分布式系统,通过跟踪分布式应用之间的调用来提供解决方案,以帮助分析系统的总体结构和内部模块之间如何相互联系。Pinpoint的目标就是为n(n>=1)层架构开发新的跟踪平台,为n层架构的系统提供解决方案。

0.1 Pinpoint的特点如下:

  • 分布式事务跟踪,跟踪跨分布式应用的消息

  • 自动检测应用拓扑,帮助你搞清楚应用的架构

  • 水平扩展以便支持大规模服务器集群

  • 提供代码级别的可见性以便轻松定位失败点和瓶颈

  • 使用字节码增强技术,添加新功能而无需修改代码

  • 安装探针不需要修改哪怕一行代码及trace server端部署简单,支持hdfs存储

  • 具有简单的阀值触发报警功能

  • 移植性比较强的,会比较讨人喜欢(相比cat)

  • 插件化功能可扩展(https://github.com/naver/pinpoint/wiki/Pinpoint-Plugin-Developer-Guide)

0.2 Pinpoint 架构

pp-architecture

1.0 环境准备

为了省事可以直接就到这里(https://get.k8scn.org/packages/others/pinpoint/)下载所需安装包,统一放置在 /root/pp/ 目录下面。

apache-tomcat-8.0.36.tar.gz
hbase-1.0.3-bin.tar.gz
jdk-8u92-linux-x64.rpm
pinpoint-agent-1.5.2.tar.gz
pinpoint-collector-1.5.2.warpinpoint-web-1.5.2.warpp-collector
pp-web
zookeeper-3.4.6-10.el6.x86_64.rpm

1.1 部署环境约定

192.168.56.11    CentOS6(jdk1.8.0)    Pinpoint-collector, Pinpoint-web, zookeeper    # 下面我们将简称pp-collector&pp-web 192.168.56.12    CentOS6(jdk1.8.0)    Hbase192.168.56.13    CentOS6(jdk1.8.0)    Pinpoint-agent(demo应用)

1.2 系统环境说明

$ /etc/init.d/iptables stop
$ setenforce 0

这里我们为了不影响模块之间的相互通信,暂时先把几台设备的iptables都关闭了。

2.0 开始部署 我们采用rpm方式安装jdk,这里就略过安装过程了,主要说一下Tomcat 和Bbase的安装和配置

2.1 部署和初始化 Hbase

$ vim ~/.bashrc
# Java Environment Variables
export JAVA_HOME=/usr/java/defaultexport PATH=$PATH:$JAVA_HOME/bin

$ source ~/.bashrc
$ tar xf /root/pp/hbase-1.0.3-bin.tar.gz /usr/local/$ cd /usr/local/hbase-1.0.3/conf
$ vim hbase-env.shexport JAVA_HOME=/usr/java/default/     # 指到自己对应的JAVA_HOME,默认使用java6$ vim hbase-site.xml 
<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>file:///data/hbase</value>        # 这里我们指定Hbase本地来存储数据,生产环境将数据建议存入HDFS中。
 </property>
</configuration>$ ../bin/start-hbase.sh        // 启动 Hbase

注意: 这里说明一下,我们是最简方式启动的Hbase,没有单独部署Hbase集群管理的zookeeper,而是直接使用Hbase自带的zk模块。另外,Hbase墙裂建议将数据存入HDFS里面,目前我们是存在Hbase本地的。

2.1.1 验证Hbase是否启动成功

$ jps8114 Jps7820 HMaster

2.1.2下载并执行pp的Hbase初始化表语句

$ wget -c https://raw.githubusercontent.com/naver/pinpoint/master/hbase/scripts/hbase-create.hbase -P /root/pp/$ cd /usr/local/hbase-1.0.3$ ./bin/hbase shell /root/pp/hbase-create.hbase      #  这里需要大概半分钟时间完成pp的表初始化$ ./bin/hbase shell2016-07-14 20:57:10,606 WARN  [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableHBase Shell; enter 'help<RETURN>' for list of supported commands.Type "exit<RETURN>" to leave the HBase ShellVersion 1.0.3, rf1e1312f9790a7c40f6a4b5a1bab2ea1dd559890, Tue Jan 19 19:26:53 PST 2016hbase(main):001:0> status 'detailed'       # 我这里已经初始化pp相关表,所以数据展示比较多version 1.0.30 regionsInTransition
master coprocessors: []1 live servers
    c612:46781 1468494831781
        requestsPerSecond=0.0, numberOfOnlineRegions=194, usedHeapMB=18, maxHeapMB=241, numberOfStores=322, numberOfStorefiles=3, storefileUncompressedSizeMB=0, storefileSizeMB=0, memstoreSizeMB=0, storefileIndexSizeMB=0, readRequestsCount=9272, writeRequestsCount=385, rootIndexSizeKB=2, totalStaticIndexSizeKB=1, totalStaticBloomSizeKB=0, totalCompactingKVs=0, currentCompactedKVs=0, compactionProgressPct=NaN, coprocessors=[MultiRowMutationEndpoint]
        "AgentEvent,,1468495003477.b13eb3203210fb9d94feb1a445e0ad1b."
            numberOfStores=1, numberOfStorefiles=0, storefileUncompressedSizeMB=0, storefileSizeMB=0, memstoreSizeMB=0, storefileIndexSizeMB=0, readRequestsCount=0, writeRequestsCount=0, rootIndexSizeKB=0, totalStaticIndexSizeKB=0, totalStaticBloomSizeKB=0, totalCompactingKVs=0, currentCompactedKVs=0, compactionProgressPct=NaN, completeSequenceId=-1, dataLocality=0.0
        "AgentInfo,,1468494998919.fa9d36f7b52b95ee5216a1ec757ad690."...

我们同时可以登录Hbase Web管理控制台来验证相关数据 http://192.168.56.12:16010/master-status

2.2 部署和配置pp-collector和pp-web

2.2.1 这里我们还需要部署一个zookeeper。从pinpoint1.5.0开始,pp-web到pp-agent的request请求直接通过pp-collector来统筹管理,包括一些real-time级别的信息监测,而zookeeper在其中间协调三者之间的通信沟通。如果zookeeper部署在独立的一台设备,这里我就需要修改一下pp-colletor & pp-web的配置文件pinpoint-collector.properties,pinpoint-web.properties,不然会导致俩个模块启动失败。详细描述参见官方文档

$ rpm -ivh /root/pp/zookeeper-3.4.6-10.el6.x86_64.rpm
$ /etc/init.d/zookeeper start     # 保证zookeeper的2181端口起来就可以了

2.2.2 pp-collector的配置

$ mkdir -p /data/service/$ tar xf /root/pp/apache-tomcat-8.0.35.tar.gz -C /data/service/;cd /data/service/$ mv apache-tomcat-8.0.35/ pinpoint-collector
$ vim /data/service/pinpoint-collector/conf/server.xml       # 因为我们的pp-collector和pp-web部署在同台设备,所以请确认tomcat启动端口不会冲突<Server port="8005" shutdown="SHUTDOWN">      <Connector port="8085" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" /><!-- <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" /> -->     #  注释该行$ rm -rf /data/service/pinpoint-collector/webapps/*
$ unzip pinpoint-collector-1.5.2.war -d /data/service/pinpoint-collector/webapps/ROOT/
$ cd  /data/service/pinpoint-collector/webapps/ROOT/WEB-INF/classes
$ ls -al
-rw-rw-r-- 1 root root 15835 Apr  7 14:43 applicationContext-collector.xml
-rw-rw-r-- 1 root root  7485 Apr  7 14:43 applicationContext-hbase.xml
-rw-rw-r-- 1 root root   757 Apr  7 14:43 hbase.properties     
-rw-rw-r-- 1 root root  1845 Apr  7 14:43 log4j.xml
-rw-rw-r-- 1 root root  1360 Apr  7 14:43 pinpoint-collector.properties     # 主要针对pp-agent的配置,同时支持tcp和udp协议数据传输
-rw-rw-r-- 1 root root  3292 Apr  7 14:43 servlet-context.xml
...

这里大概说一下: applicationContext-collector.xml, applicationContext-hbase.xml 这俩个配置文件时collector与agent和Hbase之间通信时需要设定的一些参数,在后续调优的时候需要用到,hbase.properties 主要是设定后端存储的连接配置,log4j.xml那就是log相关了。

$ vim hbase.properties
hbase.client.host=192.168.56.12        # 这里我们只修改这一项配置就好,能够让collector将汇报上来的数据存储到Hbasehbase.client.port=2181

这里tomcat我们就用默认的启动端口了,实际的生产环境可能需要根据实际情况修改tomcat侦听端口。OK,到此,pp-collector我们就基本上配置完成了。接下来我们开始配置pp-web,它与collector很类似。

2.2.3 pp-web的配置

$ cd /data/service/$ tar xf /root/pp/apache-tomcat-8.0.35.tar.gz -C /data/service/$ mv apache-tomcat-8.0.35 pinpoint-web
$ cd pinpoint-web/webapps/;rm -rf *;mkdir ROOT;cd ROOT/$ unzip /root/pinpoint-web-1.5.2.war$ vim /data/service/pinpoint-web/conf/server.xml       # 因为我们的pp-collector和pp-web部署在同台设备,所以请确认tomcat启动端口不会冲突<Server port="8006" shutdown="SHUTDOWN">      <Connector port="8086" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" /><!-- <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" /> -->     #  注释该行$ cd /data/service/pinpoint-web/webapps/ROOT/WEB-INF/classes
$ vim hbase.properties
hbase.client.host=192.168.56.12    # 设置Hbase数据源hbase.client.port=2181...$ ls -al
total 88-rw-rw-r-- 1 root root 2164 Apr  7 14:43 applicationContext-cache.xml-rw-rw-r-- 1 root root 3649 Apr  7 14:43 applicationContext-dao-config.xml-rw-rw-r-- 1 root root 1490 Apr  7 14:43 applicationContext-datasource.xml-rw-rw-r-- 1 root root 6680 Apr  7 14:43 applicationContext-hbase.xml-rw-rw-r-- 1 root root 1610 Apr  7 14:43 applicationContext-websocket.xml-rw-rw-r-- 1 root root 6576 Apr  7 14:43 applicationContext-web.xml-rw-rw-r-- 1 root root  106 Apr  7 14:43 batch.properties-rw-rw-r-- 1 root root  682 Apr  7 14:43 ehcache.xml-rw-rw-r-- 1 root root 1005 Jul 14 21:45 hbase.properties-rw-rw-r-- 1 root root  153 Apr  7 14:43 jdbc.properties-rw-rw-r-- 1 root root 3338 Apr  7 14:43 log4j.xml-rw-rw-r-- 1 root root 1420 Apr  7 14:43 mybatis-config.xml-rw-rw-r-- 1 root root  630 Apr  7 14:43 pinpoint-web.properties-rw-rw-r-- 1 root root  141 Apr  7 14:43 project.properties-rw-rw-r-- 1 root root 3872 Apr  7 14:43 servlet-context.xml
drwxrwxr-x 2 root root 4096 Jul 14 21:46 sql...

这里说明一下:

  • hbase.properties 配置我们pp-web从哪个数据源获取采集数据,这里我们只指定Hbase的zookeeper地址。

  • jdbc.properties pp-web连接自身Mysql数据库的连接认证配置。

  • sql目录 pp-web本身有些数据需要存放在MySQL数据库中,这里需要初始化一下表结构。

  • pinpoint-web.properties 这里pp-web集群的配置文件,如果你需要pp-web集群的话。

  • applicationContext-*.xml 这些文件在后续的调优工作中会用到。

  • log4j.xml 日志相关配置。

好了,pp-web终于算是配置完成了。

2.3 到这里,我们就可以启动pp-colletor和pp-web了

$ cp /root/pp/pp-* /etc/init.d/$ chmod +x /etc/init.d/pp-*$ /etc/init.d/pp-web restart
$ /etc/init.d/pp-collector restart

3.0 我们这个时候可以部署一个pp-agent试玩一下了,其实也就是很多APM厂商传说中的探针。这里我的探针是部署在自己的应用下面的,就只贴一下跑在tomcat下的探针配置信息了。顺带说明一下部署上的注意点。

以下是pp目前支持埋点的java模块:

JDK 6+Tomcat 6/7/8, Jetty 8/9Spring, Spring BootApache HTTP Client 3.x/4.x, JDK HttpConnector, GoogleHttpClient, OkHttpClient, NingAsyncHttpClientThrift Client, Thrift Service, DUBBO PROVIDER, DUBBO CONSUMERMySQL, Oracle, MSSQL, CUBRID, DBCP, POSTGRESQL, MARIAArcus, Memcached, Redis, CASSANDRA
iBATIS, MyBatisgson, Jackson, Json Liblog4j, Logback

3.1 部署pp-agent (探针)

我们约定tomcat容器安装位置 /data/projects/service/app_demo,这里我们就将pp-agent解压至 /data/projects/service/下。

$ tar xf /root/pp/pinpoint-agent-1.5.2.tar.gz -C /data/projects/service/$ cd /data/projects/service/pinpoint-agent-1.5.2/$ vim pinpoint.config
profiler.collector.ip=192.168.56.11

这里说明一下: 我们只要指定pp-colletor的地址就可以了,至于端口如果之前pp-colletor没有变更这里也不需要修改。如果你的生产环境特殊,pinpoint支持还是很丰富的,同时支持tcp和udp协议传输。

$ pwd/data/projects/service/pinpoint-agent-1.5.2$ ls -al
total 80drwxrwxr-x 6 ceph ceph  4096 Jul 14 22:11 .drwxr-xr-x 3 root root  4096 Jul 14 22:08 ..drwxrwxr-x 2 ceph ceph  4096 Apr  7 13:43 boot
drwxrwxr-x 2 ceph ceph  4096 Apr  7 13:43 lib-rw-rw-r-- 1 ceph ceph 27603 Apr  7 13:42 pinpoint-bootstrap-1.5.2.jar-rw-rw-r-- 1 ceph ceph 14278 Apr  7 13:30 pinpoint.config-rw-rw-r-- 1 ceph ceph 11988 Apr  7 13:30 pinpoint-real-env-lowoverhead-sample.config
drwxrwxr-x 2 ceph ceph  4096 Apr  7 13:43 plugin
drwxrwxr-x 2 ceph ceph  4096 Apr  7 13:43 script

此刻,我们开始往我们的应用里部署探针。

$ vim /data/projects/service/app_demo/bin/catalina.sh
AGENT_VERSION="1.5.2"AGENT_ID="pp201606011442"APPLICATION_NAME="app-192-168-56-13"AGENT_PATH="/data/projects/service/pinpoint-agent-1.5.2"CATALINA_OPTS="$CATALINA_OPTS -javaagent:$AGENT_PATH/pinpoint-bootstrap-${AGENT_VERSION}.jar"CATALINA_OPTS="$CATALINA_OPTS -Dpinpoint.agentId=$AGENT_ID"CATALINA_OPTS="$CATALINA_OPTS -Dpinpoint.applicationName=$APPLICATION_NAME"

这里说明一下:

  • 探针配置项写到 CATALINA_OPTS 变量下一行即可。

  • AGENT_ID 命名必须在生产环境里唯一,否则后面将会混乱。

  • APPLICATION_NAME 配置为一个服务组的ID号,即服务组下的实例ID。

  • 此外参考官方agent文档说明

4.0. 重启被采集端的应用,使探针生效。

5.0. 打开浏览器,访问如下pp-web的页面验证我们的探针部署是否成功。其中,第二个链接是pp的APM主页面可以看到探针汇报上来的信息了。

http://192.168.56.11:8086/stat.html      # pp-agent 信息统计页面,即探针部署情况的统计信息 http://192.168.56.11:8086/#/main       # pp APM信息主页面

5.1 页面访问效果如下(没有找到一个好的demo应用,这部分后续补齐,所以页面没有信息采集上来):

Pinpoint AgentPinpoint Main

6.0. 问题排查

  • 看日志,看日志,看日志。

  • 部署成功调试完成最好把agent端log级别调高一些,少打印日志。讲真,不然在你实时查看日志定位程序问题时,你会发现打印一堆了无效信息,绝对懵B。

7.0. 最后这里我们讲一下如何制作自己的Pinpoint定制版war包

7.1 编译环境要求

maven:3.2+jdk-6/7/8

7.2 获取pp源代码

$ git clone https://github.com/naver/pinpoint.git$ git branch -a 
* master
  remotes/origin/1.0.x
  remotes/origin/1.1.x
  remotes/origin/1.5.0-branch
  remotes/origin/1.5.x
  remotes/origin/HEAD -> origin/master
  remotes/origin/master
$ git checkout 1.5.x     // pp v1.6.x属于活跃开发版不建议编译安装,除非你非常熟悉pp的代码

7.3 设置JAVA环境变量为JDK-1.8.0。这里小小解释一下: 因为pp同时支持java多版本,这也是pp最可爱的地方,所以我们需要设置一下。

$ export JAVA_6_HOME=/usr/java/default$ export JAVA_7_HOME=/usr/java/default$ export JAVA_8_HOME=/usr/java/default$ export JAVA_HOME=/usr/java/default

7.4 开始war包制作

$ cd pinpoint
$ mvn -f ./pom.xml install -Dmaven.test.skip=true[INFO] Scanning for projects...[INFO] ------------------------------------------------------------------------[INFO] Reactor Build Order:[INFO] [INFO] pinpoint[INFO] pinpoint-thrift[INFO] pinpoint-commons[INFO] pinpoint-commons-hbase[INFO] pinpoint-commons-server[INFO] pinpoint-bootstrap-core[INFO] pinpoint-bootstrap[INFO] pinpoint-rpc[INFO] pinpoint-profiler...

编译过程可能有些长,尤其在国内的网络环境。结束以后,请到target目录获取相应的pp war包。

7.5 编译过程遇到的问题:

[INFO] --- maven-enforcer-plugin:1.4.1:enforce (enforce-pinpoint-build-requirements) @ pinpoint ---[WARNING] Rule 0: org.apache.maven.plugins.enforcer.RequireMavenVersion failed with message:Detected Maven Version: 3.0.5 is not in the allowed range 3.2.[INFO] ---------------------------------------------------------

问题解决:升级的maven版本,需要至少3.2+以上。

好了,今天先写到这,欢迎大家加群讨论(Pinpoint中文社区QQ群563655806)。

参考文档:

https://github.com/naver/pinpoint/blob/master/doc/installation.md
http://hbase.apache.org/book.html#standalone_dist Apache HBase Reference Guide


转自:https://sconts.com/11