微服务治理平台APM监控
APM简介
APM为微服务治理平台的应用性能管理（Application Performance Management）服务，旨在通过数据自动化收集、数据可视化展示，使用户能够及时、全面地掌控各个产品的应用性能情况，定位性能瓶颈。APM对项目下的产品提供了丰富的应用性能展示功能以及性能问题定位功能，包括应用服务的拓扑关系展示，应用服务的响应时间、吞吐量和状态的展示，慢响应和错误明细的查询，调用链查询以及健康状态展示，能够给用户提供丰富的产品应用数据展示。
产品管理
创建产品
产品是APM中数据隔离的单元，在使用APM前需要先创建产品。
在没有应用的情况下可以点击图中所示链接：
如已创建了产品，可以通过产品下拉框中点击“新建产品”按钮创建新产品：
输入“产品名称”、选择“产品权限”即可创建产品，如下图所示：
产品的访问权限分为当前项目可见、当前租户可见和全部可见，其中：
当前项目可见：只有当前产品所属的项目成员有权限查看监控数据并进行相关操作。
当前租户可见：只有当前产品所属的项目对应的租户有权限查看监控数据并进行相关操作。
全部可见：微服务治理平台所有用户都可以查询当前产品的监控数据，但只有创建的项目的管理员可以删除产品和修改产品的访问权限。
对于需要完成多个项目间全链路的问题排查和数据传递的情况，建议将产品的访问权限设置为“全部可见”，并将多个项目下的数据推送到统一产品中。
设置访问权限
产品所在项目的管理员可以设置产品的访问权限：
删除产品
如该产品已不再使用，可以删除该应用，点击下拉按钮，点击删除符号，如下图所示：
点击删除符号后会弹出删除应用确认弹窗，点击“确定”即可完成删除操作，如下图所示：
探针向导
在新建产品完成后，需要部署采集数据所用的Agent，支持Java探针接入等接入的方式进行部署。
探针下载机制和具体部署流程请参见探针向导页，如下图所示：
按照如上产品指导图所示下载完接入的APM客户端Agent。
新建配置文件，修改Agent部署目录下的config目录中agent.config 文件中的以下内容，其中配置项内容可以直接从探针向导页面直接获取。
# productId用于表示APM中唯一的应用，名称不可修改
agent.authentication=NTczLXd5ZGVtbw==
# service为APM中监控服务的名称（进程功能，如管理服务器），小写字母、数字、英文句号或中划线组成，以字母开头，字母或数字结尾
# 建议和监控的服务进程名相同，如 webServer、alertServer
agent.service_name=webserver
# 注册服务和数据上传地址
collector.backend_service=apm-otel-collector.sgp-pre.chinapost.com.cn:11800
#（选填）node 为具体部署的节点名称，命名规则和服务名称相同，不填写时默认会自动获取主机的 hostname
# agent.instance_name=test-node
# 3秒内采集trace上限，默认10000条 （-1代表全部采集）
agent.sample_n_per_3_secs=10000
增加Java启动参数，修改配置文件后，需要在Java服务中添加启动参数：
-javaagent:<agent_home>/skywalking-napm-bin-8.10.0-latest/agent/skywalking-agent.jar -Dskywalking_config=<agent_home>/skywalking-napm-bin-8.10.0-latest/agent/config/agent.config
重启服务启动后，在应用监控模块 可以看到全链路数据展示的变化。
服务
服务监控中可以查看所有服务的列表并且可以根据服务名称、响应时间、请求次数、请求频率、错误次数和错误率指标进行排序。可以通过服务或标签对展示内容进行筛选，如下图所示：
点击服务，可以进入服务详情页，如下图所示：
监控概览
通过时间控件控制，从上到下、从左到右依次展示当前服务响应时间、当 前服务请求数、错误数、最多请求接口TOP5、依赖服务响应时间、依赖服务请求数、依赖服务 rpc 请求数分布、Full GC最多实例TOP5、Young GC 最多实例TOP5、GC耗时最多实例TOP5、CPU最高实例TOP5、堆内存使用最多实例TOP5、线程数的变化趋势图以及最慢Trace TOP5列表。如下图所示：
实例监控
通过时间控件控制，从上到下、从左到右依次展示各项指标（请求数、错误数、相应时间）列表，平均响应时间、99th响应时间、请求数、错误数、最高堆内存使用量、最大CPU使用率、Full GC次数、Young GC次数的数值，响应时间、请求次数、错误数、CPU使用率、堆内存使用量、永久区、堆内存Eden区使用量、堆内存Survivor区使用量、堆内存Old区使用量、Full GC次数、Young GC次数、GC总耗时的变化趋势图。如下图所示：
接口监控
通过时间控件控制，从上到下、从左到右依次展示各项指标（请求数、错
误数、耗时）列表，响应时间、99 th响应时间、请求次数、错误数的数值，响应时间、请求次数、错误数的变化趋势图，最慢 SQL TOP5、最慢 Redis 操作 TOP5、最慢 Trace TOP5 的列表。如下图所示：
异常监控
通过时间控件控制，从上到下、从左到右依次展示各项指标（在服务中异
常占比、异常数量）列表，异常请求次数、在服务所有请求中占比、影响实例
数、影响业务 ID 数的数值，异常趋势、在服务请求中占比、异常请求最多实
TOP5、异常请求最多操作 TOP5 的变化趋势图，受影响实例最近异常 Trace、
受影响业务 ID 最近异常、最近 10 条异常 Trace 的列表。如下图所示：
服务依赖
通过时间控件控制，从上到下、从左到右依次展示上游深度和下游深度的调节控件，拓扑图，上游延时最高的服务TOP5和下游延时最高的服务TOP5的变化趋势图。如下图所示：
调用链路
通过控制筛选条件，显示调用链列表，其中调用链路模块可以通过具体接口、SQL语句、缓存操作、异常名称、响应时间、请求时间、查询条数、Trace ID 、堆栈快照等筛选条件进行过滤搜索。其中缓存和数据库的调用链信息会被记录到ES中，里面包含了db.statement，查询缓存和mysql时根据db.statement内容格式进行搜索查询。如下图所示：
中间件监控
用户可以选择筛选数据库、缓存和消息队列，会显示相应选择的响应时间、调用次数和错误数的变化趋势图，最慢操作TOP10的列表。如下图所示：
深度分析
用户可以通过深度分析页面分析服务内核指标发现系统出现的各类异常、
通过异常点提出的方式方便更加快速定位问题，从上到下、从左到右依次展示最大 CPU 使用率、Full GC 次数、Young GC 次数、当前服务响应时间、当前服务请求数、错误数、数据库响应时间、缓存响应时间、依赖服务响应时间的趋势图。如下图所示：
仪表盘
性能概览
拓扑图
通过服务调用拓扑，用户可以快速了解分布式系统中服务间的调用关系、查询出现问题的节点、自动发现出现问题的节点。
可以选择查看服务或者标签的拓扑图，根据不同选择，进而筛选服务或者标签，然后筛选类型。
如下图所示，拓扑图展示了用户服务不同组件的调用情况及调用的监控数据,用户可以清楚的看到花费在每个组件的调用时间，调用频率，错误率等.方便用户定位自己服务问题所在，从而进行有针对性的解决。
拓扑图支持下钻功能，点击拓扑图中的服务，即可下钻查看服务对应的性能指标：
拓扑图中支持HTTP调用发现，拓扑中展示服务间的调用关系、访问次数、错误率、响应时间等指标，可以展示MySQL、分布式数据库、Redis、Kafka、RocketMQ等中间件信息
性能监控
性能概览中除拓扑图外还提供一系列监控数据，主要包括：
异常记录：超出规定指标的数据将被记录到异常记录中，展示一般警告次数和严重警告次数。
慢响应：一般监控会以绝对阈值为指标监控接口质量，如响应时间是否大于指定值，但这种方式的问题是，不同接口可能会完成不同类型的任务，导致响应时间可能在不同区间内，如果设置成统一的阈值，就会产生误报。APM支持慢响应、极慢响应和无响应三种不同阈值，可根据不同性能要求设置不同的阈值。
平均响应时间：请求在观察周期内的平均响应时间；
请求频率、请求次数：请求在观察周期内的请求次数和频率（按分钟计）；
错误率：请求在观察周期内的错误率（按分钟计）监控数据通过列表和拓扑图两种方式向用户呈现。
性能排行
通过性能排行可以快速发现有性能问题的服务或节点。
性能排行中包括TOP5最慢服务、TOP5调用最多服务、TOP5错误最多服务、TOP5最慢数据库、TOP5最慢Redis、TOP5最慢Memcached。
如下图所示：
事件列表
APM通过将报警、节点离线等外部事件与服务关联，为排查问题提供进一步依据。并可根据事件的严重程度关联服务在拓扑图中的健康程度。
事件的严重程度反映了服务当前发生问题的严重程度，帮助用户快速识别有问题的服务。同时告警的紧急程度也会对应事件的严重程度。
如该服务触发了一条“紧急”程度报警规则，则会对应产生一条等级为“严重”的事件：
调用链查询
通过分布式调用链追踪，用户可以了解调用链路所经的服务、调用时长、
发生错误的节点、以及问题现场抛出的异常信息和日志信息。快速获取定位问
题所需的信息。
调用链查询在普通搜索中的筛选项有服务名称、业务请求、请求类型。如
下图所示：
调用链查询在高级搜索中的筛选项增加了 limit、节点、业务 ID（订单号、
用户名等）、响应时间、首次请求类型和 Trace ID 调用数量。其中业务 ID 需要从 HTTP Header 或 URL 参数中指定的字段获取，如用户名在 HTTP Header 对应字段为 X-User-Id，则在设置中设置参数名称为 X-User-Id，业务 ID 需要在设置—业务 ID 中进行对应的配置；在使用 Trace ID 搜索的时候，其它搜索条件无效。如下图所示：
点击“搜索”，可以查看符合要求的调用链列表，如下图所示：
点击调用链，查看Trace详情，如下图所示：
用户可以点击“错误日志”进行查看，点击“日志服务”跳转到日志服务中的“全链路检索模式”，如下图所示：
针对某个具体方法，可以点击“方法详情”查看方法的所在服务、耗时、调用参数、所在节点、错误日志、异常等信息：
对应HTTP和JDBC的请求，还可查询到HTTP返回码、URL、具体的SQL语句等信息。
业务请求
业务请求是指一组入口请求地址相同的Trace的聚合，表示实现相同业务功能的接口，通过业务请求监控可以了解一类业务的性能情况：
点击“业务请求”，可以查看“业务请求详情”，如下图所示：
点击“性能概览”，可以查看拓扑图，可以选择查看服务或者标签的拓扑图，根据不同选择，进而筛选服务或者标签，然后筛选类型。
“性能概览”中除拓扑图外还提供一系列监控数据，主要包括：
慢响应：一般监控会以绝对阈值为指标监控接口质量，如响应时间是否大于指定值，但这种方式的问题是，不同接口可能会完成不同类型的任务，导致响应时间可能在不同区间内，如果设置成统一的阈值，就会产生误报。APM支持慢响应、极慢响应和无响应三种不同阈值，可根据不同性能要求设置不同的阈值。
平均响应时间：请求在观察周期内的平均响应时间；
请求频率、请求次数：请求在观察周期内的请求次数和频率（按分钟计）；
错误率：请求在观察周期内的错误率（按分钟计）监控数据通过列表和拓扑图两种方式向用户呈现。
点击“调用链”，如下图所示：
点击调用链，跳转到调用链详情页，如下图所示：
业务监控
通过业务监控，用户可以设置业务ID，将Trace信息按照定义的业务维度进行聚合分析，方便用户根据具体的业务信息来查看服务情况，快速定位业务问题所需的信息。
业务监控查询 在普通搜索中的筛选项有业务ID、TracID、入口Http、服务名、节点名，时间维度等。
监控概览
通过时间控件控制，从上到下、从左到右依次展示响应时间、99 th 响应时 间、请求次数、错误数数值，服务响应时间、服务请求次数、服务错误数、服 务 CPU 使用率、服务 GC 次数、服务平均内存趋势图，服务详情、最慢 Trace TOP10、最近 10 条异常调用链列表。
服务监控
通过时间控件控制，从上到下、从左到右依次展示响应时间、99 th 响应时 间、请求次数、错误数数值，服务响应时间、请求次数、错误数、上游延时最 高的服务 TOP5、下游延时服务最高的服务 TOP5、最多请求接口 TOP5、实例 响应时间 TOP5、实例请求次数 TOP5、实例错误数 TOP5、CPU 最高实例 TOP5、GC 次数最多实例 TOP5、堆内存使用最多实例 TOP5 趋势图，服务详情、 最慢 Trace TOP10、最近 5 条异常调用链列表。
异常监控
通过时间控件控制，从上到下、从左到右依次为异常请求次数、在所有请求中占比、异常影响服务数、异常请求影响服务 ID 数数值，在所有请求中占比、异常请求最多服务 TOP5、异常请求最多操作 TOP5 趋势图，异常趋势、受影响服务最近异常 Trace、受影响业务 ID 最近异常 Trace、最近 10 条异常 Trace 列表。
调用链路
通过具体接口、SQL 语句、缓存操作、异常名称、影响时间、请求时间、 查询条数、Trace ID 筛选项来查看调用链路的列表。
中间件监控
根据配置的业务 ID 来对数据库、缓存、消息队列维度来进行监控。数据库中间件监控通过时间控件控制，从上到下、从左到右依次为响应时间、调用次数、错误数、服务调用延时 Top5、服务请求次数 Top5、服务调用错误数 Top5 趋势图、最慢 SQL TOP10 列表。
数据库监控
数据库监控中支持查看常用数据库的SQL查询次数、响应时间监控、错误次数等指标的监控。在数据库节点列表中可以查看不同Database的监控指标。
点击数据库名称可以查看具体的监控列表：
支持慢SQL监控和慢SQL数量的监控，慢SQL的阈值可以在设置中填写：
点击慢SQL详情可以查看慢SQL的分布情况，散点图中每个点对应一条慢SQL，点击对应的散点可以查看当前慢SQL对应的数据库地址、数据库名称、完整SQL语句、调用链等信息，并可根据调用链查询慢SQL出现的上下文：
缓存
支持Redis查询次数、响应时间监控、错误次数等指标的监控；
支持Memcached查询次数、响应时间监控、错误次数等指标的监控；
如下图所示：
监控大屏
监控大屏中提供产品全局的数据监控大盘，包括产品当天的访问次数、HTTP入口数、 4xx错误数、 5xx错误数。 服务整体的响应时间、请求次数、错误率等、异常Trace和告警汇总以及错误最多的服务、异常最多的接口、错误最多的接口：
数据报表
数据报表可以将当前产品中的所有服务的性能情况，包括访问次数、错误数、4xx错误数、5xx错误数、错误率、慢响应请求数、极慢响应请求数、无响应请求数等指标通过邮件定时发送，便于用户了解系统整体运行情况：
设置
慢响应阈值
APM支持慢响应、极慢响应和无响应三种不同阈值，可根据不同性能要求设置不同的阈值。
慢SQL阈值
设置慢SQL判断的阈值，超过该阈值的SQL预计都会被认为是慢SQL，设置之后实时生效。
采样率配置
为了减少采集数据对主机CPU、内存等资源的占用，您可以按需设置Agent的采样率。设置为0%时表示关闭采集，设置为100%时表示全部调用链都将被采集。
采样规则列表如下图所示：
添加采样规则
点击“新增”，弹出提示框，输入服务名和采样率后，点击“立即提交”，如下图所示：
修改采样规则
点击“修改”，弹出提示框，修改采样率后，点击“立即提交”，如下图所示：
删除采样规则
点击“删除”，弹出删除确认框，点击“确定”，如下图所示：
业务ID配置
在进行错误排查时，在很多情况下是基于业务方或上游反馈，此时不能快速得到TraceID，而只能得到业务相关的信息，如用户名、订单号等。此时需要关联调用链和业务ID的，打通数据排查通路。APM提供业务ID的功能可以满足此类诉求。
业务ID需要从HTTP Header或URL参数中指定的字段获取，如用户名在HTTP header对应字段为X-User-Id，则在设置中设置参数名称为X-User-Id，即可在采集调用链时获取X-User-Id对应的用户名：
需要注意的是当一个调用链中有多个业务ID时以采集到的最后一个为准
自定义方法配置
APM的Java探针会对一些通用组件或者框架中的关键方法进行监控，对于用户自定义或框架支持的不是特别完整的情况下，可能会少抓取或抓取不到某些方法。此时通过配置自定义监控方法即可在调用链中监控到您关心的方法：
监控方法需要填写类名、方法名和参数，其中：
类名需要填写全路径类名，如org.apache.HTTP.impl.client.CloseableHTTPClient
方法名填写希望监控的方法名称
参数名部分如果需要监控带指定参数的方法，则需要填写指定的形参,多个参数间用英文逗号,分割。
如对于以下的方法
public static void test(int a , java.lang.String[] str) {
System.out.println(a);
}
需要填写参数名 int, java.lang.String[]。
如果需要监控指定方法名的所有方法（无论是否有参数），此处不需填写。
如果指定监控的方法没有参数，此处需要填写为 () 即可。
默认查询时段
各时段的时间为：
短：5分钟 — 60分钟
中：15分钟 — 6小时
长：3小时 — 7天
如下图所示：
自定义配置
服务
用户选择服务，可以进行全选操作。
采样开启
点击采样开启开关后，页面会展开一个“采样率设置”输入框（默认值为100）。如图所示：
图形用户界面, 文本, 应用程序, 聊天或短信 描述已自动生成
这里的采样率设置表示三秒内统计调用链最大数量，例如默认三秒内最大统计100条调用链。
测试和预期效果
准备工作：
在设置页面点击采样开启，在弹出输入框内将采样率设置为1（即三秒内统计一条调用链）；
- 不断请求产生调用；
预期结果：
选择左侧“调用链查询”菜单栏，调用链查询结果显示每条调用链相隔时间大约3s。
注意：由于skywalking 每三秒采样逻辑的实现是java异步定时器进行管理，会出现误差，测试结果不会严格间隔3s。
无效接口后缀过滤
Skywalking agent默认过滤“.jpg,.jpeg,.js,.css,.png,.bmp,.gif,.ico,.mp3,.mp4,.html,.svg”后缀的接口数据上报。
注意：所有输入框不要随便添加空格，空格也算作接口过滤字符
屏蔽这些接口有助于减少数据带宽和存储。可以新增后缀过滤，例如过滤.tmp后缀，可以配置“.jpg,.jpeg,.js,.css,.png,.bmp,.gif,.ico,.mp3,.mp4,.html,.svg,.tmp”。
注意：不推荐减少后缀过滤，如果有特殊业务需求，确实需要开放以上后缀过滤，请在咨询系统管理员后进行配置。
测试和预期效果
准备工作：
准备一个需要过滤的接口，例如http://127.0.0.1:17392/eureka/test.tmp；产生接口调用，选择左侧“调用链查询”菜单栏，调用链查询结果显示该接口调用；
- 在设置页面设置后缀过滤“.jpg,.jpeg,.js,.css,.png,.bmp,.gif,.ico,.mp3,.mp4,.html,.svg,.tmp”条件，等待2分钟后，产生接口调用；
预期结果：
选择左侧"调用链查询"菜单栏，设置“.jpg,.jpeg,.js,.css,.png,.bmp,.gif,.ico,.mp3,.mp4,.html,.svg,.tmp”后缀过滤条件后，该接口调用不再产生调用链；
无效接口正则过滤
通过正则匹配的方式进行接口调用链过滤，该正则匹配是skywalking自定义的规则（注意：所有输入框不要随便添加空格，空格也算作接口过滤字符），其中
/path/? 匹配单个字符接口，例如：eureka/apps/? 可以匹配 eureka/apps/a 接口；
/path/* 匹配多字符接口，例如：/eureka/**/b/*/*.txt 可以匹配 /eureka/a/aa/aaa/b/a/xxxxxx.txt 接口；
/path/** 匹配任意数量的字符并支持多层级接口，例如：eureka/**/test/**可以匹配 eureka/apps/test/list接口，也可以匹配 eureka/apps/foo/test/list/bar；
测试和预期效果
准备工作：
准备一个需要过滤的接口，例如http://127.0.0.1:17392/eureka/a/aa/aaa/b/a/xxxxxx.txt；产生接口调用，选择左侧"调用链查询"菜单栏，调用链查询结果显示该接口调用；
- 在设置页面设置无效正则过滤/eureka/**/b/*/*.txt条件，等待2分钟后，产生接口调用；
预期结果：
选择左侧“调用链查询”菜单栏，设置/eureka/**/b/*/*.txt正则过滤过滤条件后，该接口调用不再产生调用链；
接口名称最大长度
设置上报接口的最大长度，超过该长度的接口名称会被截断。
注意：默认值为150，如果系统有超过该阈值的接口长度，推荐优先优化接口名称。如果确实有超过150长度的接口名称数据上报，可以在咨询系统管理员后适当增大该配置，不推荐减少该配置，减少该值会产生不可预期的后果。有以上场景下，可以使用该功能，如果没有该场景，可以忽略该配置。
测试和预期效果
准备工作：
准备一个长度超过150的接口名称，产生接口调用，选择左侧“调用链查询”菜单栏，调用链查询结果显示该接口调用；
- 在设置页面设置阈值为160条件，等待2分钟后，产生接口调用；
预期结果：
选择左侧“业务请求”列表，增加阈值条件后，接口名称长度显示增长；
采集http入参
设置是否采集http入参。
例如,一个http请求“Request URL: http://apm.console.service/api/v2/products/metricV3/6/12-6/naql?startTime=1622798156000&endTime=1622798276000”，产生请求后应用监控系统默认会采集“url:http://apm.console.service/api/v2/products/metricV3/6/12-6/naql”信息，并展示在调用链页面，如果打开该开关，会额外采集参数 “http.params: "startTime=[1622798156000]\nendTime=[1622798276000] "”信息上报，也就是http请求的入参。
注意：该设置为系统管理员设置，没有特殊场景需求，请勿打开该功能，会增加后端系统存储消耗。
采集mysql查询语句
设置是否采集mysql入参，例如默认采集的mysql语句为“select * from table where id = ?;”，打开该设置后，会采集上述sql语句中“ ? ”实际参数上报，并展示在调用链路页面。
注意：Mysql client低于5.0版本不支持该功能。
测试和预期效果
准备工作：
准备一个应用内调用，并且应用方法内产生了mysql调用，且准备查询语句为 “select * from table where id = ?;”；
- 配置打开采集mysql查询语句
预期结果：
选择左侧“调用链查询”菜单栏，打开采集mysql查询语句配置后，选择这次调用的调用链，点开调用链中，可以在Tags中看到sql入参；
堆栈快照
通过该模块，用户可以自定义设置堆栈快照相关的设置参数，包括可以自定义设置监控持续时间、监控间隔、最大采样数、起始监控延迟时间等。
