日志服务
日志管理
新增日志任务
如下图所示,点击【新增日志任务】,添加日志采集任务,录入日志任务配置信息:
基础配置:
日志任务名称;
日志源类型;
容器标准输出:容器中的标准输出流;
容器日志:容器内产生的文本日志以及容器的元数据信息;
集群、空间;
配置项名称:当前配置信息的自定义名称
标签选择器:用于为工作负载添加标签,支持导入已有工作负载的默认标签为Key=system/app,根据容器云流水线部署的yaml自行添加为真实标签即可。
日志采集路径:输入日志路径,支持glob表达式,例如:/var/log/*.log。
更多配置(可选):
容器名称:部署的应用pod中containername;
元信息/注入Pod标记:在日志配置中注入Pod的label(标签)、env(环境变量)、annotation(注解),可用作日志查询页面的筛选条件;
元信息/自定义标记:自定义Key-Value值,可用作日志查询页面的筛选条件;
日志多行配置:日志多行配置用于指定处理跨多行消息的处理方式。
pattern:指定用于匹配多行的正则表达式;
negate:定义匹配模式是否取反,与match结合使用;
match:指定如何把多行合并成一个事件。选项为BEFORE/AFTER按照日志前面匹配还是后面匹配。
单条日志大小上限;
排除日志:该路径下的文件将被忽略,日志内容不被收集;支持正则匹配,建议排除压缩文件,例如:\.gz$;
忽略日志文件时长:将忽略日志任务创建时间起对应时间段内的日志文件;
日志保留:可指定日志保留文件数或日志保留天数。
查看日志任务列表
如下图所示,用户可以日志任务管理列表页查看所有日志采集任务以及日志相关信息,包括:
日志任务名称
标签选择器
日志路径
创建时间
可通过空间、日志任务名称对列表进行筛选,且日志任务名称、任务状态及创建时间列支持排序,便于查看与管理日志任务。
如下图所示,列表操作列支持以下操作:
开启/关闭日志任务;
日志查询:快速跳转至日志查询页面,查询该日志任务采集的日志数据;
修改日志配置;
复制,用于复制日志任务,快速新增日志任务;
删除。
查看日志任务详情
点击列表中的日志任务名称,如下图所示,可查看日志任务详情。
日志查询
搜索模式
查询条件
如下图所示,支持按以下条件筛选日志任务,查询日志数据:
命名空间;
日志任务;
查询语句:输入查询关键词,示例:name:sgp ;
筛选条件:选择Key-Value值,可组合条件,快速筛选所需日志数据;
时间范围:
默认查询时间范围为近1分钟;
提供快捷选项,可快速选择日志查询时间范围;
自定义时间:自定义选择开始日期和结束日期;点击【切换】,可自定义填写具体的开始时间和结束时间,时间粒度最小为秒级。
日志柱形图
如下图所示,返回日志数据结果后,日志查询页面将展示日志柱形图。日志柱形图是时间横轴、日志采集数纵轴组成的蓝色柱形图表。根据蓝色柱形的波动可以直观看出该时间段内日志产生数量的变化趋势。如果当前日志为服务器的访问日志,就可以快速地发现这段时间内整个服务的负载情况以及用户访问pv情况。
日志柱状图还提供了丰富的交互,用户可快速定位日志。点击柱形即可定位到更细粒度的时间区间;或者拖动选择所需查找的时间区间,前端立即返回该时间段内的日志数据。
鼠标移动至柱形,即可展示该柱形对应日志的入库时间以及日志数目。
日志柱形图上方展示完整时间区间内的日志采集条数,并支持自定义柱形图展示粒度,最小粒度为秒级。
日志内容展示
如下图所示,设置完成日志查询条件后,点击【查询】,前端界面即可展示日志内容。左侧为日志入库时间,可正逆序排列。右侧为日志内容,点击左上方组件,可切换日志内容展示形式,提供的形式有原始日志以及Json形式。
自定义日志内容展示列
用户可可自定义感兴趣字段,隐藏不必要的列信息,前端仅展示重要的日志内容列。
如下图所示,用户可按需选择Key字段,或输入字段名称进行模糊搜索,选择完成后点击【确认并展示】,前端界面将仅展示用户所选字段的内容列。如图,选择了nodename、namespace、cluster_name这个三个字段后,前端返回的原始日志便新增显示这三列信息。
实时流模式
实时流模式可用于上线场景,用户可实时关注与跟踪日志数据。通过设置刷新频率,前端界面实时滚动输出日志数据。
如下图所示,实时流模式支持空间、日志任务筛选、查询语句与条件过滤,感兴趣字段功能支持自定义日志内容展示列,帮助用户在海量实时日志中定位与关注核心数据,快速定位业务问题。
全链路检索模式
如下图所示,全链路模式可用于报警、排查场景,用户需输入traceId,查询对应时段的日志数据,快速定位与排查问题。