Kubernetes组件问题排查的一些方法

Kubernetes组件问题排查的一些方法

作者： 乔克 2021-04-19 17:25:08
云计算 Kubernetes的基础组件就像一栋房子的地基，它们的重要性不言而喻。作为Kubernetes集群的维护者，经常会遇到组件的问题，那平时是怎么去定位解决的呢?

创新互联公司客户idc服务中心，提供IDC机房托管、成都服务器、成都主机托管、成都双线服务器等业务的一站式服务。通过各地的服务中心，我们向成都用户提供优质廉价的产品以及开放、透明、稳定、高性价比的服务，资深网络工程师在机房提供7*24小时标准级技术保障。

本文转载自微信公众号「运维开发故事」，作者 乔克 。转载本文请联系运维开发故事公众号。

Kubernetes的基础组件就像一栋房子的地基，它们的重要性不言而喻。作为Kubernetes集群的维护者，经常会遇到组件的问题，那平时是怎么去定位解决的呢?

这里简要分析一下我的排查思路。

  • 通过集群的状态，找到故障的节点或者组件
  • 分析组件的日志
  • 使用pprof分析组件的具体性能

确定范围

Kubernetes的基础组件不多，而且部署也非常简单，所以在定义范围的时候还是很容易的，比如我们在使用kubectl get nodes的时候，如果某个节点的状态是NotReady，我们脑海中是不是会出现两种可能?

(1)节点的kubelet组件有问题

(2)节点的网络组件有问题

这样一来，大体方向已经确定了，然后就是做排除法了。

这里为何说是排除法?因为在解决问题的途中，我们通常会采用先假设再验证的方式进行，先把所以可能的因素列出来，然后一个一个的去验证去排除，直到解决问题。

分析日志

日志分析是故障排查最直接的方式，大部分问题都能从日志里体现出来，Kubernetes的组件日志查看方式通常有两种：

  • 通过systemd启动的服务，使用journalctl -l -u xxxx
  • 使用静态pod启动的服务，使用kubectl logs -n kube-system $PODNAME --tail 100

当然，很多时候不仅仅是分析它本身的问题，我们还会关注周边的问题，比如基础设施的CPU、内存、IO等情况，这样进行综合考虑来找出问题。

性能分析

为什么把性能分析放到最后呢?

对于大部分人来说，并不擅长，也不喜欢分析组件的性能。第一是时间比较长，第二是要对各个性能指标有一定的了解，第三是学习成本比较大。

众所周知，Kubernetes的版本迭代比较快，基本一年会发2-3个版本，如此快的迭代速度，不排除一些版本中存在BUG，存在一些性能问题。所以在实在没招的情况下，可以尝试对其组件的性能进行分析。

Kubernetes是使用Golang开发，而Golang的pprof是性能分析的利器，提供交互式界面和UI图形化，比较直观，可以很方便的找出问题。除此之外，还可以使用go-torch将profile数据生成火焰图，这样会更直观。

Kubernetes的组件都可以使用pprof进行性能分析，界面在host:port/debug/pprof/。

pprof的常用方式

使用交互式命令

查看堆栈调用信息

  
 
 
 
    
   
  
  
  
  1. go tool pprof http://localhost:8001/debug/pprof/heap 
    2.

查看 30 秒内的 CPU 信息

  
 
 
 
    
   
  
  
  
  1. go tool pprof http://localhost:8001/debug/pprof/profile?seconds=30 
    2.

查看 goroutine 阻塞

  
 
 
 
    
   
  
  
  
  1. go tool pprof http://localhost:8001/debug/pprof/block 
    2.

收集 5 秒内的执行路径

  
 
 
 
    
   
  
  
  
  1. go tool pprof http://localhost:8001/debug/pprof/trace?seconds=5 
    2.

互斥持有者的堆栈跟踪

  
 
 
 
    
   
  
  
  
  1. go tool pprof http://localhost:8001/debug/pprof/mutex 
    2.

通过UI界面

UI分析工具使用起来相对比较麻烦，我们需要先导出文件，然后再使用go tool工具起服务进行分析。

比如我们导出kube-scheduler的堆栈信息。

  
 
 
 
    
   
  
  
  
  1. curl -sK -v http://localhost:10251/debug/pprof/heap > heap.out 
    2.

然后使用go tool工具起一个服务，如下：

  
 
 
 
    
   
  
  
  
  1. go tool pprof -http=0.0.0.0:8989 heap.out 
    2.

然后就可以在浏览器上看到具体的堆栈信息图了。

注意，这里需要在服务端安装graphviz组件，各种操作系统的安装方式见[3]。

UI界面主要的菜单以及其功能简要介绍如下：

  • VIEW：查看模式
    • Top：从高到底排序查看
    • Graph：默认的模式，以关系图形式查看
    • Flame Graph：以火焰图形式查看
    • Peek：排序查看，展示的信息更多
    • Source：排序查看，带源码标注
    • Disassemble：现实所有总量
  • SAMPLE：为VIEW提供查看模式
    • alloc_objects：已分配的对象总量(不管是否已释放
    • alloc_space：已分配的内存总量(不管是否已释放)
    • inuse_objects：已分配但尚未释放的对象数量
    • inuse_sapce：已分配但尚未释放的内存数量
    • REFINE：提供筛选能力

上面简单介绍了pprof的基本使用方法，下面就Kubernetes的各个组件进行简单的分析，这里只就CPU信息进 行获取以及展示。

注意：由于版本原因，有的版本默认开启了pprof，有的版本则没有，如果没有开启的，需要自行去开启，参数基本都是profiling: true，具体的信息可以到官网进行查看[4]。

分析kube-apiserver

(1)使用kubectl proxy启动一个代理

  
 
 
 
    
   
  
  
  
  1. kubectl proxy 
    2.

(2)另起一个终端，获取CPU信息

  
 
 
 
    
   
  
  
  
  1. curl -sK -v http://localhost:8001/debug/pprof/profile >apiserver-cpu.out 
    2.

(3)使用go tool工具启动服务

  
 
 
 
    
   
  
  
  
  1. go tool pprof -http=0.0.0.0:8989 apiserver-cpu.out 
    2.

(4)在浏览器上进行查看

分析kube-scheduler

(1)获取CPU的信息

  
 
 
 
    
   
  
  
  
  1. curl -sK -v  http://localhost:10251/debug/pprof/profile >scheduler-cpu.out 
    2.

(2)使用go tool工具启动服务

  
 
 
 
    
   
  
  
  
  1. go tool pprof -http=0.0.0.0:8989 scheduler-cpu.out 
    2.

(3)在浏览器进行查看

分析kube-controller-manager

(1)获取CPU的信息

  
 
 
 
    
   
  
  
  
  1. curl -sK -v  http://localhost:10252/debug/pprof/profile >controller-cpu.out 
    2.

(2)使用go tool工具启动服务

  
 
 
 
    
   
  
  
  
  1. go tool pprof -http=0.0.0.0:8989 controller-cpu.out 
    2.

(3)在浏览器进行查看

分析kubelet

(1)使用kubectl proxy启动一个代理

  
 
 
 
    
   
  
  
  
  1. kubectl proxy 
    2.

(2)另起一个终端，获取CPU信息

  
 
 
 
    
   
  
  
  
  1. curl -sK -v http://127.0.0.1:8001/api/v1/nodes/k8s-node04-138/proxy/debug/pprof/profile >kubelet-cpu.out 
    2.

(3)使用go tool工具启动服务

  
 
 
 
    
   
  
  
  
  1. go tool pprof -http=0.0.0.0:8989 kubelet-cpu.out 
    2.

(4)在浏览器上进行查看

能够抓到具体的性能数据才是第一步，后续的具体分析才会帮助我们找到问题。

文档

[1] https://github.com/google/pprof

[2] https://github.com/uber-archive/go-torch

[3] http://www.graphviz.org/download/#linux

[4] https://kubernetes.io/zh/docs/reference/command-line-tools-reference/kube-apiserver/

新闻标题：Kubernetes组件问题排查的一些方法
分享路径：http://www.csdahua.cn/qtweb/news23/534523.html

网站建设、网络推广公司-快上网，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 快上网

成都快上网为您推荐相关内容

ChatGPT知识

分类信息网站

关键词排名　　 　成都艾瑞格　　 　绵阳电信机房　　 　橡塑保温板　　 　微信小程序开发　　 　乐山网站建设　　 　成都托管服务器　　 　四川乐山服务器托管　　 　成都资质代办　　 　娃娃鱼鱼苗　　 　成都网站优化　　 　成都网站托管　　 　SSL认证　　 　网站建设费用　　 　成都活动策划　　 　达州网站建设　　 　云主机　　 　手机网站制作　　 　大足网站建设　　 　成都logo设计标志