k8s故障检测与自愈之一

组件故障

站在用户的角度思考问题，与客户深入沟通，找到垫江网站设计与垫江网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：成都做网站、网站设计、企业官网、英文网站、手机端网站、网站推广、国际域名空间、网络空间、企业邮箱。业务覆盖垫江地区。

组件故障可以认为是节点故障的子类，只是故障来源是K8S基础组件的一部分。

DNS故障：6个DNS Pod中的2个出现无法解析外部DNS名称的情况。后果是大量线上业务因域名解析。

CNI故障：少数几个节点的容器网络和外部断开，节点访问自身的Pod IP没有问题，但是其它节点无法访问故障节点的Pod IP。这种情况下，Pod本机的健康检查无效，导致故障实例持续存在，一定比例的业务请求失败。

kubenurse会对ingress、dns、apiserver、kube-proxy进行网络探测。

使用KubeNurse进行集群网络监控

节点故障

• 硬件错误: CPU/Memory/磁盘故障
• kernel问题: kernel deadlock/corrupted file systems
• 容器运行时错误: Docker假死
• 基础设施服务故障: NTP故障

node-problem-detector

• 根源: 在kubernetes集群上，通常我们只是管制集群本身以及容器的稳定运行。但是这些稳定性都是强依赖节点node的稳定的。可是node的管理，在kubernetes是比较弱的，因为可能对于kubernetes的初始设计来说，这些应该是IaaS的事。但是随着kubernetes的发展，它越来变成了一个操作系统，它管理的内容将越来越多，所以对于node的管理也将纳入kuberntes里管理。所以延伸出了node problem detector这个项目。
• Kubernetes支持两种上报机制：

1、NodeCondition(节点状况): 这是指永久性的错误，它将造成pod无法在这个节点运行。这个节点状况只有在节点重启后才会被重置

2、Event(事件): 影响节点的临时性问题，但是它是对于系统诊断是有意义的。NPD就是利用kubernetes的上报机制，通过检测系统的日志(例如centos中journal)，把错误的信息上报到kuberntes的node上。

图片故障节点上的事件，会记录在宿主机的某些日志中。这些日志(例如内核日志)中噪音信息太多，NPD会提取其中有价值的信息，可以将这些信息报送给Prometheus，也会生成离线事件。这些信息可以推送到企业微信，人工处理。也可以对应到自愈系统的方法库，自动恢复。在裸金属K8S集群中，由于缺乏基础设施的支撑，自动扩充节点可能无法实现，只能通过更加精细的自动化运维，治愈节点的异常状态。

以CNI故障为例，可能的治愈流程如下：

1. 查询运维方法库，如果找到匹配项，执行对应的运维动作
2. 如果上述步骤无效，尝试删除节点上负责CNI的Pod，以重置节点的路由、Iptables配置
3. 如果上述步骤无效，尝试重启容器运行时
4. 告警，要求运维人员介入

部署NPD实践你需要有一个k8s集群，必须有1个以上的worker节点。大家可以参考https://github.com/kubernetes/node-problem-detector。

 
 
 
 

  
  
  
  
主要参数： 
  
  
  
  
--prometheus-address: 默认绑定地址127.0.0.1，如果需要推送给promethues，需要修改。 
  
  
  
  
--config.system-log-monitor: 节点问题检测器将为每个配置启动一个单独的日志监视器.案例: config/kernel-monitor.json。 
  
  
  
  
--config.custom-plugin-monito: 节点问题检测器将为每个配置启动一个单独的自定义插件监视器。案例: config/custom-plugin-monitor.json 
 
 
 
 

主要参数：

--prometheus-address: 默认绑定地址127.0.0.1，如果需要推送给promethues，需要修改。

--config.system-log-monitor: 节点问题检测器将为每个配置启动一个单独的日志监视器.案例: config/kernel-monitor.json。

--config.custom-plugin-monito: 节点问题检测器将为每个配置启动一个单独的自定义插件监视器。案例: config/custom-plugin-monitor.json

将代码克隆到本地，按照自己的需求更改deployment文件中的DaemonSet，执行以下内容：

 
 
 
 

  
  
  
  
创建ConfigMap： 
  
  
  
  
kubectl create -f node-problem-detector-config.yaml 
  
  
  
  
创建DaemonSet: 
  
  
  
  
kubectl create -f node-problem-detector.yaml 
 
 
 
 

如何验证NPD捕获信息这部分，可以在测试集群的node几点上做。

 
 
 
 

  
  
  
  
sudo sh -c "echo 'kernel: BUG: unable to handle kernel NULL pointer dereference at TESTING' >> /dev/kmsg" 
  
  
  
  
可以在kubectl describe nodes x.x.x.x 中看到KernelOops事件的告警。 
  
  
  
  
sudo sh -c "echo 'kernel: INFO: task docker:20744 blocked for more than 120 seconds.' >> /dev/kmsg" 
  
  
  
  
可以在kubectl describe nodes x.x.x.x 中看到DockerHung事件的告警。 
 
 
 
 

如果事件告警接到了promethues，可以配置策略，发送到微信。

分享名称：k8s故障检测与自愈之一
URL链接：http://www.csdahua.cn/qtweb/news8/108808.html

网站建设、网络推广公司-快上网，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 快上网