问题-李佶澳

问题 / 李佶澳 / 2019-06-13 13:30:00 +0800 nginx

提出的两个假设未能稳定复现，方案可能有效，意外发现是当 nginx 上的端口耗尽时，会引发 502

Kubernetes 集群 Node 间歇性变为 NotReady 状态: IO 负载高，延迟严重

问题 / 李佶澳 / 2019-05-27 15:03:29 +0800 kubernetes_problem

Kubernetes的node间歇性变成NodeNotReady，非常短暂，监听kubernetes集群的事件可以发现

Kubernetes的nginx-ingress-controller刷新nginx的配置滞后十分钟导致504

问题 / 李佶澳 / 2019-05-17 19:37:07 +0800 kubernetes_problem

Kubernetes集群上的应用在重新部署的之后，频繁出现504错误，nginx-ingress-controller刷新配置滞后

Kubernetes的Nginx Ingress 0.20之前的版本，upstream的keep-alive不生效

问题 / 李佶澳 / 2019-05-08 15:05:39 +0800 kubernetes_problem

nginx-ingress 0.20之前版本配置模板nginx.tmpl有Bug，使UpstreamKeepaliveConnections无效

Kubernetes node 的 xfs文件系统损坏，kubelet主动退出且重启失败，恢复后无法创建pod

问题 / 李佶澳 / 2019-04-15 15:49:34 +0800 kubernetes_problem

xfs文件系统元数据损坏metadata I/O error: block,xfs_log_force: error -5,input/output error

Kubernetes的Pod无法删除，glusterfs导致docker无响应，集群雪崩

问题 / 李佶澳 / 2019-04-08 10:10:10 +0800 kubernetes_problem

故障容器都挂载了glusterfs，不可用的node上也有，这些容器被重新调度到哪里，哪个node就随之崩溃。

Kubernetes集群node无法访问service: kube-proxy没有正确设置cluster-cidr

问题 / 李佶澳 / 2019-02-27 18:21:19 +0800 kubernetes_problem

异常机器上的kube-proxy缺失参数--cluster-cidr，pod的网段和service的cluster ip不是一个网段

Linux关闭swap失败，swapoff failed: cannot allocate memory

问题 / 李佶澳 / 2019-02-27 10:26:42 +0800 linux

执行swapoff -a关闭swap的时候，报不能分配内存的错误：swapoff failed: Cannot allocate memory

Kubernetes集群node上的容器无法ping通外网: iptables snat规则缺失导致

问题 / 李佶澳 / 2019-02-15 12:04:04 +0800 kubernetes_problem

kubernets集群问题node上缺失了一条iptables snat规则，导致node上所有容器不能访问外网iptables -t nat -A POSTROUTING -s 10.12.9.138/26 ! -o docker0 -j MASQUERADE

Kubernetes问题调查: failed to get cgroup stats for /systemd/system.slice

问题 / 李佶澳 / 2019-01-25 11:28:17 +0800 kubernetes_problem

summary.go:92] Failed to get system container stats for "/systemd/system.slice" cgroup stats

Kubelet1.7.16使用kubeconfig时，没有设置--require-kubeconfig，导致node不能注册

问题 / 李佶澳 / 2019-01-14 11:08:17 +0800 kubernetes_problem

“因为没有指定apiservers，所以node状态不会上报”，用kubeconfig文件就不能上报node状态了？？

Kubelet从1.7.16升级到1.9.11，Sandbox以外的容器都被重建的问题调查

问题 / 李佶澳 / 2019-01-14 16:38:38 +0800 kubernetes_problem

kubelet从1.7.16升级到1.9.11，重启时，sandbox以外的容器会被重建，Container定义变化导致的

Mac系统升级后，Vim的UltiSnip插件出错: Error No module named UltiSnips

问题 / 李佶澳 / 2019-01-02 14:48:14 +0800 mac

mac升级后，vim中ultisnips的插件的不能用了，键入字符时弹出下面的错误`No module named UltiSnips`

docker 使用：overlay2 限制单个容器可用存储空间

问题 / 李佶澳 / 2018-12-26 10:56:40 +0800 docker

使用overlay2时要限制单个容器的可占用空间，需要使用xfs文件系统

火焰图生成工具nginx-systemtap-toolkit使用时遇到的问题

问题 / 李佶澳 / 2018-12-06 14:20:35 +0800 linux

stapxx是一套封装了stap命令的perl脚本，可以抓取nginx，以及系统上其它进程的调用栈

curl能访问的url，通过blackbox-exporter进行探测时，返回404

问题 / 李佶澳 / 2018-12-03 16:08:22 +0800 prometheus

有一个url，直接用curl进行访问，返回200 OK，但是通过blackbox访问时，返回404

Kubernetes: 内核参数rp_filter设置为Strict RPF，导致Service不通

问题 / 李佶澳 / 2018-11-26 17:40:06 +0800 kubernetes_problem

网络方案是flannel，从node上直接用telnet访问Service的服务地址（IP 端口），不通

keepalived的vrrp多播报文被禁，导致VIP同时位于多个机器上

问题 / 李佶澳 / 2018-11-12 17:37:51 +0800 keepalived

原本好好的vip，突然同时存在于两个机器上了，发现是默认用的多播被禁了，需要换成单播

Kubernetes使用过程中遇到的一些问题与解决方法

问题 / 李佶澳 / 2018/10/22 14:25:00 kubernetes_problem

这里记录Kubernetes使用过程中遇到的一些比较的问题与解决方法

kubernetes 1.12 从零开始（零）: 遇到的问题与解决方法

问题 / 李佶澳 / 2018/10/21 12:06:00 视频教程 kubernetes

这里记录Kubernetes1.12从零开始的过程中遇到的一些问题与解决方法。

API网关Kong学习笔记（零）: 使用过程中遇到的问题以及解决方法

问题 / 李佶澳 / 2018-10-15 11:50:58 +0800 kong

这里记录使用Kong时遇到的问题，以及找到的解决方法

CentOS Local设置，消除告警: warning: Setting locale failed

问题 / 李佶澳 / 2018-11-07 11:39:36 +0800 centos

经常遇到Setting locale failed.问题，虽然不影响命令运行，但是总是出现warning，比较烦：

Prometheus（普罗米修斯）使用过程中遇到的问题

问题 / 李佶澳 / 2018/08/03 10:26:00 prometheus

prometheus是最近几年开始流行的一个新兴监控告警工具，特别是kubernetes的流行带动了prometheus的应用。

超级账本HyperLedger: Fabric 1.2.0使用时遇到的问题

问题 / 李佶澳 / 2018/07/26 11:07:00 HyperLedger

HyperLedger Fabric 1.2.0使用过程中遇到的一些问题。

Kubernetes集群节点被入侵挖矿，CPU被占满

问题 / 李佶澳 / 2018/07/20 19:38:00 kubernetes_problem

kubelet漏洞导致不需要任何认证就可以到容器中执行命令，通过这种方式可以在任意一个容器中安装恶意程序。

超级账本HyperLedger: Fabric的Chaincode开发过程中遇到的问题

问题 / 李佶澳 / 2018/07/20 16:22:00 HyperLedger

这里记录在开发ChainCode的过程中遇到的一些问题，以及解决方法。

超级账本HyperLedger: Fabric Node.js SDK使用时遇到的问题

问题 / 李佶澳 / 2018/07/15 17:38:00 HyperLedger

这里记录使用HyperLedger Fabric的nodejs sdk时遇到的一些问题

超级账本HyperLedger: Fabric Golang SDK使用时遇到的问题

问题 / 李佶澳 / 2018/07/17 13:24:00 HyperLedger

这里记录使用HyperLedger Fabric的golang sdk时遇到的一些问题

kubernetes的node上的重启linux网络服务后，pod无法联通

问题 / 李佶澳 / 2018/06/12 11:25:00 kubernetes_problem

在node上重启网络(执行`systemctl restart network`)后，pod无法联通

超级账本HyperLedger: Fabric部署过程时遇到的问题汇总

问题 / 李佶澳 / 2018/05/04 21:14:00 视频教程 HyperLedger

这里记录部署hyperledger fabric时遇到的一些问题

Calico的hostendpoint的IP地址为空，导致felix退出

问题 / 李佶澳 / 2018/01/19 15:48:39 calico

calico

容器中运行的haproxy的端口复用问题再解决

问题 / 李佶澳 / 2018/01/10 13:51:44 haproxy

使用haproxy代理的部分http服务突然不能访问，一直没有数据返回。

haproxy的配置文件存在重复项目，导致reload失败，新规则未生效

问题 / 李佶澳 / 2017/12/21 11:12:14 haproxy

calico-cni使pod的删除反复重试，statefulset创建的pod被调度到以往的node上后，静态arp丢失，无法联通

问题 / 李佶澳 / 2017/12/12 16:11:59 calico

终于找到pod的网关静态arp丢失,calico中的workloadendpoint丢失的原因了

calico的ipam的数据混乱，重建ipam记录

问题 / 李佶澳 / 2017/12/11 21:40:50 calico

自从上次系统升级之后，kubernetes故障频出，大部分都是网络问题。

calico node重启时路由同步信息延迟高达4分钟

问题 / 李佶澳 / 2017/12/08 10:37:35 calico

kubernetes有100个node，1416个pod，重启node上的calico时，路由同步时间高达4分钟

kubernetes的pod因为同名Sandbox的存在，一直无法删除

问题 / 李佶澳 / 2017/12/08 16:58:13 kubernetes_problem

kubernetes版本为1.7.6，用kubectl删除pod后，pod一直处于Terminating的状态

grpc 服务调用，首次建立连接后首次请求超时

问题 / 李佶澳 / 2017/12/06 13:38:42 grpc

用户反映在kubernetes平台上使用自主开发的微服务系统（使用grpc调用），经常出现timeout的情况。

kubelet升级，导致calico中存在多余的workloadendpoint，node上存在多余的veth设备

问题 / 李佶澳 / 2017/12/04 10:52:09 kubernetes_problem

有一个pod容器，无法对外访问，发现容器内的arp记录缺失

使用petset创建的etcd集群在kubernetes中运行失败

问题 / 李佶澳 / 2017/11/29 16:16:09 kubernetes_problem etcd

使用petset在kubernetes中创建的etcd集群，运行一段时间后一个成员异常

Kubernetes 容器启动失败: unable to create nf_conn slab cache

问题 / 李佶澳 / 2017/11/13 09:42:36 kubernetes_problem

kubernetes集群的一台node上容器启动失败，日志显示unable to create nf_conn slab cache

容器内部的go程序没有使用/etc/hosts中记录的地址

问题 / 李佶澳 / 2017/11/09 20:31:14 golang

运行在容器内的go程序发起http请求的时候，没有使用/etc/host中配置的地址

ceph: 1 full osd(s)，整个集群不可用的问题

问题 / 李佶澳 / 2017/10/31 19:53:40 ceph

一个osd使用超过95%，导致整个ceph集群不可用。

未在calico中创建hostendpoint，导致开启隔离后，在kubernetes的node上无法访问pod

问题 / 李佶澳 / 2017/10/27 14:45:26 calico kubernetes_problem

在calico上开启policy后，node无法访问pod

使用端口复用(SO_REUSEPORT)、反复对haproxy进行reload操作，导致访问haproxy间歇性返回"503"

问题 / 李佶澳 / 2017/09/19 16:09:12 haproxy

运行一端时间后会出现client连接haproxy间歇性失败的情况，重启haproxy后恢复

服务器存在较多的FIN_WAIT1和TIME_WAIT状态的连接

问题 / 李佶澳 / 2017/09/05 17:08:50 linux

发现linux服务器上的FIN_WAIT1状态的连接持续很长时间

ios以及safari中的pre标签设置overflow后，不显示水平滚动条

问题 / 李佶澳 / 2017/09/04 23:01:31 web

ios和safari中，为`pre标签`设置了overflow:auto，没有产生水平滚动条

连接haproxy间歇性失败的问题调查

问题 / 李佶澳 / 2017/09/04 09:39:54 haproxy

运行一端时间后会出现client连接haproxy间歇性失败的情况，重启haproxy后恢复

haproxy返回的http头中没有keep-alive

问题 / 李佶澳 / 2017/08/11 16:59:57 haproxy

用户反应得到的http响应头中没有keep-alive，调查发现

calico路由丢失问题的调查

问题 / 李佶澳 / 2017/08/08 14:32:12 calico

kubernetes中的一个pod访问一个service的时候，时不时的出现timeout，经查发现是BGP连接故障，路由缺失。

calico分配的ip冲突，pod内部arp记录丢失，pod无法访问外部服务

问题 / 李佶澳 / 2017/08/04 10:22:14 calico kubernetes_problem

使用calico的kubernetes集群中，pod断网的问题调查

kubernetes的dnsmasq缓存查询结果，导致pod偶尔无法访问域名

问题 / 李佶澳 / 2017/08/03 14:22:43 kubernetes_problem

在kubernete的pod中，访问域名`repo1.maven.org`的时候，发现无法访问。

docker 排查：目录被其它的容器挂载使用，导致已经退出的容器无法被删除

问题 / 李佶澳 / 2017/07/14 15:19:14 docker

docker: unable to remove filesystem for 593d8...

k8s: rbd image is locked by other nodes

问题 / 李佶澳 / 2017/07/13 15:03:27 kubernetes_problem

k8s中rbd image is locked by other nodes的问题排查

kuberntes的node无法通过物理机网卡访问Service

问题 / 李佶澳 / 2017/03/31 16:26:56 kubernetes_problem

在kubernetes的一台物理机上访问service的clusterIP，没有响应，经过调查发现通过物理机的网卡无法访问服务。

vagrant: /sbin/mount.vboxsf mounting failed with the error: No such device

问题 / 李佶澳 / 2017/03/27 16:56:41 vagrant

vagrant /sbin/mount.vboxsf: mounting failed with the error: No such device

cannot change locale (UTF-8): No such file or directory

问题 / 李佶澳 / 2017/03/27 16:55:28 centos shell

cannot change locale (UTF-8): No such file or directory

编程基础系统基础关注跟踪

Kubernetes Prometheus 超级账本

推荐阅读