CloudNativeMeetupTokyo#7 – Consul Kubernetes Integrationにおける Service Sync to Consulについて

2019年3月29日(金)に開催した CloudNativeMeetupTokyo#7 で、Consul ConnectとConsul Kubernetes Integrationについて紹介しました。参加してくれた方、登壇してくれた方、ありがとうございました。

今回はフォントをめちゃ太くしてみた。

KubernetesサービスのConsulへの同期の際、NodePortの場合にポッドが動いているノードのIPアドレスがConsulサービスとして登録されるのはなぜか?という質問をもらい、その辺り調査不足だったのでもう少し調べてみました。なお、サービス同期のドキュメントは https://www.consul.io/docs/platform/k8s/service-sync.html です。

さて、Kubernetesサービスの同期で使えるタイプはNodePort、LoadBalancer、ClusterIPです。そして、ExternalIPsにも対応しています。実際の挙動を見るためにそれぞれのサービスを用意して、Kubernetesの外からConsul APIで確認してみます。

$ k get svc | grep hello-consul
hello-consul-cluster-ip       ClusterIP      10.233.62.185                              8080/TCP         1m
hello-consul-external-ips     ClusterIP      10.233.38.236   80.11.12.10                      8080/TCP         1m
hello-consul-load-balancer    LoadBalancer   10.233.48.223   10.230.1.137                     8080:32702/TCP   1m
hello-consul-node-port        NodePort       10.233.12.208                              8080:32754/TCP   1m

NodePort

まずはNodePortです。KubernetesサービスのPodが動いているNodeのアドレスがConsulサービスとして登録されます。ソースコードは このあたり。 厳密には、ServiceのEndpointがあるNodeを取得するようです。確かに、素朴に考えるとNodePortのIPを使いそうですが、一工夫しています。Consul APIでServiceAddressとServicePortを見るとこんな感じ。

[alpaca@staging-bastion-10-230-0-24 ~]$ curl -sS http://127.0.0.1:8500/v1/catalog/service/hello-consul-node-port | jq -r ".[] | [.ServiceAddress, .ServicePort] | @tsv"
10.230.1.135 32754
10.230.0.103 32754
10.230.0.85 32754

LoadBalancer

次に、LoadBalancerです。LoadBalancerのIngressがConsulサービスとして登録されます。ソースコードは このあたり。Consul APIで見るとこんな感じ。

[alpaca@staging-bastion-10-230-0-24 ~]$ curl -sS http://127.0.0.1:8500/v1/catalog/service/hello-consul-load-balancer | jq -r ".[] | [.ServiceAddress, .ServicePort] | @tsv"
10.230.1.137 8080

ClusterIP

次はClusterIPです。KubernetesサービスのIPが登録されるのかな、と思いきや、各PodのIPアドレスがConsulサービスとして登録されています。ソースコードは このあたり

[alpaca@staging-bastion-10-230-0-24 ~]$ curl -sS http://127.0.0.1:8500/v1/catalog/service/hello-consul-cluster-ip | jq -r ".[] | [.ServiceAddress, .ServicePort] | @tsv"
10.233.70.181 8080
10.233.68.140 8080
10.233.74.34 8080

External IPs

最後にExternalIPsについてです。ExternalIPsが設定されている場合、その設定値がConsulサービスに登録され、Ingressなどは登録されません。ソースコードは このあたり

[alpaca@staging-bastion-10-230-0-24 ~]$ curl -sS http://127.0.0.1:8500/v1/catalog/service/hello-consul-external-ips | jq -r ".[] | [.ServiceAddress, .ServicePort] | @tsv"
80.11.12.10 8080

以上、KubernetesからConsulへのサービス同期についての追加調査でした。