Kubernetes on OpenStack with Octaviaでスケーラブルなロードバランサーを実現する
KubernetesのCloud-ProviderはOpenStackのLoadBalancerをサポートしている。v1.9からOctaviaがサポートされたので、kubesprayで構築して試した。OctaviaについてはOpenStack Octaviaの概要を参照していただきたい。
構築自体はkubesprayのmasterなどv1.9以降が使えるもので設定して、かつcloud-configファイルのLoadBalancerセクションでuse-octavia=trueとなるようにテンプレートを修正する。その後ansibleを適用したらよいのだけど、kubernetes v1.9.1だと動かない。というのも、バグでLoadBalancer作成中に叩くAPIエンドポイントが間違っていた。
すでに修正済みかつv1.9.3に修正が含まれると思われるが、今すぐためしたかったのでv1.9.1のタグからブランチを切り、修正PRをcherry-pickし、イメージをビルドして検証を継続した。gophercloudを使ってOpenStackのAPIを叩いていれば読みやすいので助かる。hyperkubeをビルドする時、デフォルトだと全OSかつ全アーキテクチャ向けにビルドするようで滅茶苦茶時間がかかるので、Kubernetes: Build Your Custom Kubelet Imageのように環境変数で指定してあげるのがよいです。それでもイメージを作るのに15分くらいはかかる（体感）ので、なんかいい方法ないものか。
検証用には microservices-demoを使っていて、front-end ServiceのtypeをLoadBalancerに変更すればよい(portsからnodePortを消すのを忘れずに)。これで、LoadBalancerが作られる。
無事LoadBalancerが作られると、以下のようにfront-end ServiceのTYPEがLoadBlancerとなり、EXTERNAL-IPにLoadBalancerが使うFloatingIPのIPアドレスが割り振られる。このアドレスにブラウザでアクセスすると、microservices-demoのショップ画面を見ることができる。
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
carts ClusterIP 10.233.45.134 <none> 80/TCP 20m
carts-db ClusterIP 10.233.1.15 <none> 27017/TCP 20m
catalogue ClusterIP 10.233.18.173 <none> 80/TCP 20m
catalogue-db ClusterIP 10.233.54.204 <none> 3306/TCP 20m
front-end LoadBalancer 10.233.5.150 XXX.XXX.XXX.XXX 80:31133/TCP 19m
orders ClusterIP 10.233.13.160 <none> 80/TCP 19m
orders-db ClusterIP 10.233.46.106 <none> 27017/TCP 19m
payment ClusterIP 10.233.1.219 <none> 80/TCP 19m
queue-master ClusterIP 10.233.3.45 <none> 80/TCP 19m
rabbitmq ClusterIP 10.233.9.44 <none> 5672/TCP 19m
shipping ClusterIP 10.233.43.87 <none> 80/TCP 19m
user ClusterIP 10.233.44.200 <none> 80/TCP 19m
user-db ClusterIP 10.233.3.11 <none> 27017/TCP 19m
このとき、インターネットからコンテナへの経路は以下のようになるはず。
front-end Serviceの詳細も見ておこう。とはいっても特別見る点はないが。
Name: front-end
Namespace: sock-shop
Labels: name=front-end
Annotations: kubectl.kubernetes.io/last-applied-configuration={"apiVersion":"v1","kind":"Service","metadata":{"annotations":{},"labels":{"name":"front-end"},"name":"front-end","namespace":"sock-shop"},"spec":{"por...
Selector: name=front-end
Type: LoadBalancer
IP: 10.233.5.150
LoadBalancer Ingress: XXX.XXX.XXX.XXX
Port: <unset> 80/TCP
TargetPort: 8079/TCP
NodePort: <unset> 31133/TCP
Endpoints: 10.233.101.142:8079
Session Affinity: None
External Traffic Policy: Cluster
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal EnsuringLoadBalancer 20m service-controller Ensuring load balancer
Normal EnsuredLoadBalancer 18m service-controller Ensured load balancer
Octaviaによって作られたLoadBalancer自体を確認しておく。名前が分かりにくい…(当然だが、各idはダミー)
+---------------------+--------------------------------------------------------------+
| Field | Value |
+---------------------+--------------------------------------------------------------+
| admin_state_up | True |
| created_at | 2018-02-06T08:52:21 |
| description | Kubernetes external service a0a62264f0b1b11e8b5a7fa163ec99b5 |
| flavor | |
| id | b231e712-59b2-4d11-8243-a801c4d532b2 |
| listeners | 9bb69e7e-7901-4137-93db-8fca651fe13b |
| name | a0a62264f0b1b11e8b5a7fa163ec99b5 |
| operating_status | OFFLINE |
| pools | 1e1be81f-8cf6-4043-8c47-59020d9fba1b |
| project_id | 4b7dea695f3f4b7abcd4175dd6464783 |
| provider | octavia |
| provisioning_status | ACTIVE |
| updated_at | 2018-02-06T08:53:33 |
| vip_Address | YYY.YYY.YYY.YYY |
| vip_network_id | 1574d358-0f43-4c27-9004-f6be31be92eb |
| vip_port_id | 4f2d5855-3630-4139-bf33-1a2d520f256e |
| vip_subnet_id | 1351ff61-368e-48a9-9e90-dd39840a583f |
+---------------------+--------------------------------------------------------------+
このLoadBalancerや関連リソース（listener、pool、member)はKubernetes側でリソースを消すと自動的に削除されるので便利である。
なお、デフォルトではマニフェストで許可したポートについて、0.0.0.0/0からのアクセスを許可した状態となっている。要件によってはここを制限したくなることがあると思うが、これをマニフェストから設定できるのかは今後調査したい。さらには、Kubernetes on AWS: LoadBalancer型 Service との決別のように、LoadBalancerをTerraformで作成してKubernetesと繋ぐという手段も考えられるので、そちらも検証したいところである。