目录
3.1、Deployment+LoadBalancer模式:
3.2、Daemonset+hostnetwork+nodeSelector模式:
Service的作用体现在两个方面:
1、集群内部:不断跟踪pod的变化,更新endpoints中的pod对象,基于pod的IP地址不断变化的一种服务发现机制
2、集群外部:类似负载均衡器,可以把流量IP+端口,不涉及转发url(http、https),把请求转发到pod中
NodePort:容器端口—Service端口—NodePort映射。设定了NodePort之后每个节点都会有一个端口被打开30000-32767
LoadBalancer:云平台上的Service服务。由云平台提供负载均衡的IP地址
ExternalName:域名映射
ingress:基于域名进行映射,转发的是url请求(http、https)转发到Service,再由Service转发到每一个pod
ingress只需要一个或者是少量的公网IP或者LB,可以把多个http请求暴露到外网
他是七层反向代理
可以将ingress理解为,Service的Service。是一组基于域名和url路径把请求转发到一个或者多个请求转发到Service的规则
ingress先七层转发转发都Service,Service再四层转发转发到pod
ingress是一个api对象,通过yaml文件来进行配置。ingress作用就是定义请求如何转发到Service的规则
ingress通过http和https暴露集群内部的Service,给Service提供一个外部的url、负载均衡、ssl/tls(https)的能力,实现一个基于域名的负载均衡
ingress-controller:由这个组件来具体的实现反向代理和负载均衡的程序,以及对ingress定义的规则进行解析,根据ingress的配置的规则进行请求的转发。
但是这个ingress-controller不是K8S自带的组件功能,ingress-controller是一个统称(一系列工具)
比如nginx ingress-controller、traefik都是ingress-controller,开源的软件
ingress-controller是pod的方式运行在节点上
ingress部署在公有云。ingress配置文件中会有type。type:LoadBalancer。公有云平台会为这个LoadBalancer的Service自动创建一个负载均衡器。绑定公网地址
通过域名指向公网地址,实现集群对外暴露
Daemonset:在每个节点都会创建一个pod
hostnetwork:共享节点主机的网络命名空间。容器内直接使用节点主机的IP+端口。pod上的容器可以直接访问主机上的网络资源
nodeSelector:根据标签选择部署的节点。选择nginx-ingress-controller部署的节点
缺点:直接利用节点主机的网络和端口资源,一个node只能部署一个ingress-controller的pod
适用场景:大并发场景的生产环境。性能是最好的
Service和endpoints来发现节点
最终转发是由ingress-controller来转发请求(http)和负载均衡
用DaemonSet结合nodeselector来部署ingress-controller到特定的node上,然后使用HostNetwork直接把该pod与宿主机node的网络打通,直接使用宿主机的80/433端口就能访问服务。这时,ingress-controller所在的node机器就很类似传统架构的边缘节点,比如机房入口的nginx服务器。该方式整个请求链路最简单,性能相对NodePort模式更好。
缺点是由于直接利用宿主机节点的网络和端口,一个node只能部署一个ingress-controller pod。 比较适合大并发的生产环境使用。
#mandatory.yaml文件中包含了很多资源的创建,包括namespace、ConfigMap、role,ServiceAccount等等所有部署ingress-controller需要的资源。
官方下载地址:
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.25.0/deploy/static/mandatory.yaml
上面可能无法下载,可用国内的 gitee
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.25.0/deploy/static/mandatory.yaml
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/mandatory.yaml
DaemonSet+HostNetwork具体的部署过程?
下载安装ingress-controller pod及相关资源
每个节点上,上传ingress-contro控制器
解压安装
tar -xf ingree.contro-0.30.0.tar.gz
docker load -i ingree.contro-0.30.0.tar
#节点打标签,用于选择节点部署ingress-controller
kubectl label nodes node02 ingress=true
192-215行修改配置文件
启动 nginx-ingress-controller,并检查该pod的运行状况?
kubectl apply -f mandatory.yaml
#nginx-ingress-controller 已经运行 node02 节点
kubectl get pod -n ingress-nginx -o wide
kubectl get cm,daemonset -n ingress-nginx -o wide
#到 node02 节点查看
netstat -lntp | grep nginx
由于配置了 hostnetwork,nginx 已经在 node 主机本地监听 80/443/8181 端口。其中 8181 是 nginx-controller 默认配置的一个 default backend(Ingress 资源没有匹配的 rule 对象时,流量就会被导向这个 default backend)。
这样,只要访问 node 主机有公网 IP,就可以直接映射域名来对外网暴露服务了。如果要 nginx 高可用的话,可以在多个 node
上部署,并在前面再搭建一套 LVS+keepalived 做负载均衡。
创建 ingress 规则
创建一个业务pod和svc资源和ingress规则:
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: nfs-pvc
spec:
accessModes:
- ReadWriteMany
storageClassName: nfs-client-storageclass
resources:
requests:
storage: 2Gi
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-app
labels:
app: nginx1
spec:
replicas: 3
selector:
matchLabels:
app: nginx1
template:
metadata:
labels:
app: nginx1
spec:
containers:
- name: nginx
image: nginx:1.22
volumeMounts:
- name: nfs-pvc
mountPath: /usr/share/nginx/html
volumes:
- name: nfs-pvc
persistentVolumeClaim:
claimName: nfs-pvc
---
apiVersion: v1
kind: Service
metadata:
name: nginx-app-svc
spec:
ports:
- protocol: TCP
port: 80
targetPort: 80
selector:
app: nginx1
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: nginx-app-ingress
spec:
rules:
- host: www.test1.com
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: nginx-app-svc
port:
number: 80
#选择一台客户机,直接添加node02的节点的IP与pod的域名进行映射
vim /etc/hosts
20.0.0.63 www.test1.com
访问curl www.test1.com
同样用deployment模式部署ingress-controller,并创建对应的service,但是type为NodePort。这样,ingress就会暴露在集群节点ip的特定端口上。由于nodeport暴露的端口是随机端口,一般会在前面再搭建一套负载均衡器来转发请求。该方式一般用于宿主机是相对固定的环境ip地址不变的场景
NodePort方式暴露ingress虽然简单方便,但是NodePort多了一层NAT,在请求量级很大时可能对性能会有一定影响
如果做了上一个操作,就将所有的yaml文件通过delete进行清除。继续下面的操作?
下载相关的ingress和service-nodeport模板
mkdir /opt/ingress/test
cd /opt/ingress/test
#官方下载地址:
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.30.0/deploy/static/mandatory.yaml
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.30.0/deploy/static/provider/baremetal/service-nodeport.yaml
#国内 gitee 资源地址:
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/mandatory.yaml
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/provider/baremetal/service-nodeport.yaml
#在所有 node 节点上传镜像包 ingress-controller-0.30.0.tar 到 /opt/ingress-nodeport 目录,并加载镜像
docker load -i ingress-controller-0.30.0.tar
直接启动官方模板即可使用
#若是新的mandatory.yaml文件,直接启动即可,若是用上个实验的,要还原到最初始
kubectl apply -f mandatory.yaml
还原脚本如下:
在所有节点上部署ingress-controller
#启用Service-nodeport
kubectl apply -f service-nodeport.yaml
#//如果K8S Pod 调度失败,在 kubectl describe pod资源时显示:
Warning ?FailedScheduling ?18s (x2 over 18s) ?default-scheduler ?0/2 nodes are available: 2 node(s) didn't match node selector
解决方案:
1. 给需要调度的node加上对应标签
# 相对上面这个Yaml文件的例子
kubectl label nodes node_name kubernetes.io/os=linux
2. 删除Yaml文件中的nodeSelector,如果对节点没有要求的话,直接删除节点选择器即可
进行Ingress Http代理访问的操作演示
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: nfs-pvc
spec:
accessModes:
- ReadWriteMany
storageClassName: nfs-client-storageclass
resources:
requests:
storage: 2Gi
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-app
labels:
app: nginx1
spec:
replicas: 3
selector:
matchLabels:
app: nginx1
template:
metadata:
labels:
app: nginx1
spec:
containers:
- name: nginx
image: nginx:1.22
volumeMounts:
- name: nfs-pvc
mountPath: /usr/share/nginx/html
volumes:
- name: nfs-pvc
persistentVolumeClaim:
claimName: nfs-pvc
---
apiVersion: v1
kind: Service
metadata:
name: nginx-app-svc
spec:
ports:
- protocol: TCP
port: 80
targetPort: 80
selector:
app: nginx1
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: nginx-app-ingress
spec:
rules:
- host: www.test1.com
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: nginx-app-svc
port:
number: 80
访问IP+NodePort端口
工作流程:
每个节点都是从controller----接收到解析后的请求IP+端口----ingress-----Service----pod
总结:
nginx-ingress-controller
host—>ingresss的配置找到pod—>controller—>请求发到pod
nodeport--->controller--->ingress--->service--->pod
NodePort暴露端口的方式最简单的方法,NodePort多了一层nat(地址转换)
并发量大的对性能会有一定影响,内部都会用nodePort
通过ingress的方式实现:一个ingress可以访问不同的主机
我们知道nginx和apache能够设置三种虚拟主机,分别为:基于IP,基于域名,基于端口。同样ingress-nginx这里也可以设置出这三种虚拟主机。下面将以最常用的基于域名的虚拟主机为例子,进行操作演示
先创建两个pod和Service
虚拟主机1:
apiVersion: apps/v1
kind: Deployment
metadata:
name: deployment1
labels:
test: nginx1
spec:
replicas: 1
selector:
matchLabels:
test: nginx1
template:
metadata:
labels:
test: nginx1
spec:
containers:
- name: nginx1
image: nginx:1.22
---
apiVersion: v1
kind: Service
metadata:
name: svc-1
spec:
ports:
- port: 80
targetPort: 80
protocol: TCP
selector:
test: nginx1
虚拟主机2将上面标签全部替换
再创建ingress资源
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: ingress1
spec:
rules:
- host: www1.test.com
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: svc-1
port:
number: 80
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: ingress2
spec:
rules:
- host: www2.test.com
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: svc-2
port:
number: 80
映射域名:
vim /etc/hosts
#这里任意填写一个node节点的IP即可
20.0.0.62 www.test.com www.abc.com ??
然后就可以基于域名+NodePort端口进行访问了
ingress两个重要的组件:
ingress--nginx-ingress-controller
traefik
都是开源的ingress-controller
三种工作方式:
1、deployment+LoadBalancer,需要云平台提供一个负载均衡的公网地址,公有云上做
2、Daemonset+hostnetwork+nodeSelector,指定节点部署controller,缺点就是和宿主机共享网络,只能是一个controller的pod
????????hostnetwork这个配置回合宿主机共享网络资源
3、deployment+NodePort,最常见,最常用,也是最简单的方式。他是集中一个NodePort端口,所有的ingress的请求都会转发到NodePort,然后由Service把流量转发到pod
一个ingress的NodePort可以实现访问多个虚拟主机(域名),和nginx是一样的