k8s使用mac上自带的NFS


k8s使用mac上自带的NFS服务

之前文章里有记录如何在mac电脑上使用docker，并搭建k8s集群。最近在开发测试的时候，遇到k8s挂载持久卷的问题。本来想在开发的电脑上搭建一个NFS服务，经过在网上一番搜索发现mac电脑本身就带有一个NFS服务。这篇文章主要记录一下如何在mac上开启并配置NFS服务，以及如何在k8s上使用NFS。

1 配置并开启NFS服务

Mac上的NFS服务是作为系统服务提供的，可以使用nfsd status命令查看nfsd当前的状态。

1.1 配置共享目录

Mac自带的NFS服务的配置文件路径为/etc/exports，默认该文件是不存在的，需要使用sudo权限进行创建。

1
sudo vi /etc/exports

添加如下内容：

1
/Users/shirukai/opt/nfs_data -alldirs -maproot=root:wheel -network 20.5.1.0 -mask 255.255.255.0

说明：

  1. /Users/shirukai/opt/nfs_data 指定共享目录
  2. -alldirs 共享目录下的所有目录
  3. -maproot 把client端的root用户映射为Mac OS上的root，client端的root组映射为Mac OS上的wheel (gid=0) 组
  4. -network -mask 指定本工作网段

配置文件修改完成后使用nfsd checkexports检查配置是否正确：

1
nfsd checkexports

1.2 配置NFS

要想在k8s使用，需要修改NFS的一个配置文件/etc/nfs.conf并添加如下内容：

1
nfs.server.mount.require_resv_port = 0

配置说明，执行命令man nfs.conf查看

1.3 启动服务

使用 nfsd start启动NFS服务，如下为常用的服务命令：

1
2
3
4
5
6
sudo nfsd start # 启动服务
sudo nfsd stop # 停止服务
sudo nfsd restart # 重启服务
sudo nfsd status # 查看状态
sudo nfsd enable # 开机自启
sudo nfsd disable # 禁止开机自启

服务启动后，通过showmount -e查看共享状态:

1
2
Exports list on localhost:
/Users/shirukai/opt/nfs_data        20.5.1.0

2 k8s中使用NFS

2.1 NFS PersistentVolume

前面我们已经在mac上启动了一个NFS服务，现在通过在k8s上创建一个PersistentVolume来使用NFS。

创建一个PV，编辑配置文件nfs-pv-1.yaml，内容如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
apiVersion: v1
kind: PersistentVolume # ①
metadata:
  name: nfspv1 # ②
spec:
  mountOptions:
    - nfsvers=3
    - nolock
  capacity:
    storage: 10Gi # ③
  accessModes:
    - ReadWriteOnce # ④
  persistentVolumeReclaimPolicy: Recycle # ⑤
  storageClassName: nfs # ⑥
  nfs:
    path: /Users/shirukai/opt/nfs_data # ⑦
    server: 20.5.1.123 # ⑧

① 指定k8s资源类型为PersistentVolume

② 指定PV名称为nfspv1

③ 指定PV容量为10G

④ accessMode指定访问模式为ReadWriteOnce，支持的访问模式有3种：

? ReadWriteOnce 表示PV能以read-write模式mount到单个节点

? ReadWriteMany表示PV能以read-write模式mount到多个节点

? ReadOnlyMany表示PV能以read-only模式mount到多个节点

⑤ persistentVolumeReclaimPolicy指定PV的回收策略为Recycle，支持的策略有3种：

? Retain表示需要管理员手工回收

? Recycle表示清除PV中的数据，效果相当于执行rm -rf /thevolume/*

? Delete表示删除Storage Provider上的对应存储资源

⑥ storageClassName指定PV的class为nfs。相当于为PV设置了一个分类，PVC可以指定class申请相应class的PV

⑦ 指定PV在NFS服务器上对应的目录

⑧ 指定NFS服务器的地址

配置文件编写完成后，使用如下命令创建对应的PV

1
kubectl apply -f nfs-pv-1.yaml

查看pv状态

1
2
3
4
kubectl get pv

NAME     CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
nfspv1   10Gi       RWO            Recycle          Available           nfs                     42m

STATUS为Available表示nfspv1就绪，可以被PVC申请。

2.2 PersistentVolumeClaim

下面创建PVC，编辑nfs-pvc-1.yaml文件

1
2
3
4
5
6
7
8
9
10
11
apiVersion: v1
kind: PersistentVolumeClaim # ①
metadata:
  name: nfspvc1 # ②
spec:
  accessModes:
    - ReadWriteOnce # ③
  resources:
    requests:
      storage: 6Gi # ④
  storageClassName: nfs # ⑤

① 指定资源类型为PersistentVolumeClaim

② 指定pvc名称

③ 访问模式

④ 申请PV的容量

⑤ PV的class

创建PVC

1
kubectl apply -f nfs-pvc-1.yaml
1
2
3
(base) shirukai@shirukaideMacBook-Pro pv % kubectl get pvc
NAME      STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
nfspvc1   Bound    nfspv1   10Gi       RWO            nfs            85s

2.3 使用存储

pvc创建好之后，我们就可以在pod里使用了，下面创建一个简单的pod来测试一下。编辑pod1.yaml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
apiVersion: v1
kind: Pod
metadata:
  name: mypod1
spec:
  containers:
    - name: mypod1
      image: busybox
      args:
      - /bin/sh
      - -c
      - sleep 30000
      volumeMounts:
      - mountPath: "/mydata"
        name: mydata
  volumes:
    - name: mydata
      persistentVolumeClaim:
        claimName: nfspvc1

创建Pod

1
kubectl apply -f pod1.yaml

在容器里创建一个文件

1
kubectl exec mypod1 touch /mydata/hello

NFS共享目录

1
2
(base) shirukai@shirukaideMacBook-Pro nfs_data % ls
hello

参考：https://xiaozhuanlan.com/topic/8560297431