Так как хотелось бы знать, что происходит с кластером kubernets - установим средство мониторинга в минимально - стандартном виде.

Устанавливаем через Helm. Добавляем helm репозитарий и обновляем:

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update

Создаем файл конфигурации - custom-values.yaml, где прописываем нужные нам параметры:

# custom-values.yaml
alertmanager:
  alertmanagerSpec:
    storage: 
      volumeClaimTemplate:
        spec:
          storageClassName: nfs-storage
          accessModes: ["ReadWriteOnce"]
          resources:
            requests:
              storage: 50Gi

grafana:
  defaultDashboardsTimezone: Asia/Yekaterinburg
  adminPassword: mypass
  ingress:
    enabled: true
    ingressClassName: nginx
    annotations:
      kubernetes.io/ingress.class: nginx
    hosts: [grafana.test]

prometheus:
  ingress:
    enabled: true
    ingressClassName: nginx
    annotations:
      kubernetes.io/ingress.class: nginx
    hosts: [prometheus.test]
  prometheusSpec:
    storageSpec: 
      volumeClaimTemplate:
        spec:
          storageClassName: nfs-storage
          accessModes: ["ReadWriteOnce"]
          resources:
            requests:
              storage: 50Gi

Полный список параметров по умолчанию можно получить командой:

helm show values prometheus-community/kube-prometheus-stack

Параметры hosts: [grafana.test|prometheus.test] - это dns имена для доступа к grafana и prometheus которые должны быть прописаны в dns (ну или в hosts) на ip адрес выданный ingress контроллеру.

adminPassword - первоначальный пароль от Grafana (для пользователя admin)

Устанавливаем в кластер, в namespace monitoring:

helm upgrade --install -n monitoring --create-namespace kube-prometheus-stack prometheus-community/kube-prometheus-stack -f custom-values.yaml

Через некоторое время станут доступны сайты по протоколу http - grafana.test и prometheus.test.