전체 글104 Airflow 기본 설치 및 구성 전체 조건(airflow 2.9.2 기준 )파이썬 : 3.8 ~ 3.12데이터베이스 :Mysql 8.0. , mariaDB 지원XSQLite : 3.15.0 (프로덕션 사용 금지)kubernets : 1.26 ~ 1.29최소 메모리 : 4GB 지원 버전https://airflow.apache.org/docs/apache-airflow/stable/installation/supported-versions.html# Supported versions — Airflow Documentation airflow.apache.org AirFlow 설치 환경 : Python3.8.12 업데이트sudo apt update -y && sudo apt upgrade -y Python3.8 설치sudo apt instal.. 2024. 6. 16. Jenkins Deployment로 설치하기 Kubernetes에 Jenkins 설치 간단한 테스트를 위한 환경이기에 PV 경로는 hostPath로 진행하며, NFS, SC를 사용해도 상관없습니다. DeploymentapiVersion: apps/v1kind: Deploymentmetadata: name: jenkins namespace: jenkinsspec: replicas: 1 selector: matchLabels: app: jenkins template: metadata: labels: app: jenkins spec: containers: - name: jenkins image: jenkins/jenkins:lts ports: .. 2024. 6. 13. k3s 설치 가이드 설치에 필요한 스크립트들을 통해서 k3s를 설치kubectl, cictl ,ctr, ks3-killall.sh , ks3-uninstall.sh재부팅시에도 자동으로 ks3 동작하도록 서비스가 등록curl -sfL https://get.k3s.io | sh - 클러스터 상태 확인sudo kubectl get nodes Workernode 추가K3S_URL = master server IPK3S_TOKEN = /var/lib/rancher/k3s/server/node-token curl -sfL https://get.k3s.io | K3S_URL=https://192.168.0.50:6443 K3S_TOKEN=K10be4c8a71c2dda402dfd0d5f138ef7a699ebd85775d5334.. 2024. 6. 13. Mongodb Cluster 구성 MongoDB Cluster 구성 mongoDB Repo 등록sudo vi /etc/yum.repos.d/mongodb-org-4.4.repo[mongodb-org-4.4]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/4.4/x86_64/gpgcheck=1enabled=1gpgkey=https://www.mongodb.org/static/pgp/server-4.4.asc mongoDB 설치sudo yum install -y mongodb-org mongoDB 설정외부 접속 허용 IP클러스터 이름sudo vi /etc/mongod.confnet: port: 27017 bindIp: 0.0.. 2024. 5. 27. ElasticSearch 설치 환경Centos 7.9 설치 경로/usr/share/elasticsearch ElasticSearch yaml 경로/etc/elasticsearch/elasticsearch.yml JVM 기반이라서 Java 설치sudo yum install java-11-openjdk-develElasticSearch RPM 등록sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearchsudo vi /etc/yum.repos.d/elasticsearch.repoElasticSearch Repo 등록[elasticsearch-8.x]name=Elasticsearch repository for 8.x packagesbaseurl=https://artif.. 2024. 5. 14. Fluentd 이미지 사용 Docker hub에 가게 되면 다양한 Fluentd 이미지가 존재하며, 해당 이미지를 선택하는 방법도 다양하게 있습니다. 처음 EFK 구성을 하기 위해 구글링을 많이 했으나, 대부분 7.X를 많이 사용하는 가이드 문서들이 많이 있어 최신 버전이나 8.X를 사용하고 싶었으나 문서들이 없어 고민하다가 7.X 나 8.X 이미지 말고 설정은 동일하겟지 하는 마음으로 이미지만 변경하여 구성하였으나, 문제 없이 구동 EFK elasticsearch를 output를 선택 Fluentd 가 제공하는 output 플러그인 참고https://docs.fluentd.org/output Output Plugins | 1.0 | FluentdThis article gives an overview of the Output Pl.. 2024. 5. 14. Kubernetes EFK Helm https://velog.io/@raiders032/EFK-%EA%B5%AC%EC%B6%95%ED%95%98%EA%B8%B0 Repo 등록 helm repo add elastic https://helm.elastic.co Elastic Repo 검색helm search repo elastic helm search repo elastic/elasticsearch --versions helm pull elastic/elasticsearch 기존 PVC 설정eanbled : falseexistingClaim : PVC이름persistence: enabled: false existingClaim : work-persistent-storage ElasticSearch 설치helm insta.. 2024. 5. 3. Kubernetes NFS Provisioner Kubernets Volume을 사용하기 위해서는 다양한 방법들이 존재한다. 그 중에 NFS StorageClass를 사용할 예정이며, NFS Storageclass를 사용하게 되면 사용하기 편한 점이 존재-> PV 별도 생성할 필요 없고 PVC 생성 시 자동으로 생성-> PVC를 삭제 하면 PV도 같이 삭제 된다.-> 용량에 대한 산정이 필요할 경우 YAML 배포할때 상세한 안내가 필요하다 NFS Provisionergit clone https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner.gitcd nfs-subdir-external-provisioner/deploy 적용할 상세 YAML 파일 Provisioner 권한 설정S.. 2024. 5. 2. Kubernetes 모니터링 시스템(Promtail + Loki + Grafana) Helm Helm Chart 추가helm repo add grafana https://grafana.github.io/helm-charts Helm Repo List 확인버전별 리스트 helm search repo "repo name" --versionshelm search repo grafana --versions Loki Repo 다운로드Promtail + Loki + Grafana helm pull grafana/loki-stack Loki-stack 압축풀기각 버전별로 압축파일 풀기 Loki 설치Helm Name : lokihelm install loki grafana/loki-stack -f values.yaml 그라파나 패스워드 확인kubectl get secrets loki-grafana -o .. 2024. 5. 1. 이전 1 ··· 3 4 5 6 7 8 9 ··· 12 다음
