본문 바로가기

AWS48

AWS EKS EBS CSI Driver 기본 eksctl을 통해서 eks를 설치하면 gp2 기반 ebs로 storageclass가 생성됨단 바로 사용은 불가능합니다. 설정하기 위해 ebs-csi를 설치를 해야 합니다,.   aws ebs csi driver 등록 확인 eksctl get addon --name aws-ebs-csi-driver --cluster my-cluster AWS EBS CSI Driver 버전 정보 확인aws eks describe-addon-versions \ --addon-name aws-ebs-csi-driver \ --kubernetes-version 1.26 \ --query "addons[].addonVersions[].[addonVersion, compatibilities[].default.. 2024. 11. 8.
AWS 키페어 생성 AWS Console -> EC2 -> 키 페어  사용할 키 페어 이름 정의하기  키 페어 생성 완료 2024. 11. 7.
AWS EKS 생성하기 AWS EKS Amazon Web Services에서 제공하는 관리형 Kubernetes 서비스  kubectl : Kubernetes 클러스터와 상호작용하는 명령줄 인터페이스(CLI) 도구입니다. Kubernetes 클러스터의 리소스를 관리하고, 클러스터 상태를 모니터링하며, 애플리케이션을 배포하는 데 사용Control PlaneScheduler : 예약되지 않은 파드(pod)를 어떤 노드에 배치할지 결정하는 역할을 합니다etcd : 분산형 키-값 저장소로, Kubernetes 클러스터의 모든 데이터를 저장하는 역할Controller Manager : 클러스터의 상태를 관리하는 여러 컨트롤러들을 실행하는 역할API Server : Kubernetes의 API를 외부에 노출하는 중앙 서버, 러스터의 상태.. 2024. 11. 7.
Ray Cluster 설치 Ray Cluster는 다양한 환경에 설치 가능하다, Kubernetes상에서 Ray Cluster를 설치하기 위해서는KubeRay Operatoer를 사용하는 것을 권장한다. KubeRay Kubernetes 사용자 정의 리소스 정의(CRDs) : RayCLuster , RayJob , RayServiceRayCluster :클러스터 생성/삭제, 자동 크기 조정내결함성 보장RayCluster의 수명주기를 완벽 관리RayJob :KubeRay는 자동으로 RayCluster를 생성, 클러스터가 준비작업이 완료시  RayCluster를 자동으로 삭제하도록 RayJob을 구성할 수 있음RayService :RayCluster 및 Ray Serve 배포 그래프라는 두 부분으로 구성RayCluster 및 고가용성.. 2024. 6. 23.
Ray Cluster 개요 Ray Cluster기계 학습, AI, 파이선 애플리케이션 확장을 위한 오픈 소스 통합 프레임 워크분산  담당자가 없이도 병렬처리를 위함데이터 전처리, 분산 훈련, 초매개변수 조정, 강화 학습, 모델Python 애플리케이션 병렬화 및 확장을 위한 Python 기반 분산 컴퓨팅환경 : Kubernetes, AWS, GCP, Azure 등에서도 사용 가능 Ray Cluster 시스템오케스테레이션 : 분삭 시스템의 다양한 구성 요소 관리예약 : 작업이 실행되는 시기와 장소 조정내결합성 : 불가피한 실패 시점에 관계 없이 작업이 완료되도록 보장자동 크기 조정  : 동작 수요에 할당된 리소스 수를 조정Ray Cluster 활용CPU, GPU에 대한 일괄 추론모델 제공대형 모델의 분산 학습병렬 하이퍼 파리미터 튜닝.. 2024. 6. 23.
Mongodb Cluster 구성 MongoDB Cluster 구성 mongoDB Repo 등록sudo vi /etc/yum.repos.d/mongodb-org-4.4.repo[mongodb-org-4.4]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/4.4/x86_64/gpgcheck=1enabled=1gpgkey=https://www.mongodb.org/static/pgp/server-4.4.asc mongoDB 설치sudo yum install -y mongodb-org mongoDB 설정외부 접속 허용 IP클러스터 이름sudo vi /etc/mongod.confnet: port: 27017 bindIp: 0.0.. 2024. 5. 27.
[AWS][ASG] 시작 템플릿 오토스케링 구성 안녕하세요 AWS 사용하게 되면 AutoScaling을 구성해서 트래픽이 많아지면 자동으로 감소 증가가 될 수 있도록 구성을 할 수 있습니다. 해당 방법은 사용자가 생성한 시작 템플릿을 통해서 적용이 가능합니다. 시작 템플릿 생성하기 시작 템플릿 이름, 템플릿 버전 설명, AutoScaling 지침,태그 시작 템플릿 콘텐츠 내 AMI 선택 인스턴스 유형 키페어 네트워크 스토리지 Auto Scaling 구성하기 Autoscaling 그룹 이름 , 시작 템플릿(기존 생성된 템플릿) 네트워크 설정 VPC, Subnet ASG -> ALB 연동 기존 ALB 선택(새 로드밸런서에 연결 선택해서 생성해도 무방) AutoScaling 인스턴스 크기 조절 최소 용량, 최대 용량 선택 감사합니다. 2022. 11. 2.
[AWS Cloudwatch]AWS Cloudwatch Memory 수집 EC2 인스턴스를 운영하다보면, 서비스 지연 및 서버 리소스에 대해서 이슈가 발생할 경우 Cloudwatch를 통해서 확인하는 경우가 존재하는데,,, 기본적으로 Cloudwatch에 대해서는 메모리 분석 불가능 (해결 방법은 아주 간단합니다. Cloudwatch Agent를 통해 수집 가능) CloudWatch Agent 설치 가이드 Cloudwatch IAM Role 생성 CloudWatch Agent 설치 CloudWatch Agent 메모리 사용량 확인 1. Cloudwatch IAM Role 생성 AWS 서비스 -> EC2 선택 "cloudwatchAgentServicePolicy" 검색 후 선택 Role 정책 이름 지정하기 Role 생성 상태 확인 EC2 인스턴스내에 Role 추가 하기 2. C.. 2022. 6. 28.
[AWS CloudWatch] AWS EC2 CloudWatch Log EC2 인스턴스를 운영하다보면, 로그를 통해서 이력 확인을 해야하는데, 서버 접속해서 확인하는데 AWS CloudWatch를 통해서 확인하면 쉽게 확인이 가능합니다. 사전 준비 - EC2 인스턴스 설치 사전 준비(https://monta010.tistory.com/45) CloudWatch Agent 설치 가이드 Cloudwatch 정책(Policy) 생성 Cloudwatch 역할(Role) 생성 패키지 설치(update, awslogs) EC2 인스턴스 IAM 권한 등록 로그 내보내기 대상 설정 서비스 설정 Cloudwatch Log 상태 확인 1. CloudWatch 정책(Policy) 생성 { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow".. 2022. 6. 28.

티스토리툴바