본문 바로가기

AWS42

AWS ECS 콘솔 구축하기 AWS ECS컨테이너 애플리케이션을 쉽게 배포, 관리 및 확대할 수 있도록 도와주는 완전 관리형 컨테이너 오케스트레이션 서비스 AWS ECS용어ECS Cluster : 컨테이너를 실행할 리소스 그룹ECS Task : 작업 단위 ECS Service : Task 기반으로 실행하고 관리   1. ECS VPC 배포Cloudformation → VPC 생성    2. ECS ECR 생성 리포지토리 이름 : cat  3. ECS 보안 그룹 생성생성 방법 : EC2 → 네트워크 및 보안 → 보안 그룹 → 보안 그룹 생성 1) Application Load Balancer 보안 그룹 생성Security Group Name : dev-ecs-alb-sgDescription: dev-ecs-alb-security-Gr.. 2024. 12. 10.
AWS EFS CSI Driver 설치 가이드 아키텍처Amazon Elastic File System(Amazon EFS)은 완전히 탄력적인 서버리스 파일 스토리지를 제공하므로 스토리지 용량과 성능을 프로비저닝하거나 관리하지 않고도 파일 데이터를 공유할 수 있습니다사용 가능한 EFS CSI Driver 버전aws eks describe-addon-versions \ --addon-name aws-efs-csi-driver \ --kubernetes-version 1.26 \ --query "addons[].addonVersions[].[addonVersion, compatibilities[].defaultVersion]" \ --output textOIDC 공급자 연결eksctl utils associate-iam-oidc-pr.. 2024. 12. 1.
AWS EKS ECR ECR Repostiory 생성하기aws ecr create-repository \--repository-name blue-backend \--image-scanning-configuration scanOnPush=true \--region ap-northeast-2  aws ecr create-repository \--repository-name green-backend \--image-scanning-configuration scanOnPush=true \--region ap-northeast-2    ECR 사용 가이드각자 맞는 명령어 사용하여 적용하면 됩니다. 2024. 11. 11.
AWS EKS EBS CSI Driver 기본 eksctl을 통해서 eks를 설치하면 gp2 기반 ebs로 storageclass가 생성됨단 바로 사용은 불가능합니다. 설정하기 위해 ebs-csi를 설치를 해야 합니다,.   aws ebs csi driver 등록 확인 eksctl get addon --name aws-ebs-csi-driver --cluster my-cluster AWS EBS CSI Driver 버전 정보 확인aws eks describe-addon-versions \ --addon-name aws-ebs-csi-driver \ --kubernetes-version 1.26 \ --query "addons[].addonVersions[].[addonVersion, compatibilities[].default.. 2024. 11. 8.
AWS 키페어 생성 AWS Console -> EC2 -> 키 페어  사용할 키 페어 이름 정의하기  키 페어 생성 완료 2024. 11. 7.
AWS EKS 생성하기 AWS EKS Amazon Web Services에서 제공하는 관리형 Kubernetes 서비스  kubectl : Kubernetes 클러스터와 상호작용하는 명령줄 인터페이스(CLI) 도구입니다. Kubernetes 클러스터의 리소스를 관리하고, 클러스터 상태를 모니터링하며, 애플리케이션을 배포하는 데 사용Control PlaneScheduler : 예약되지 않은 파드(pod)를 어떤 노드에 배치할지 결정하는 역할을 합니다etcd : 분산형 키-값 저장소로, Kubernetes 클러스터의 모든 데이터를 저장하는 역할Controller Manager : 클러스터의 상태를 관리하는 여러 컨트롤러들을 실행하는 역할API Server : Kubernetes의 API를 외부에 노출하는 중앙 서버, 러스터의 상태.. 2024. 11. 7.
Ray Cluster 설치 Ray Cluster는 다양한 환경에 설치 가능하다, Kubernetes상에서 Ray Cluster를 설치하기 위해서는KubeRay Operatoer를 사용하는 것을 권장한다. KubeRay Kubernetes 사용자 정의 리소스 정의(CRDs) : RayCLuster , RayJob , RayServiceRayCluster :클러스터 생성/삭제, 자동 크기 조정내결함성 보장RayCluster의 수명주기를 완벽 관리RayJob :KubeRay는 자동으로 RayCluster를 생성, 클러스터가 준비작업이 완료시  RayCluster를 자동으로 삭제하도록 RayJob을 구성할 수 있음RayService :RayCluster 및 Ray Serve 배포 그래프라는 두 부분으로 구성RayCluster 및 고가용성.. 2024. 6. 23.
Ray Cluster 개요 Ray Cluster기계 학습, AI, 파이선 애플리케이션 확장을 위한 오픈 소스 통합 프레임 워크분산  담당자가 없이도 병렬처리를 위함데이터 전처리, 분산 훈련, 초매개변수 조정, 강화 학습, 모델Python 애플리케이션 병렬화 및 확장을 위한 Python 기반 분산 컴퓨팅환경 : Kubernetes, AWS, GCP, Azure 등에서도 사용 가능 Ray Cluster 시스템오케스테레이션 : 분삭 시스템의 다양한 구성 요소 관리예약 : 작업이 실행되는 시기와 장소 조정내결합성 : 불가피한 실패 시점에 관계 없이 작업이 완료되도록 보장자동 크기 조정  : 동작 수요에 할당된 리소스 수를 조정Ray Cluster 활용CPU, GPU에 대한 일괄 추론모델 제공대형 모델의 분산 학습병렬 하이퍼 파리미터 튜닝.. 2024. 6. 23.
Mongodb Cluster 구성 MongoDB Cluster 구성 mongoDB Repo 등록sudo vi /etc/yum.repos.d/mongodb-org-4.4.repo[mongodb-org-4.4]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/4.4/x86_64/gpgcheck=1enabled=1gpgkey=https://www.mongodb.org/static/pgp/server-4.4.asc mongoDB 설치sudo yum install -y mongodb-org mongoDB 설정외부 접속 허용 IP클러스터 이름sudo vi /etc/mongod.confnet: port: 27017 bindIp: 0.0.. 2024. 5. 27.

티스토리툴바