본문 바로가기
728x90

AWS/기타3

Ray Cluster 설치 Ray Cluster는 다양한 환경에 설치 가능하다, Kubernetes상에서 Ray Cluster를 설치하기 위해서는KubeRay Operatoer를 사용하는 것을 권장한다. KubeRay Kubernetes 사용자 정의 리소스 정의(CRDs) : RayCLuster , RayJob , RayServiceRayCluster :클러스터 생성/삭제, 자동 크기 조정내결함성 보장RayCluster의 수명주기를 완벽 관리RayJob :KubeRay는 자동으로 RayCluster를 생성, 클러스터가 준비작업이 완료시  RayCluster를 자동으로 삭제하도록 RayJob을 구성할 수 있음RayService :RayCluster 및 Ray Serve 배포 그래프라는 두 부분으로 구성RayCluster 및 고가용성.. 2024. 6. 23.
Ray Cluster 개요 Ray Cluster기계 학습, AI, 파이선 애플리케이션 확장을 위한 오픈 소스 통합 프레임 워크분산  담당자가 없이도 병렬처리를 위함데이터 전처리, 분산 훈련, 초매개변수 조정, 강화 학습, 모델Python 애플리케이션 병렬화 및 확장을 위한 Python 기반 분산 컴퓨팅환경 : Kubernetes, AWS, GCP, Azure 등에서도 사용 가능 Ray Cluster 시스템오케스테레이션 : 분삭 시스템의 다양한 구성 요소 관리예약 : 작업이 실행되는 시기와 장소 조정내결합성 : 불가피한 실패 시점에 관계 없이 작업이 완료되도록 보장자동 크기 조정  : 동작 수요에 할당된 리소스 수를 조정Ray Cluster 활용CPU, GPU에 대한 일괄 추론모델 제공대형 모델의 분산 학습병렬 하이퍼 파리미터 튜닝.. 2024. 6. 23.
Mongodb Cluster 구성 MongoDB Cluster 구성 mongoDB Repo 등록sudo vi /etc/yum.repos.d/mongodb-org-4.4.repo[mongodb-org-4.4]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/4.4/x86_64/gpgcheck=1enabled=1gpgkey=https://www.mongodb.org/static/pgp/server-4.4.asc mongoDB 설치sudo yum install -y mongodb-org mongoDB 설정외부 접속 허용 IP클러스터 이름sudo vi /etc/mongod.confnet: port: 27017 bindIp: 0.0.. 2024. 5. 27.
728x90