Ray Cluster 개요

 

• Ray Cluster
  • 기계 학습, AI, 파이선 애플리케이션 확장을 위한 오픈 소스 통합 프레임 워크
  • 분산  담당자가 없이도 병렬처리를 위함
  • 데이터 전처리, 분산 훈련, 초매개변수 조정, 강화 학습, 모델
  • Python 애플리케이션 병렬화 및 확장을 위한 Python 기반 분산 컴퓨팅
  • 환경 : Kubernetes, AWS, GCP, Azure 등에서도 사용 가능

 

• Ray Cluster 시스템
  • 오케스테레이션 : 분삭 시스템의 다양한 구성 요소 관리
  • 예약 : 작업이 실행되는 시기와 장소 조정
  • 내결합성 : 불가피한 실패 시점에 관계 없이 작업이 완료되도록 보장
  • 자동 크기 조정  : 동작 수요에 할당된 리소스 수를 조정
• Ray Cluster 활용
  • CPU, GPU에 대한 일괄 추론
  • 모델 제공
  • 대형 모델의 분산 학습
  • 병렬 하이퍼 파리미터 튜닝 학습
  • 강화 학습
  • ML 플랫폼

• Ray Cluster 프레임 워크
  • Ray AI Libraries는 ML 애플리케이션을 쉽게 만들고 확장할 수 있는 오픈 소스 Python 도구 모음입니다.
  • Ray Core는 Python 프로그램을 더 빠르고 쉽게 확장할 수 있게 도와주는 분산 컴퓨팅 라이브러리입니다.
  • Ray 클러스터는 여러 컴퓨터가 함께 작업하여 큰 계산을 할 수 있게 해주며, 필요한 만큼 자동으로 늘어나거나 줄어들 수 있습니다.

 

 

• Ray Cluster 
  • 데이터: 데이터 로드와 변환을 확장 가능하고 프레임워크에 구애받지 않게 처리합니다.
  • 훈련: 분산 다중 노드와 다중 코어 모델 훈련을 내결함성 있게 수행하며, 널리 사용되는 훈련 라이브러리와 통합됩니다.
  • 조정: 모델 성능 최적화를 위한 하이퍼파라미터 조정을 확장 가능하게 수행합니다.
  • Serve: 온라인 추론을 위한 모델을 배포하며 성능 향상을 위한 선택적 마이크로배칭을 제공합니다.
  • RLlib: 확장 가능한 분산 강화 학습 워크로드를 처리합니다.