KSAN v1.1.0

[jssinn]

ksanGW

ObjManager 연동

• (NEW) disk, diskpool 변경에 대한 정보를 objManager에게 실시간으로 전달함
  • ObjManager.updateDiskpools(String routingKey, String body)로 전달
  • diskpool
    • add / update(add2disk, remove2disk) / remove
  • disk
    • add / remove / start / stop / mode change (Read/Write, Readonly)

장애대응 및 예외처리

• (ENHANCEMENT) ksanGW의 로컬 디스크가 없는 경우 ObjManager에 의해 배정된 OSD가 UploadPart를 진행하도록 해당 OSD에 요청함

성능 부분

• (NEW) 캐시 디스크 지원
  • 최초 공개 버전의 경우 ksanGW별 설정을 지원하지 않음 (캐시 디스크를 활성화하면 KSAN 클러스터 내의 모든 ksanGW에 적용됨)

AWS S3-Compatible API

• (NEW) PostObject
• (ENHANCEMENT) GetObject, PutObject
  • 암호화 관련 수정 및 성능 개선
• (ENHANCEMENT) CompleteMultipartUpload, UploadPart
  • 요청받은 ksanGW의 로컬 디스크가 없는 경우 ObjManager에 의해 배정된 OSD가 UploadPart 백엔드 처리할 수 있도록 변경함
• (BUG-FIX) DeleteObject
  • 존재하지 않는 Object에 대해 삭제 요청이 있는 경우에 대해 S3와 동일하게 동작하도록 수정함
• (ENHANCEMENT) ListObjects, ListObjectsV2, ListObjectVersions
  • 성능 개선

ksanReplication 연동

• (NEW) 향후 추가될 ksanReplication 모듈을 위해 필요한 백엔드 KSAN S3 API 프로토타입을 추가함
  • ksanReplication은 v1.1.0에서 공개되지 않음

배포 및 설정

• (NEW) 패키지 설치 방식과 Docker Container로 배포 가능
• (ENHANCEMENT) Configuration Key와 Value 정의를 보완
• (NEW) 자신의 서비스 이벤트 및 상태 정보를 ksanApiPortal에게 직접 보고

ObjManager

• (NEW) MongoDB를 기반으로 Object / Bucket 메타데이터 저장 및 관리를 지원
  • 기존 MariaDB 기반의 동일한 ObjManager 기능을 제공
• (ENHANCEMENT) createLocal() 강화
  • Diskpool의 구성 및 Disk의 상태 변화에 따라 로컬 디스크에 Object를 할당할 수 없는 경우 create()로 전환되도록 변경
• (ENHANCEMENT) 실시간으로 Diskpool의 구성 및 Disk의 상태 변화에 대응할 수 있도록 처리 구조 변경
• (NEW) S3 호환 Storage Class 지원
• (ENHANCEMENT) 신규 Object의 Replica Count 설정 기능 강화
  • 더이상 Bucket 생성시 정의된 Replica Count 설정을 사용하지 않고 User에 정의된 Storage Class 정보 및 KSAN Diskpool의 데이터 보호 정책을 참고하여 Replica Count를 판단
• (NEW) ksanLifecycle이 Object DB를 직접 참조하지 않고 ObjManager를 통해서 작업을 수행할 수 있도록 관련 API를 추가

ksanOSD

OSD 간의 연동

• (ENHANCEMENT) 신규로 추가된 OSD 서비스와 기존 OSD 서비스를 연동하기 위해 Connection 처리 방식을 개선

OSD Interface

• (NEW) CompleteMultipartUpload, UploadPart를 OSD 레벨에서 처리하기 위한 관련 API를 추가함

성능 부분

• (NEW) Object 삭제 요청이 오면 해당 백엔드 데이터를 즉시 삭제하지 않고 Trash에 보관하고 설정된 시간 이후에 삭제 처리함

배포 및 설정

• (NEW) 패키지 설치 방식과 Docker Container로 배포 가능
• (ENHANCEMENT) Configuration Key와 Value 정의를 보완
• (NEW) 자신의 서비스 이벤트 및 상태 정보를 ksanApiPortal에게 직접 보고

ksanApiPortal

• (ENHANCEMENT) 프로토타입에 사용했던 상용 DB 라이브러리를 더이상 사용하지 않음
• (NEW) 신규 ksanAgent 대응한 KSAN Server / Service 관리를 지원
• (ENHANCEMENT) Docker Container 환경 변수 추가
  • 설치 및 배치 자동화 관련 환경 변수 추가
  • KSAN 개발 및 테스트 목적으로 활용할 수 있는 Default User 생성 옵션 제공
• (ENHANCEMENT) Docker Container 환경 변수를 활용한 KSAN Service Configuration 정보 자동 생성 지원
• (ENHANCEMENT) RabbitMQ의 Quorum Queue 기반으로 시스템 상태 및 설정 변경 정보를 공유
• (ENHANCEMENT) RabbitMQ의 Quorum Queue 기반으로 서비스 모니터링 정보 수집
• (NEW) 모니터링 보고 주기에 따른 서버 및 서비스 TIMEOUT 상태 판단
• (NEW) 디스크의 사용 용량 정보를 기준으로 FULL(WEAK) 상태 판단 및 처리

ksanAgent

• (ENHANCEMENT) 서버 데몬 방식으로 ksanAgent를 재설계하고 구현
  • 기존 ksanEdge, ksanMon, ksanRegister를 통합
• (NEW) 신규 서비스 추가에 대응하여 해당 서비스의 ServiceId 정보를 지정된 위치에 파일로 저장
• (ENHANCEMENT) 서비스의 이벤트 및 기본 상태 정보를 더이상 ksanAgent가 보고하지 않음

ksanLifecycle

• (ENHANCEMENT) ObjManager를 통해서만 Bucket의 Lifecycle 설정 정보에 접근하도록 변경
• (ENHANCEMENT) ObjManager를 통해서만 Object의 메타 정보에 접근하도록 변경
• (NEW) Docker Container로 배포
• (NEW) 자신의 서비스 이벤트 및 상태 정보를 ksanApiPortal에게 직접 보고
• (ENHANCEMENT) Lifecycle 검사 스케쥴 설정을 추가

CLI & Utility

통합 관리 도구(CLI)

• (NEW) KSAN의 관리를 위한 통합 CLI를 제공 (→ ksanApiPortal 및 ksanUtility와 통합 연동됨)
  • /usr/local/ksan/bin/ksan
    • Server 관리 : KSAN 서버(노드) 추가, 제거 도구
    • Service 관리 : KSAN 서비스 추가, 제거, 제어 도구
    • Config 관리 : KSAN 서비스 설정 관리 도구
    • Diskpool 관리 : 디스크풀 추가, 제거, 디스크 배치 도구
    • Disk 관리 : 디스크 추가, 제거, 제어, 모드 변경 도구
    • User 관리 : KSAN 서비스 대상 사용자 관리 도구
    • Fsck 수행 : 오브젝트 정합성 관리 및 복구
    • Cbalance 수행 : 디스크 데이터 리밸런싱 도구
    • Getattr 수행 : KSAN 백엔드 레벨의 오브젝트 정보 조회 도구

ksanFsck

• (NEW) RabbitMQ를 기반으로 ksanOSD에 질의하는 방식으로 백엔드 오브젝트 데이터의 상태를 정확히 파악
• (ENHANCEMENT) ksanFsck 수행 결과를 세분화하고 이해하기 쉽게 변경
• (BUG-FIX) UploadPart로 생성된 Object의 Checksum 비교는 Skip 함
  • UploadPart로 생성된 Object의 메타데이터 레벨의 Checksum 정보는 S3과의 호환성을 유지하는 방식으로 저장 → 실제 백엔드 데이터의 MD5 값과는 일치할 수 없음
  • 따라서 UploadPart로 생성된 Object는 Size 만으로 메타데이터와 비교함

ksanCbalance

• (ENHANCEMENT) 데이터 리밸런싱을 할 경우에 Diskpool 정보를 참고하여 동일한 Diskpool 내의 Disk 간에만 리밸런싱이 수행될 수 있도록 변경

ETC

설치 스크립트

• (NEW) All-In-One 설치 자동화 기능 제공
  • 일괄 설치 지원 (Docker Compose 기반)
    • KSAN
      • ksan command Line Interface(CLI) : /usr/local/ksan/bin
      • ksanAgent : /usr/local/ksan/sbin
      • ksanApiPortal (Docker Container) : ksan-api-portal
      • ksanGW (Docker Container) : ksan-gw
      • ksanOSD (Docker Container) : ksan-osd
      • ksanLifecycle (Docker Container) : ksan-lifecycle
    • 외부 모듈
      • MariaDB 10.9.2 (Docker Container)
      • MongoDB 4.4 (Docker Container)
      • RabbitMQ 3.10.7 (Docker Container)
    • 기타
      • ksanApiPortal용 인증서 : /usr/local/ksan/etc/ssl/pspace.pfx
      • ksanGW용 인증서 : /usr/local/ksan/etc/ssl/pspace.jks
      • 상기 인증서는 사용자가 부여한 Password에 의해 자동 생성됨
  • 자동 설정 및 서비스 구동
    • KSAN Server, Service, Diskpool, Disk 자동 추가, 설정 및 구동
    • 필요에 따라 KSAN User 자동 생성 지원

로그

• log, dump 파일 위치 재조정 → /var/log/ksan
• 로그의 시간 표시가 호스트 서버의 시간대와 동일하도록 변경

한계 및 향후 계획

한계 및 알려진 문제점

• 메타데이터의 고가용성 보장 방식은 구성하는 DB 모듈에 따라 상이합니다. 연구소 레벨에서 고가용성 테스트가 되었지만 상용 레벨에서 사용하실 경우에는 각 DB 모듈 별로 재확인이 필요합니다.
  • MariaDB : Semisynchronous Replication 방식으로 구성, 최소 2개 노드 필요
  • MongoDB : Sharded Cluster 방식으로 구성, 최소 3개 노드 필요
• 장애 상황에 따른 오브젝트 데이터 고가용성 보장은 아직 추가적인 테스트가 필요합니다.
  • KSAN v1.1.0의 ksanGW는 Put Object를 처리할 때 Sync 방식만 지원합니다.(Primary과 Replica Write를 동시에 처리하고 모두 완료하면 성공 메세지를 반환)
  • 따라서 오브젝트 데이터 고가용성 보장의 핵심 모듈 중의 하나인 ksanRecovery가 Async Write 상황에서 테스트되지 못하였습니다.

향후 계획

• ksanReplication 개발 및 공개
  • 원격지 KSAN 시스템 간의 DR(재해복구)를 제공하기 위한 Bucket 레벨의 동기화 모듈
  • 마무리 작업 중이며 2022년 이내에 공개 예정
• ksanGW / ksanOSD / ksanRecovery 개선 및 보완
  • Async 방식의 Put Object 처리 추가
  • ksanGW-ksanOSD-ksanRecovery의 장애 테스트를 기반으로 각 모듈 개선 및 보완
• WEB 기반 KSAN 관리 인터페이스 개발 및 공개 (프로토타입)
• ksanAzure(가칭) 개발 및 공개 (프로토타입)
  • Microsoft Azure 호환 서비스 게이트웨이 개발 및 공개
• Erasure Coding 기반으로 데이터 가용성을 제공하는 Diskpool 지원
• S3 logging 기능 개선
  • Message Queue 기반의 logging 데이터 처리 방식을 지원

---

This discussion was created from the release KSAN v1.1.0.

[jssinn]

KSAN v1.1.0이 드디어 공개되었습니다.

아래 링크에서 KSAN을 빠르게 시작해 보실 수 있습니다.

KSAN v1.1.0 - Quick Start Guide

감사합니다.