HTCondor 기반 분산컴퓨팅 및 소재 물성 해석 사례
고처리량 컴퓨팅(HTC) 아키텍처를 활용한 대규모 소재 스크리닝 및 다물리 시뮬레이션
HTCondor는 수많은 독립적인 연산 작업(Task)을 유휴 컴퓨팅 자원에 배분해 처리량을 극대화하는 고처리량 컴퓨팅(HTC, High-Throughput Computing) 미들웨어입니다. 노드 간 초고속 통신(MPI 등)이 필수적인 대규모 단일 계산(HPC)보다는, 수천~수만 건의 파라미터 스윕(Parameter Sweep), 후보 물질 스크리닝, 앙상블 시뮬레이션이 핵심인 소재 물성 해석(Materials Informatics & High-Throughput Screening)에서 압도적인 효율을 발휘합니다.
주요 소재 물성 해석 활용 사례
대규모 제일원리(DFT) 하이쓰루풋 스크리닝
위스콘신-매디슨 대학(UW-Madison)의 계산재료그룹(CMG)과 CHTC에서 개발한 MAST(MAterials Simulation Toolkit)는 HTCondor 및 내장 워크플로우 엔진인 DAGMan을 기반으로 작동합니다.
- 적용 대상: VASP, Quantum ESPRESSO 등을 이용한 결정 결함(Defect) 에너지 계산, 이온 확산 계수 도출, 상태방정식(EOS) 피팅.
- 분산 처리 구조: 구조 최적화(Relaxation), 정적 에너지(Static), NEB 경로 탐색 등 수십 개의 순차·병렬 DFT 계산 의존성을 DAGMan이 자동 라우팅.
- 핵심 이점: 계산 도중 노드 회수(Preemption)나 오류가 발생해도 체크포인트 및 자동 재큐잉(Re-queuing)으로 수만 건의 작업을 무인 완주.
분자동역학(MD) 앙상블 및 Force Field 탐색
LAMMPS나 GROMACS를 활용한 분자동역학 해석은 단일 시스템 크기가 수십만 원자 이하일 경우 노드 내부 멀티코어나 단일 GPU로 빠르게 연산됩니다.
- 적용 대상: 전해질 배합비(농도, 용매 비율)에 따른 이온 전도도 및 점도 예측, 고분자 가교(Cross-linking) 시뮬레이션, 다중 초기 속도 앙상블 평균 도출.
- 분산 처리 구조: 연구실·사내 유휴 워크스테이션(Linux/Windows 혼재) 및 GPU 노드를 하나의 HTCondor Pool로 통합.
- 핵심 이점: 제출 파일(
submit)의queue구문 하나로 수백 가지 조성 조합을 컨테이너(Docker/Apptainer) 이미지와 함께 배포하여 동시 연산.
반도체·소자 다물리 및 TCAD 공정 산포 해석
상용 및 학술용 나노소자 시뮬레이터인 nextnano는 소프트웨어 자체에 HTCondor 연동 모듈을 기본 내장하여 공정 산포 분석에 활용됩니다.
- 적용 대상: 양자우물(Quantum Well), 반도체 이종접합 밴드 구조 및 전하 수송 해석, 공정 변수(도핑 농도, 층 두께, 온도) 민감도 분석.
- 분산 처리 구조: 사내 엔지니어 데스크톱 PC가 유휴 상태(퇴근 후 또는 입력 유휴 15분 경과)로 전환되면 자동 감지하여 시뮬레이션 슬롯으로 편입.
- 핵심 이점: 별도의 고가 클러스터 증설 없이 기존 사내 PC 자원만으로 수천 건의 스윕 해석을 야간에 자동 완료.
능동 학습(Active Learning) 및 MLIP 학습 루프
FireWorks, AiiDA, Pegasus 같은 상위 워크플로우 오케스트레이터와 결합해 자율 실험실(SDL) 및 기계학습 포텐셜(MACE, NequIP) 파인튜닝 파이프라인을 구축합니다.
- 탐색 단계: 불확실도(Uncertainty)가 높은 원자 구조를 선별해 수백 개의 단일점(Single-point) DFT 라벨링 작업을 분산 제출.
- 수집 및 학습: 반환된 에너지·힘(Force) 데이터를 수집해 GPU 노드에 할당된 MLIP 재학습 Job을 자동 트리거.
- 하이브리드 라우팅: 무거운 다중 노드 MPI 계산은 HTCondor-CE나 Job Router를 통해 기존 Slurm 클러스터로 자동 이관.
HTCondor 도입 시 실무적 고려사항 (vs. Slurm)
| 구분 | HTCondor (HTC 특화) | Slurm (HPC 특화) |
|---|---|---|
| 강점 워크로드 | 수천~수만 개의 독립적 작업, 파라미터 스윕, 앙상블 | 수십~수백 노드가 고속 네트워크(InfiniBand)로 묶인 대규모 단일 연산 |
| 자원 활용 방식 | 유휴 PC, 이기종 서버, 클라우드 스팟 인스턴스 회수·재활용 탁월 | 전용 동종(Homogeneous) 계산 노드의 엄격한 자원 점유 및 할당 |
| 파일 시스템 | 공유 스토리지(NFS) 없이도 작업별 파일 자동 전송·회수 지원 | 고속 병렬 파일 시스템(Lustre, GPFS) 의존도 높음 |
| 소재 해석 궁합 | 소·중규모 DFT 대량 스크리닝, MD 조성 탐색, ML 추론 | 대형 슈퍼셀(수백 원자 이상) DFT, 대규모 CFD/유체 해석 |
