‘강화학습이 액티브러닝보다 고급이고, 액티브러닝이 베이지안 최적화보다 넓으니 최신 방법을 고르면 된다’는 식의 순위는 끊어야 한다. 세 이름은 문헌에서 일부 겹치며, 특히 베이지안 최적화를 액티브러닝의 한 형태로 부르기도 한다. 실제 선택 기준은 알고리즘의 서열이 아니라 답하려는 질문, 데이터 구조와 실험 비용이다. 한 번의 조건에서 최고값을 찾는가, 아직 모르는 경계와 모델을 정확히 그리는가, 아니면 앞 단계의 행동이 뒤 단계 상태와 최종 보상을 바꾸는가를 먼저 가른다.
‘다음 실험을 지능적으로 고른다’는 말만으로는 부족하다
베이지안 최적화는 보통 평가가 비싼 블랙박스 목적함수의 최댓값 또는 최솟값을 적은 횟수로 찾을 때 쓴다. Dragonfly 공식 저장소는 자신을 확장 가능한 베이지안 최적화 라이브러리로 소개하고, 평가 비용이 큰 블랙박스 함수 최적화와 질의–응답(ask–tell) 사용 방식을 설명한다. 조성 x를 만들면 성능 y 하나가 돌아오고 각 실험이 비싸며, 좋은 값을 빨리 찾는 일이 목표라면 이 틀이 자연스럽다.
액티브러닝은 ‘어느 점을 재면 모델이 가장 많이 배울까’라는 최적 실험설계 쪽에 중심이 있다. 목표가 최고 성능 한 점이 아니라 상 경계, 고장 영역, 전체 예측 오차 또는 물리모델의 불확실성 감소라면 최고값 근처만 반복하는 전략은 맞지 않을 수 있다. 강화학습은 한 실험을 하나의 점으로 보는 대신 상태에서 행동을 고르고, 다음 상태와 즉시 또는 지연 보상을 받아 여러 단계의 정책을 학습한다.
세 방법 모두 다음 행동을 고를 수 있어 발표 자료에서는 쉽게 섞인다. 그러나 입력 데이터 구조, 성공 지표와 안전 검증이 다르다. 알고리즘 이름을 구매하기 전에 목적을 수학적으로 한 줄로 쓰고, 무엇을 관측할 수 있는지와 한 번의 실패 비용을 적어야 한다.
공통점은 새 관측으로 믿음을 갱신하는 적응형 루프다
NIST Autonomous Methods는 과거의 실험·계산 데이터를 분석하고 다음에 할 가장 유익한 실험과 측정을 겨냥하는 알고리즘을 설명한다. 물리 지식과 정량화된 불확실성을 함께 쓰는 점도 강조한다. BO와 액티브러닝은 대리모델의 예측과 불확실성을 이용해 새 관측의 가치를 계산한다는 공통 기반을 자주 가진다.
CAMEO 원 논문은 물리 지식을 넣은 베이지안 액티브러닝으로 상 지도를 배우는 일과 물성 최적화를 연결했다. 논문 안에서도 ‘Bayesian optimization active learning’이라는 표현을 쓴다. 이 사례는 BO와 액티브러닝을 완전히 배타적인 상자로 나누면 안 된다는 점을 보여 준다. 같은 확률모델을 쓰더라도 획득함수가 최고값 개선을 중시하는지, 경계와 전체 지식의 불확실성 감소를 중시하는지가 실무 차이다.
강화학습 역시 관측 뒤 결정을 바꾸지만, 학습 대상이 함수 표면의 한 점이 아니라 상태별 행동 정책이라는 데 무게가 있다. 반복마다 상태·행동·다음 상태·보상을 기록하며, 최종 결과가 여러 앞선 행동의 연쇄에 달려 있으면 장기 보상을 배분해야 한다.
용어의 겹침과 실제 의사결정을 분리해 본다
문헌의 명칭은 연구 공동체와 구현에 따라 달라진다. ‘액티브러닝’이라고 부른 시스템이 최적값도 찾고, ‘베이지안 최적화’가 불확실성 감소를 획득함수에 넣을 수 있다. 따라서 이름만으로 목적을 역추정하지 말고 아래 네 항목을 읽는다.
| 붙은 이름 | 실제로 확인할 질문 | 전형적 선택량 | 틀린 기대 |
|---|---|---|---|
| 베이지안 최적화 | 비싼 목적함수의 좋은 값을 빨리 찾는가 | 예상개선·상한신뢰경계 등 획득함수 | 전체 공간을 똑같이 정확히 배움 |
| 액티브러닝 | 경계·모델·가설 중 무엇의 정보를 늘리는가 | 예측분산·정보이득·위험 감소 | 반드시 최고 성능 후보를 먼저 찾음 |
| 강화학습 | 행동 순서가 상태와 장기 결과를 바꾸는가 | 상태별 행동가치·정책·보상 | 소수 실물 데이터만으로 안전한 정책이 자동 생성 |
| 혼합 전략 | 탐색·최적화·제어를 언제 전환하는가 | 단계별 획득함수 또는 계층 정책 | 이름을 합치면 검증 책임도 하나가 됨 |
차이는 알고리즘 계보보다 운영 계약에서 드러난다. BO는 후보 x를 주고 측정 y를 받는 질의–응답 경계가 비교적 분명하다. 액티브러닝은 라벨·측정 위치·분석 방법 중 무엇을 질의하는지도 설계 대상이 될 수 있다. 강화학습은 중간 상태를 어떻게 관측하고, 어떤 행동이 허용되며, 종료와 안전 위반을 어떤 보상으로 표현할지가 모델의 일부다.
목적함수·획득함수·보상·중단 기준을 따로 쓴다
최적값 탐색에서는 목적함수의 단위와 방향, 제약, 측정 잡음부터 고정한다. 대리모델이 평균과 불확실성을 내면 획득함수는 현재 최고값을 개선할 가능성과 아직 모르는 영역을 보는 가치를 저울질한다. 예상개선, 상한신뢰경계 같은 이름보다 탐색 강도, 제약 위반 처리, 반복 측정과 병렬 실험의 규칙이 현장 결과를 바꾼다. 중단은 최고 관측값이 아니라 추가 실험의 기대 개선이 비용보다 작거나 예산·안전 한계에 닿았을 때로 둔다.
경계 지도 작성에서는 어느 점이 상 A와 B를 가르는지, 모델의 어느 영역에서 불확실성이 큰지가 목적이다. CAMEO는 상 지도 지식과 물성 극값 탐색을 연결했지만 특정 재료계와 장비에서의 결과다. 모든 액티브러닝 캠페인이 같은 속도 향상을 내는 것은 아니다. 경계 오분류 비용, 공간 전체의 오차, 새로운 상 발견처럼 과학 질문에 맞는 정보 지표와 검증용 보류 데이터를 정한다.
다단계 공정에서는 상태 s에 온도·스펙트럼·이전 주입과 시간, 행동 a에 다음 시약·유량·가열 조건, 보상 r에 최종 품질과 재료·시간·위험 비용을 넣을 수 있다. AlphaFlow 원 논문은 강화학습과 미세유체 반응기를 결합해 순서가 중요한 다단계 코어–셸 나노입자 합성을 탐색했다. 최대 40개 매개변수의 사례는 RL의 가능성을 보여 주지만, 미세화된 특정 반응과 연구 설계의 결과이지 일반 실험실에 즉시 적용되는 성능 보증은 아니다.
실험이 적을수록 강화학습이 항상 불리한 것은 아니지만 더 조심스럽다
한 번의 조성–성능 관측이 독립적인 저차원 문제라면 BO가 적은 데이터에서 시작하기 쉽다. 경계를 고르게 알아야 한다면 액티브러닝의 정보기준이 맞다. 반면 강화학습은 정책이 여러 상태에서 행동한 결과를 배워야 하므로 실제 장비에서 무작정 시행착오를 쌓기 어렵다. 시뮬레이터, 문헌 사전지식, 짧은 에피소드, 미세유체처럼 실패 비용이 낮은 플랫폼 또는 사람 승인으로 데이터 부담을 줄여야 한다.
보상을 잘못 쓰면 정책은 숫자를 최적화하고 과학 목표를 놓친다. 최종 수율만 보상하면 위험한 중간 상태나 과도한 시약 사용을 택할 수 있다. 안전 제약은 큰 음의 보상 하나로 맡기기보다 실행 불가능 행동을 마스킹하고 하드 인터록으로 막는다. 보상은 성능, 시간, 재료, 폐기물과 중단을 분리해 기록한 뒤 정책 학습 때 가중한다.
BO도 안전하지 않은 후보를 제안할 수 있다. 대리모델의 불확실성은 위험이 없다는 증명이 아니다. 허용 조성, 장비 한계와 물리 규칙을 후보 생성 단계와 실행 단계에서 각각 검사하고, 입력 범위 밖 예측은 사람에게 넘긴다. 알고리즘 비교는 동일한 초기 데이터·예산·제약·잡음으로 반복해야 한다.
목표와 관측 가능성으로 첫 선택을 한다
세 방법 가운데 하나를 영구 표준으로 정할 필요는 없다. 초기에는 액티브러닝으로 상 경계를 배우고, 안전한 영역 안에서 BO로 성능을 높인 뒤, 다단계 실행 순서를 RL 또는 모델예측제어로 다룰 수 있다. 다만 단계가 바뀔 때 학습 데이터의 의미와 검증 지표도 바뀐다는 점을 장부에 남긴다.
| 현장 질문 | 알고 있는 구조 | 아직 모르는 것 | 우선 검토할 방법 |
|---|---|---|---|
| 최고 전도도 조성 | 조성 한 점→전도도, 실험비 큼 | 목적함수 표면과 최적점 | 제약 베이지안 최적화 |
| 상 경계 지도 | 측정 위치→상 라벨·불확실성 | 경계 위치와 모델 오차 | 정보기반 액티브러닝 |
| 가열–주입 순서 | 중간 관측과 다음 행동이 연쇄됨 | 장기 보상이 좋은 정책 | 안전 제약 강화학습 또는 제어 |
| 목표가 둘 이상 | 성능·비용·안전 지표가 충돌 | 선호와 파레토 경계 | 다목적 BO/AL, 정책은 별도 검토 |
| 측정도 선택 가능 | 후보뿐 아니라 센서·해상도 비용이 다름 | 어느 관측이 가장 유익한지 | 비용민감 액티브러닝 |
가장 작은 검증 단위부터 시작한다. 후보 하나를 고르는 문제라면 BO와 무작위·전문가 기준을 같은 예산으로 비교한다. 경계 문제라면 숨겨 둔 위치에서 오분류율과 불확실성 보정을 본다. RL이라면 보지 않은 초기 상태, 센서 잡음, 지연과 안전 제약에서 정책을 평가하고 실제 장비 전에는 재생·시뮬레이션과 사람 승인 단계를 둔다.
알고리즘보다 먼저 확인할 일곱 가지
구매 제안서에 ‘AI 최적화기’만 적혀 있으면 아래 항목의 답을 요구한다. 같은 이름의 알고리즘도 이 설정이 다르면 완전히 다른 실험을 고른다.
- 목표가 최적값, 경계 지식, 예측모델 정확도, 다단계 정책 중 무엇인지 한 문장으로 쓴다.
- 후보·상태·행동·관측·보상의 단위와 허용 범위를 고정한다.
- 획득함수 또는 보상의 각 항이 실제 운영 비용과 안전을 어떻게 반영하는지 확인한다.
- 초기 데이터, 사전모델, 반복 측정과 결측값 처리 규칙을 버전으로 남긴다.
- 탐색 중단, 목표 달성, 불확실성 과대, 장비 고장과 사람 호출을 서로 다른 종료 사유로 기록한다.
- 무작위·격자·전문가·기존 제어와 같은 예산에서 비교하고 유리한 회차만 고르지 않는다.
- 예측 불확실성과 안전 확신을 구분해 하드 제약·인터록·독립 검증을 유지한다.
정리하면 비싸고 적은 독립 실험에서 최적값이 목적이면 BO가 좋은 출발점이다. 공간의 구조와 경계를 배우는 일이 목적이면 액티브러닝의 정보기준을 고른다. 중간 행동이 뒤 상태를 만들고 최종 결과가 행동 순서에 달렸다면 RL을 검토한다. 명칭보다 획득함수·보상·중단 규칙이 질문과 맞는지가 선택의 핵심이다. 실제 도입에서는 피지컬 AI PoC 가이드처럼 기준 전략·오류주입·확대 조건을 먼저 고정해야 알고리즘 이름이 아니라 현장 증거로 비교할 수 있다.
실험 예산과 문제 형태에 맞는 방법을 고르는 법
실험 횟수가 수십 회뿐인 팀은 어떤 방법부터 검토해야 하나요?
한 번의 조건이 하나의 결과를 내고 최고값이 목표라면 물리 제약을 넣은 베이지안 최적화가 일반적으로 검토하기 쉽다. 경계 지도나 예측모델이 목표면 액티브러닝을, 순서가 중요한 다단계 공정이면 시뮬레이션·사전 데이터와 안전 제약을 갖춘 강화학습을 검토한다. 차원·잡음·초기 데이터가 다르므로 수십 회라는 숫자만으로 자동 결정하지 않는다.
강화학습을 쓰면 베이지안 최적화보다 복잡한 문제에서 항상 더 좋은가요?
아니다. 강화학습은 상태와 행동의 연쇄를 표현할 수 있지만 더 많은 상호작용, 보상 설계와 안전 검증이 필요할 수 있다. 독립적인 조성 최적화에 쓰면 불필요하게 복잡해질 수 있고, 시뮬레이터가 현실을 잘못 나타내면 정책도 잘못된다. 동일 예산·제약의 기준 전략과 실제 검증으로 판단해야 한다.
자료 마지막 확인: 2026년 8월 26일