새로 확인된 변화는 AI가 논문 아이디어만 제안하는 단계를 넘어 코드 실험을 돌리고, 일부 시스템은 실험 장비까지 호출한다는 점이다. 바뀌지 않은 경계도 선명하다. 텍스트·코드 결과는 시약 로트, 장비 교정과 물리 측정 불확실성을 자동으로 증명하지 않으며, 실제 장비를 움직이는 순간 안전·실행 가능성·시료 계보가 별도 시스템 책임이 된다.
두 이름이 가리키는 산출물부터 다르다
The AI Scientist 원 논문은 머신러닝 연구에서 아이디어 생성, 코드 작성·실행, 결과 시각화, 논문 작성과 모의 리뷰를 자동화한 프레임워크를 제시한다. 여기서 ‘실험’은 주로 계산 환경의 코드 실행이다. 원 논문은 세 머신러닝 하위 분야의 사례를 보고하며 화학 장비나 범용 물리실험 성능을 검증하지 않는다.
Google AI co-scientist 공식 연구 소개는 여러 에이전트가 가설을 생성·토론·진화시키고 순위를 매기는 시스템을 설명한다. 연구자 목표에 맞춘 가설·연구 제안이 핵심 산출물이다. 가설의 진위는 문장 품질이나 에이전트 표결이 아니라 독립 자료와 물리 검증으로 판정해야 한다.
반면 NIST는 자율실험실 공식 설명에서 다음에 만들고 특성화할 샘플을 알고리즘이 고르며, 시료 생성·측정 결과가 닫힌 피드백 루프로 돌아오는 구조에 초점을 둔다. AI Scientist는 질문과 설명의 공간을 넓히고, SDL은 제한된 물리 탐색공간에서 증거를 만든다.
연구자는 아이디어 선별보다 경계 설계에 시간을 쓴다
두 시스템을 분리하면 사람의 역할이 줄기보다 이동한다. 연구자는 가설 후보를 일일이 쓰는 대신 목표, 금지 가정, 필요한 반증 증거와 측정 품질을 정한다. SDL에 넘길 수 있는 가설은 측정 가능한 변수, 조작 가능한 입력과 실패 판정을 가져야 한다.
‘새 촉매가 좋을 것’이라는 문장은 장비 명령이 아니다. 조성 범위, 반응 조건, 대조군, 목적함수, 허용 위험과 중단 기준으로 바꿔야 한다. 문헌에서 제안된 수치가 현재 장비의 단위·용기·센서 범위와 맞는지 확인하고, 지원되지 않는 동작은 비슷한 명령으로 임의 치환하지 않는다.
AI Scientist가 낸 논문 초안도 실험 계획의 근거와 결과 보고서를 분리한다. 계획 단계의 예상 메커니즘과 실제 측정 뒤 관찰을 같은 시제로 쓰면 사후 설명이 원래 가설처럼 보인다. 가설·예측을 시간도장으로 동결하고 결과가 반대여도 폐기하지 않아야 반증이 남는다.
가설 후보가 많아질수록 검증 예산도 함께 늘지 않는다. 문헌 독립성, 효과 크기, 위험, 필요한 장비와 반증력으로 우선순위를 정하고 서로 거의 같은 가설은 군집화한다. 한 실험이 여러 가설을 구분하는지 보되, 결과를 본 뒤 유리한 가설만 남기는 선택 편향은 전체 후보 장부로 감사한다.
가설에서 장비까지 가치사슬이 길어진다
가설 생성–우선순위–실험 설계–실행 가능성 검사–안전 승인–시료 준비–측정–품질검사–통계·반증–보고의 각 단계에 소유자가 필요하다. 한 에이전트가 모두 호출하더라도 데이터와 권한은 분리한다. 장비 실행권은 읽기·제안권보다 좁고, 위험 조건 변경은 사람 승인 없이는 못 하게 한다.
- AI Scientist는 문헌 근거, 가설, 예상 관찰과 반증 조건을 구조화한다.
- 과학 검토자는 새로움보다 측정 가능성·대조군·통계 검정과 기존 반례를 확인한다.
- 실행 컴파일러는 가설을 장비가 지원하는 단위·재료·용기·동작으로 변환한다.
- 안전·운영 계층은 위험, 재고, 교정, 권한, 시간·비용 상한과 인터록을 검사한다.
- Self-Driving Lab은 승인된 범위에서 시료를 만들고 측정해 원시 데이터와 실패를 반환한다.
- 분석 계층은 QC를 통과한 결과만 가설과 연결하고 불확실성·대조군을 포함해 반증한다.
- 사람은 범위 이탈·충돌·고위험 예외와 다음 캠페인 목표를 승인한다.
Coscientist 원 논문은 LLM 기반 시스템이 문서 검색, 코드와 장비·클라우드랩 제어를 결합해 화학 작업과 반응 최적화를 수행한 사례를 보여 준다. 이는 연결 가능성의 실제 증거지만, 논문 자체도 특정 과제·장비 환경의 연구 결과다. 임의 실험실에서 무감독으로 안전하게 작동한다는 인증은 아니다.
실행 가능성과 과학적 타당성은 다른 검사다
장비가 명령을 수행할 수 있다는 사실은 실험이 좋은 설계라는 뜻이 아니다. 반대로 좋은 가설도 허용 온도, 물질 호환, 최소 시료량이나 분석 감도가 맞지 않으면 현재 시설에서 검증할 수 없다. 두 판정을 다른 상태로 기록해야 ‘실행 성공’을 ‘가설 입증’으로 오해하지 않는다.
실험 전에는 물질·공정 위험, 장비 자격·교정, 대조군, 반복 수, 무작위화·블라인드 가능성, 분석 계획과 중단 기준을 고정한다. 실험 뒤에는 센서 QC, 누락·재시도, 사람 개입, 제외된 데이터와 분석 버전을 기록한다. 모델이 결과를 본 뒤 성공 지표를 바꾸면 원래 가설은 미검증으로 남긴다.
결과가 부정적일 때 AI Scientist가 즉시 새 설명을 생성해도 같은 데이터로 가설을 만들고 검증하지 않는다. 새 설명은 후속 가설로 버전을 올리고 독립 실험을 요구한다. 반증을 실패 로그가 아니라 지식으로 보존해야 SDL이 보기 좋은 양성 결과만 생산하는 기계가 되지 않는다.
발표 문구와 실제 검증 수준을 한 표에서 분리한다
AI Scientist라는 이름은 자동으로 물리적 발견을 의미하지 않는다. 시스템이 만든 산출물과 외부 검증을 같은 행에 놓고, 논문·회사 발표·독립 재현의 상태를 따로 표시한다.
| 주장 | 현재 직접 확인되는 범위 | 추가로 필요한 증거 | 금지할 해석 |
|---|---|---|---|
| AI가 연구 전체를 수행 | 특정 ML 분야에서 아이디어·코드·논문 파이프라인 실행 | 독립 재현, 오류·선택편향과 실제 학술 영향 | 모든 과학 분야의 무인 발견 |
| AI co-scientist가 새 가설 생성 | 연구자 목표에 맞춘 다중 에이전트 가설·제안 | 사전 등록 물리·임상 검증과 독립 반복 | 에이전트 순위가 참을 증명 |
| LLM이 화학 실험 수행 | Coscientist가 특정 장비·클라우드랩 작업과 최적화 시연 | 새 시설의 안전·장기 가동·일반화 시험 | 아무 장비나 무감독 제어 |
| SDL이 지식을 만든다 | 승인된 탐색공간에서 시료·측정·다음 선택 폐루프 | QC·불확실성·반증·외부 검증 | 측정 성공이 가설·메커니즘 입증 |
또한 ‘동료평가 통과’와 ‘독립 물리 검증’도 다르다. 논문 심사는 연구 보고의 문턱이지 모든 결론의 최종 참 인증이 아니다. 자동 리뷰어 점수, 워크숍 수락, 장비가 낸 단일 측정값을 하나의 성공 계단으로 합치지 않는다.
다음 이정표는 더 큰 모델이 아니라 반증 가능한 연결이다
통합 파일럿의 첫 목표는 AI가 많은 가설을 내는 것이 아니다. 하나의 가설을 측정 가능한 실험 계약으로 바꾸고, 사람·안전 계층이 승인하며, 시료·명령·원시 데이터·QC·분석·결론을 끝까지 추적하는 것이다. 부정 결과와 장비 실패를 구분해 다시 원래 가설로 돌려보내야 한다.
실무에서는 낮은 위험의 잘 알려진 반응이나 재료부터 시작한다. 문헌상 답이 알려진 양성·음성 대조군을 섞고 에이전트가 어느 근거로 후보를 골랐는지 숨긴 채 평가한다. 성공률뿐 아니라 불가능한 프로토콜 거절, 위험 조건 차단, 결과 미도착에서의 중복 실행 방지와 잘못된 결론 보류를 본다.
이 구조는 로봇 파운데이션 모델의 고수준 의도와 실제 제어 경계를 연구실에 옮긴 것이다. 피지컬 AI의 뜻과 범위에서 보듯 모델은 물리 피드백 안에서 평가해야 한다. 2026년 8월 26일 확인 기준, 양쪽을 잇는 사례는 늘었지만 범용 무감독 과학자를 입증했다고 보기는 이르다.
AI Scientist와 자율실험 통합의 성숙도를 판단할 증거
AI Scientist와 Self-Driving Lab을 지금 하나의 제품처럼 살 수 있나요?
일부 연구 코드, 에이전트·클라우드랩·자동화 장비는 이용할 수 있지만 모든 분야의 가설 생성부터 안전한 물리 실행·반증까지 보장하는 단일 범용 제품으로 볼 근거는 부족하다. 장비·프로토콜·권한·지원 범위를 개별 계약과 파일럿으로 확인해야 한다.
앞으로 어떤 신호가 나오면 통합이 성숙했다고 볼 수 있나요?
독립 기관의 재현, 사전 등록된 양성·음성 대조군, 위험 명령 거절률, 사람 개입·장비 실패와 과학적 반증을 구분한 로그, 새 장비·새 분야로의 전이 결과가 함께 공개되는지 봐야 한다.
자료 마지막 확인: 2026년 8월 26일