철도역 주변 복합재난을 관측으로 빨리 읽고, 5·10·30분 앞을 가벼운 예측기로 보고, 사람이 결정하고, 로봇이 가서 확인한다.
월드 파운데이션 모델 재난 과제의 1단계 개념 증명(PoC). 장소는 KRRI 오송 철도종합시험선로 기지, 첫 재난은 야드 화재. 생성 영상은 사실로 쓰지 않는다. 아래 숫자는 전부 우리 PC에서 잰 값이다(2026-11-03).
문서 네 가지
같은 내용을 깊이만 달리해 썼다. 처음이면 핵심판, 다시 만들 사람은 긴 매뉴얼판, 같은 실수를 피하려면 실패 기록, 개념부터 배우려면 공부 노트.
핵심판brief
개조식·사진·키워드. 네 역할, 두 속도 구조, 모델 선택표, 핵심 흐름도, 진행률. 10분이면 읽는다.
긴 매뉴얼판full
장 17개 토글. 문헌 조사 50건, 모든 논리가 보이는 흐름도, 수식·실측 표, 재현 절차, 용어 사전. 논문의 바탕.
실패 기록fails
시행착오 50건을 날짜·시도·증상·원인·조치·교훈으로. 같은 벽에 두 번 부딪히지 않기 위한 표.
공부 노트study
처음 보는 사람용. 월드모델 네 갈래, 3DGS, 파티클 필터, LLM 도구 호출, 양용로봇을 개념 → "이 프로젝트에서" 순서로.
네 역할 — 무대 · 눈 · 머리 · 손
재난 현장을 손으로 모델링하지 않는다. 드론이 무대를 만들고, 월드모델 추론기가 지금을 읽고, 상태 월드모델이 앞을 보고, 에이전트와 로봇이 움직인다. 결정은 사람이 한다.
① 무대드론 3DGS → 3D 타일
재난 직후 드론으로 찍어 가우시안 스플래팅 3D를 만들고 평시 스캔 위에 피해 구역만 덧댄다. 관제 화면과 로봇 센서 시뮬의 바탕.
② 눈월드모델 추론기
CCTV·드론·로봇 영상을 비전 언어 모델이 읽어 "불·연기·물·막힘"을 판단하고, 카메라별 지도 정합으로 격자 위 관측으로 바꾼다.
③ 머리상태 월드모델
미리 계산한 시뮬 묶음(FDS 화재·침수·대피·교통)과 대리모델로 5·10·30분 앞을 민다. 관측이 오면 파티클 필터가 묶음 가중치를 바꾼다. 수 ms.
④ 손에이전트 + 양용로봇
절차는 코드가 고정하고 LLM은 도구만 고른다. 대응안 A/B/C 비교표, 정보 가치가 큰 지점으로 레일·험지 양용로봇 점검 임무. 로봇이 본 것이 새 관측.
한 바퀴 — 핵심 흐름도
입력 → ① 공간 바탕 → ② 관측 해석 → ③ 상태 월드모델 → ④ 에이전트 → ⑤ 로봇 → 출력, 그리고 로봇 관측이 ②로 되돌아온다. 느린 층(생성 WFM)은 "가설"만 보탠다. 칸 72개짜리 전체판은 긴 매뉴얼판 3장.
월드모델의 네 갈래와 이 PoC의 자리
요구사항(경량·실시간·불확실성, 생성 결과를 사실과 섞지 않기)을 그대로 만족하는 것은 상태 월드모델뿐이다. 과제명의 WFM은 느린 층에서 산다.
| 갈래 | 대표 | 자리 | 우리 실측 |
|---|---|---|---|
| 생성 | Cosmos 3 Nano/Super, Matrix-Game 3.0/4.0 | 느린 층·오프라인만 | MG 3.0 2.6 FPS·장면 붕괴, MG 4.0 55 FPS지만 낙석·물 삭제 |
| 추론기(VLM) | Qwen3.8-27B 비전, Cosmos 3 Reasoner | 관측 해석(②) | 8/8 vs 6/8 |
| 잠재 | JEPA·Dreamer 계열 | 안 씀 | — |
| 상태(대리모델) | U-RNN, FDS 묶음, jupedsim-network, SUMO | 빠른 층 본체 | U-RNN 6.65 s, 대피 500회 29.5 s, SUMO 2,000대 1.4 s |
진행 — 전체 약 62 % (2026-11-03 밤, 단계 비중 가중)
- 72케이스 묶음으로 쌍둥이 시험(정답 케이스 숨기고 찾기)과 "관측 1건 → 3초 안 갱신" 재측정.
- 스플랫 위치·방향·크기 맞추기(저자와 함께), 기지 도면 받으면 대피 스케치 교체.
- P3 비교 화면: 안 A/B/C 경로·통제·수치를 나란히.
- P4: FDS 2차 묶음에 6~10 m 슬라이스, U-RNN 오송 재학습. Cosmos 3 생성기는 설치 뒤.