에다 정답 데이터 수집 리그 — 장비 세팅 가이드

기본: STANDALONE + 소프트웨어 정렬 (Sync Hub 결선 불필요)

• 정답은 라이트하우스 트래커가 카메라와 무관하게 계산하므로 카메라 간 동기는 정답의 전제가 아님. 동기는 4대 영상(피검·학습 데이터)을 하나의 시간축에 합칠 때만 필요.
• 각 테이크 시작·끝에 동기 이벤트: LED 플래시 2회(0.5 s 간격) + 클래퍼. 플래시 프레임으로 ±1프레임(33 ms) 1차 정렬 → 오프라인에서 4대의 배우 2D 관절 궤적과 트래커 궤적을 교차상관해 5 ms 이내로 미세 정렬(검증 막대 흔들기 테이크로 확인).
• 잔여 오차: 1 m/s 이동·90°/s 회전 구간에서 5 ms 어긋남은 위치 0.5 cm·yaw 0.5° — 예산(±2 cm·±1.5°) 안. 정지·저속 구간은 영향 없음.
• ToF 상호간섭: 4대 깊이에 노이즈 패치가 생기지만 정답은 트래커라 무관. 현재 라이브도 2026-06-23부터 STANDALONE이라 피검 조건과 동일.
• mocopi는 어느 경우든 Main 도착 시각(frames.csv)으로 정렬하므로 동기 이벤트는 항상 수행.

선택: Sync Hub Pro 하드웨어 동기

• 필요해지는 경우 두 가지뿐: ① 검증 막대 흔들기 테이크에서 교차상관 정렬 뒤에도 카메라 간 위치 불일치가 1 cm를 넘을 때 ② 깊이(ToF) 품질을 학습 입력 기준으로 끌어올릴 때.
• 켤 때 순서: Hub 전원 LED → Subordinate 3대 먼저 스트림 시작 → Master(A) 마지막 시작. Subordinate 캡처 0이면 10분 안에 포기하고 STANDALONE으로 녹화. 세션 뒤 deviceSyncMode=0 복귀.

A. Base Station 2.0 설치

1. 삼각대(2.5 m 이상) 또는 벽·트러스 클램프에 1/4" 마운트로 고정. 서로 대각 방향, 연기 구역을 향해 30~45° 아래로 기울임.
2. 전원 연결 → 전면 LED 녹색. 깜빡임·적색이면 전원 어댑터·채널 확인.
3. 채널: 각 기기가 서로 다른 채널이어야 함. SteamVR → 장치 → Base Station 설정에서 지정(또는 뒷면 버튼). 1·2단계 합쳐 1~4번 고정.
4. 반사 제거: 시야 안 거울·유리·광택 금속·광택 바닥 부분은 매트 천으로 가림. 햇빛 직사 금지.
5. 흔들림 금지: 삼각대 모래주머니. 세션 중 건드리면 룸셋업 재실행.

B. 트래커 3.0 착용 (리허설 전용)

트래커마다 동글 1개를 Main PC에 연결. 동글끼리 45 cm 이상, USB 3.0 포트·QM-PR1 수신기와 떨어뜨림(2.4 GHz 간섭). 배터리 7.5 h — 세션 전 완충, 예비 USB-C 전원.

C. SteamVR 설정 (헤드셋 없이 트래커만)

1) Steam → SteamVR 설치 (Main PC)
2) Steam\config\steamvr.vrsettings 에 추가
   "steamvr": {
     "requireHmd": false,
     "forcedDriver": "null",
     "activateMultipleDrivers": true
   }
3) Steam\steamapps\common\SteamVR\drivers\null\
   resources\settings\default.vrsettings → "enable": true
4) SteamVR 실행 → 장치 → 컨트롤러 페어링 →
   "다른 종류의 컨트롤러" → VIVE Tracker → 트래커 버튼 길게
5) 트래커 관리 → 역할: 모두 "사용 안 함"(컨트롤러 에뮬레이션 끔)
   기록은 시리얼 번호로 구분(T1~T4 ↔ 시리얼 표 작성)
6) 룸셋업: "스탠딩 전용" → 바닥 높이 보정

D. 무대 좌표계 정렬(세션마다 2분)

1. 트래커 1개를 바닥 기준점 F42 위에 평평히 놓고 LED가 F41 방향(+X)을 보게 둠 → 3초 기록.
2. 그 자세를 "무대 원점·+X"로 저장 → 이후 모든 트래커 자세를 무대 좌표계로 변환(Femto 카메라 좌표계와 같은 기준).
3. 검증: F40·F41 위에 차례로 놓아 실측 거리(줄자)와 비교, 오차 ≤ 5 mm.

E. 기록

• Main에서 OpenVR 로거(vive_logger.py, 작성 예정 — pyopenvr)로 90 Hz 이상 자세(위치·쿼터니언·시리얼·시각·추적 상태)를 vive_poses.csv에 기록. 시각은 세션 녹화와 같은 Main 시계.
• 테이크 시작·끝의 동기 이벤트 때 트래커를 든 손을 LED와 함께 흔들어 카메라·트래커 시각 정렬 근거 확보.
• 추적 상태가 Running_OK가 아닌 프레임은 정답에서 제외(결측 표시).

6-1. 내부 파라미터(카메라별)

• 1차: Femto Bolt SDK가 주는 컬러 내재 파라미터(초점거리·주점·왜곡) 사용. StreamRoger가 이미 읽는 값(1920×1080 기준 수직 FOV 51.32° 실측 일치).
• 검증: ChArUco 보드 20프레임으로 재투영 오차 ≤ 0.5 px이면 SDK 값 채택, 넘으면 OpenCV calibrateCamera로 재추정.

6-2. 외부 파라미터(4대 상대 자세 + 무대 좌표계)

1. 바닥 기준점 F40·F41·F42를 연기 구역에 고정하고 줄자로 세 중심 간 거리를 실측(mm).
2. A·B·D가 모두 보는 위치에서 ChArUco 보드를 그림 2의 경로로 천천히 이동(60~90초), C는 바닥 기준점으로 연결.
3. 3D아티스트 PC에서 calib_rig.py(작성 예정): 보드 코너 다시점 대응 → 카메라 간 상대 자세, F42 원점·F40→F41 +X로 무대 좌표계 고정.
4. 합격: ChArUco 재투영 ≤ 0.5 px, 바닥 기준점 재투영 ≤ 1 px, 기준점 간 실측 거리와 삼각측량 거리 오차 ≤ 1 cm.

6-3. 매 세션 재검증(5분)

• 바닥 기준점 3개가 전 카메라에서 이전 세션과 같은 픽셀 위치(±2 px)면 카메라 불변 → 외부 파라미터 재사용.
• 하나라도 벗어나면 그 카메라만 보드 재촬영(10분).

6-4. mocopi 캘리브레이션(배우별)

• 센서 6개 장착 위치: 머리 밴드(가면 안쪽 고정 위치를 사진으로 기록), 양 손목, 허리 뒤 중앙, 양 발목.
• T포즈 → 앱 캘리브레이션 → 한 걸음 전진. 세트1(에다)·세트2(요한) 순서대로, 수신기 2대 1 m 이격.
• 캘리브레이션 직후 배우가 F42 원점에 서서 정면(+Z)을 보는 3초를 녹화 → mocopi·트래커·무대 좌표계의 초기 오프셋 기록.

Main (Unity 본편 Play 중)

• Ctrl+F2 녹화 시작/정지 — Main Femto 컬러 1080p BGRA32 + 깊이 NFOV + IR 30 fps(femto.mkv), mocopi 수신 원시(mocopi.bin), 프레임 도착·장치 시각(frames.csv), 요약(session.json).
• 최대 180초 자동 정지, 시작 시 여유 45 GB 필요. 분당 12~17 GB.
• 정지 시 편집기 10~30초 멈춤(저장) — 테이크 사이 여유 둘 것.
• 원격 명령: D:\StreamRoger\FoundationPoseValidation\session.command에 record/stop.

Worker1~3 (k4arecorder, 구현 예정 항목)

k4arecorder.exe -c 1080p -d NFOV_UNBINNED -r 30 -l 185 ^
  --external-sync sub --sync-delay 160 ^
  D:\StageSessions\<세션ID>\femto_B.mkv

• Main의 record 명령과 같은 시각에 워커 3대를 시작하는 래퍼(pc_sync 스크립트)로 통일 — 11월 「녹화 포맷 확장」 작업.
• 동기 모드가 아니면 --external-sync standalone.

세션 폴더(확장안)

H:\Recording\StageSessions\20261115_193012_123_ab12cd\
├─ femto.mkv          Main A (컬러·깊이·IR)
├─ femto_B.mkv        Worker1 (복사)
├─ femto_C.mkv        Worker2 (복사)
├─ femto_D.mkv        Worker3 (복사)
├─ mocopi.bin         세트1 (에다)
├─ mocopi_2.bin       세트2 (요한)  ← 추가
├─ vive_poses.csv     트래커 자세(시각·시리얼·위치·쿼터니언·상태) ← 추가, 정답
├─ frames.csv         Main 프레임 도착·장치 시각
├─ session.json       길이·프레임 수·정지 사유
└─ take.json          장면·테이크·배우·동기 이벤트 시각 ← 추가

테이크 규칙

• 장면 단위로 짧게(60~120초). 같은 장면을 2~3회 반복해 세션 간 분산 확보.
• 테이크 시작 3초·끝 3초는 정지 자세 + 동기 이벤트.
• 연출 변경이 있으면 take.json에 메모(프라이어 학습 데이터 무효화 판단용).
• 한글·공백 폴더명은 재생 시 하드링크 우회가 필요하므로 세션 ID는 영문·숫자만.