MIRAI STUDIO 종합 이용 가이드 & OBS 튜토리얼
웹캠 하나로 60FPS 3D 버튜버 방송을 시작하는 세부 기술 가이드 및 설정 팁
1. 시작하기: 입출력 기기 허용 및 센서 원점 보정
MIRAI STUDIO는 웹 브라우저 표준인 HTML5 MediaDevices API를 활용합니다. 스튜디오 진입 시 나타나는 카메라 및 마이크 권한 요청을 '허용'해 주셔야 실시간 AI 모션 트래킹이 시작됩니다.
카메라 연결 후, 화면 정면을 바르게 응시한 상태에서 관제실 패널의 '모션 원점 기준 보정 (Calibrate)' 버튼을 누르면 사용자의 고개 회전 각도 및 어깨 관절 축이 정면 기준점으로 정밀 리바인딩됩니다.
2. OBS Studio 생방송 연동 세팅 (크로마키 & 브라우저 소스)
유튜브, 치지직, 아프리카TV, 트위치 등 주요 라이브 스트리밍 플랫폼에서 OBS Studio와 연동하여 투명 겹치기 방송을 하는 세팅 방법입니다.
방법 A: 브라우저 소스 (OBS Direct) - 가장 추천
1) OBS Studio 소스 목록 하단의 [+] 버튼을 누르고 '브라우저 (Browser)' 소스를 추가합니다.
2) URL 입력란에 https://miraistudio-b005c.web.app/studio.html를 입력합니다.
3) 너비를 1920, 높이를 1080으로 설정하시면 배경이 자동으로 투명 처리된 아바타만 깔끔하게 게임 및 캠 화면 위로 오버레이됩니다.
방법 B: 디스플레이/창 캡처 + 크로마키(Chroma Key) 필터
1) MIRAI STUDIO 하단 배경화면 탭에서 '크로마키 그린 (Chroma Key Green)'을 선택합니다.
2) OBS에서 창 캡처 소스를 추가한 뒤, 마우스 우클릭 > 필터(Filters) > [+] > '크로마키'를 추가하시면 녹색 배경이 투명화됩니다.
3. 나만의 3D 아바타(.vrm) 및 가상 배경 등록
VRoid Studio, BOOTH, 캐릭터 창작 툴 등에서 제작 또는 다운로드한 .vrm 포맷의 3D 캐릭터 모델을 자유롭게 불러올 수 있습니다.
하단 '아바타 보관함' 탭의 [내 VRM 추가 +] 버튼을 통해 파일을 지정하시면, HTML5 File API 기반의 100% 로컬 샌드박스로 로딩되어 개인 아바타 유출 염려 없이 안전하게 렌더링됩니다.
• 안드로이드 (Galaxy): [내 VRM 추가 +] ➔ [파일/내 파일] ➔ 상단 (☰) ➔ [다운로드] 폴더에서
.vrm 파일 선택• 아이폰 (iOS): [내 VRM 추가 +] ➔ [파일 선택] ➔ [둘러보기] ➔ [다운로드] 폴더에서
.vrm 파일 선택
4. 전신 3D 모션 트래킹 & 스테이지 모드 (Pro 전용)
상단 HUD의 [전신 3D 스테이지 모드] 버튼을 누르면 아바타 카메라 줌이 줌아웃되며 머리부터 골반, 무릎, 발끝까지 33개 관절 포인트의 3D 모션 트래킹이 렌더링됩니다. 마우스 휠 및 드래그를 통해 3D 카메라 각도를 자유롭게 회전 조절할 수 있습니다.
5. 3D 악세사리 & 손 소품 실시간 장착
패션 안경, 네온 고글, 악마 뿔, 핑크 헤어 리본, 천사 엔젤 링 등의 3D 악세사리와 3D 레트로 마이크, 응원봉, 스마트폰 소품을 클릭 즉시 팝업 알림창 없이 0.01초 만에 실시간 장착하여 방송 중 부드러운 연출이 가능합니다.
6. 손가락 핑거 트래킹 & 모션 댐핑(Damping) 튜닝
MIRAI STUDIO는 양손 10개 손가락의 21개 관절 마디를 정밀 인식합니다. 모션이 떨리거나 튀는 현상이 발생할 경우, 관제실의 '손가락 모션 댐핑' 슬라이더 값을 조절하여 부드러운 가중치 필터링(Low-Pass Filter)을 적용할 수 있습니다.
7. 웹 브라우저 WebGL / GPU 가속 성능 최적화
3D 프레임(FPS)이 저하될 경우, 사용 중인 브라우저(Chrome/Edge) 설정에서 '하드웨어 가속(GPU가 있는 경우 하드웨어 가속 사용)' 옵션이 활성화되어 있는지 확인해 주세요. NVIDIA/AMD 외장 그래픽 카드를 사용하는 경우, 브라우저가 외장 그래픽을 우선 사용하도록 지정하시면 안정적인 60FPS 모션 캡처가 가능합니다.
8. AI 스튜디오: RVC 음성변조, 오디오 3D 댄스 & 실시간 동시통역 가이드
MIRAI STUDIO 관제실 패널의 [Google Colab GPU AI 스튜디오] 기능을 통해 무설치로 최고급 AI 연산을 실행하는 방법입니다.
🎤 1. RVC AI 음성 클로닝 & 음성 변조
관제실의 [음성 녹음 추론] 버튼을 누르면 3초간 음성이 녹음되며, RVC PyTorch AI 파이프라인으로 전송되어 캐릭터/타깃 보이스로 즉시 변환 재생됩니다.
🎵 2. 오디오 맞춤 3D 댄스 모션 자동 생성 (Audio-to-Dance)
[음악 MP3 업로드 (3D 댄스)] 버튼으로 K-POP이나 좋아하는 노래를 올리면, AI가 음악 비트(BPM) 및 템포를 분석하여 3D 아바타가 노래에 맞춰 자동으로 춤추는 애니메이션을 생성합니다.
🖼️ 3. 2D 사진 ➔ 입체 3D 가면 마스크 자동 제작 (Image-to-3D)
[2D 이미지 업로드 (3D 생성)] 버튼으로 캐릭터 또는 마스크 이미지를 첨부하면, AI가 입체 3D 메시로 자동 변환하여 3D 아바타 얼굴 위치에 착용시켜 줍니다.
🗣️ 4. 실시간 다국어 동시통역 AI 방송 (Whisper + DeepL + XTTS v2 / ChatTTS)
스트리머가 한국어로 말하면 OpenAI Whisper AI가 실시간 음성을 인식하고, DeepL 번역기를 거쳐 영/일/중/스페인/인도네시아어로 즉시 번역합니다. 번역된 텍스트는 XTTS v2 초자연 AI 음성으로 합성되어 방송되며, 3D 아바타 입모양(Lip-Sync)과 자막 오버레이가 실시간 동기화되어 글로벌 시청자들과 자유롭게 소통할 수 있습니다.
local_ai_server.py 서버가 켜져 있으면 스튜디오 접속 시 1초 만에 '직접 연결 완료' 상태로 자동 연동됩니다. 구글 코랩(Colab Pro GPU)을 사용할 경우, 복사한 Ngrok Public URL을 입력 후 [연결]을 누르시면 됩니다.
9. 최신 기능 업데이트 & 트러블슈팅 가이드 (Latest Features & Troubleshooting)
✨ 1. VRM 1.0 & VRM 0.x 하이브리드 자동 호환 지원
최신 VRoid Studio 등에서 내보낸 VRM 1.0 규격(.vrm) 캐릭터와 기존 VRM 0.0 모델을 모두 자동 감지하여 60FPS 모션 트래킹, 핑거 트래킹 및 AI 립싱크를 완벽 호환 렌더링합니다.
🎯 2. 카메라 시동 시 아바타 이탈 방지 & 원점 보정
카메라 시작 시 아바타가 화면 밖으로 밀려나는 현상을 방지하기 위해 골반(Hips) 안전가드가 적용되었습니다. 카메라 시동 후 바른 자세로 '모션 원점 기준 보정 (Calibrate)' 버튼을 누르시면 정중앙 기준점으로 매끄럽게 고정됩니다.
🎭 3. 악세사리/소품 원클릭 해제 & 가면 마스크 모드
착용 중인 악세사리나 손 소품 아이콘을 한 번 더 클릭하면 착용이 즉시 해제됩니다. 또한 가면 마스크 모드 전환 시 아바타 몸체는 감춰지고 3D 가면만 표시되어 얼굴 비노출 오버레이 방송이 가능합니다.
☁️ 4. 로컬 무제한 불러오기 vs PRO 클라우드 보관함
'내 VRM 추가 +'는 PC 내 3D 캐릭터를 서버 비용 0원으로 무제한 1회성 로딩하는 방식이며, '개인 커스텀 VRM 아바타 등록'은 PRO 회원 계정에 클라우드 저장되어 어느 기기에서 접속하든 캐릭터가 영구 보존됩니다.
📷 5. 아바타가 화면(렌즈) 밖으로 사라지는 현상 Q&A
Q. 방송 중 아바타가 화면 밖으로 밀려나거나 사라집니다. 원인과 해결 방법은?
A. 1) 사용자가 웹캠 화각을 벗어나 AI 트래킹 포인트를 놓친 경우, 2) 조명이 어두워 픽셀 노이즈가 발생한 경우, 3) 3D 시점 카메라가 마우스로 회전된 경우 발생합니다.
해결책: 정면을 바라본 후 관제실의 '모션 원점 기준 보정 (Calibrate)' 버튼을 누르면 1초 만에 중앙으로 원복됩니다. 웹캠 거리를 60cm~1m로 유지하고 방 조명을 밝게 설정해 주세요.