옴니버스와 프론티어 AI 에이전트의 기본 워크플로우
NVIDIA 블로그에 따르면, 개발자는 시뮬레이션 아이디어를 작동하는 애플리케이션으로 변환하기 위해 에셋을 조립하고, 물리 및 렌더링을 연결하며, 장면이 의도대로 동작하는지 검증해야 합니다. 이 과정에서 프론티어 AI 모델과 NVIDIA Omniverse 라이브러리를 결합하여 작업을 지원합니다. 개발자는 자연어 지시를 통해 AI 에이전트를 지휘하고, 결과를 검토한 뒤 변경을 안내합니다. Omniverse 라이브러리는 GPU 가속 물리, 렌더링 및 센서 시뮬레이션 기능을 제공합니다.
휴머노이드 시뮬레이터 구축 사례: 웨어하우스 환경
Omniverse 제품 관리자 Frank DeLise는 Astra를 사용하여 SimReady 웨어하우스와 휴머노이드 로봇을 첫 번째 및 세 번째_person 뷰를 갖춘 인터랙티브 시뮬레이터로 변환했습니다. DeLise는 Astra에게 NVIDIA Omniverse 라이브러리로 물리(ovphysx), 장면 업데이트(ovstage), 렌더링(ovrtx) 및 사용자 인터페이스(ovui)를 연결하도록 지시했습니다. 또한 Astra와 SimReady 파운데이션(simready-foundation)을 이용해 시뮬레이션 내 물리 장면을 생성했습니다. 이후 Astra는 애니메이션과 애플리케이션 코드를 생성하여 이러한 기능을 통합했습니다.
자율주행 테스트 워크플로우 연결
시뮬레이션 기술 팀 매니저 Doyub Kim은 Astra에게 Zero to Alpamayo라는 재사용 가능한 시뮬레이션 환경을 구축하도록 요청했습니다. 이는 샌프란시스코 마켓 스트리트를 기반으로 합니다. Kim은 Astra에게 워크플로우를 매핑한 뒤, 에셋 생성, 교통, Omniverse RTX 센서 시뮬레이션 및 Alpamayo 주행 단계를 순차적으로 연결하고 각 통합을 검증하도록 지시했습니다. 결과 프로토타입은 모델 간 비교 및 장면 또는 센서 변화가 하위 주행 행동에 미치는 영향을 추적할 수 있는 테스트 환경을 제공했습니다. 별도의 Cosmos3-Nano 실험에서는 기록된 시뮬레이션 영상에 날씨와 조명을 다양하게 적용하여 Kim이 동일한 시나리오에서 주행 모델의 반응을 다양한 조건에서 비교할 수 있도록 했습니다.
센서 차이를 활용한 디지털 트윈 개선
RTX 센서 검증 담당 Ashley Reid는 Astra와 Claude Fable 5 에이전트를 지시하여 ovrtx 카메라 출력과 원시 LiDAR 데이터를 기록된 데이터와 비교하도록 했습니다. 에이전트는 처음부터 두 개의 디지털 트윈을 생성하고 기존 두 개를 개선했습니다. 약 3일 동안 Reid는 에이전트가 차이를 측정하고, OpenUSD 장면을 생성 또는 수정하며, 결과를 확인하는 반복 워크플로우를 안내했습니다. 변경 사항은 누락된 객체, 기하학 및 재질을 다루었으며, 수용 여부는 카메라 및 LiDAR 메트릭에 따라 결정되었습니다.これにより、開発者は測定された不一致をシーン作成と改善の指針として利用できます. OpenUSD 장면을 ovrtx 최소 Python 예제로 렌더링한 뒤, 기록된 데이터와 비교할 센서 측정을 정의하는 것이 시작점입니다.
로보 올림픽 및 로봇 분해 테스트
NVIDIA Omniverse 엔지니어링 및 제품 리드 Tae Kim은 스포츠 영상과 자연어 지시를 활용하여 Astra에게 Unitree G1 휴머노이드가 스포츠 동작을 수행하는 실험 프로젝트인 Robo Olympics를 구축하도록 지시했습니다. Kim의 지도 하에 Astra는 컨트롤러를 제작하고 물리 시험을 통해 이를 개선했습니다. Newton 물리 엔진이 동작을 시뮬레이션했으며, 오픈소스 NVIDIA Warp 프레임워크가 계산을 가속화했고, ovrtx가 장면과 가상 카메라 이미지를 렌더링했습니다. 한 실험에서 로봇은 단일 허들을 100회 시뮬레이션 중 64회 성공적으로 통과했습니다. 이 결과는 Kim에게 로봇의 타이밍과 제어를 개선하기 위한 피드백을 제공했습니다.
OpenUSD 선임 제품 매니저 Jens Jebens는 Astra에게 PTC Onshape에서 자동차 서스펜션을 모델링하고 NVIDIA Isaac Sim에서 구성하도록 지시했습니다. Astra를 통해 Jebens는 시뮬레이션에 기반한 로봇의 CAD 및 툴링 개선을 탐색했습니다. 에이전트는 가용 공간을 측정하고 로봇이 서스펜션 볼트에 도달할 수 있는 렌치를 설계했습니다. Jebens는 시뮬레이션에서 서스펜션 구성 요소의 성공적인 제거를 보고했으며, 이는 설계 및 툴링 결정이 분해 결과와 연결됨을 보여줍니다.
국제우주정거장 브라우저 적용 및 기타 예시
NVIDIA 엔지니어링 디렉터 Nic Johns는 Astra에게 NASA 자산을 OpenUSD 국제우주정거장 모델에 조립하고 원격측정 데이터를 결합하도록 요청했습니다. Johns는 단일 프롬프트로 애플리케이션을 구축한 뒤, 후속 프롬프트를 사용하여 장면을 지구의 주간 side로 이동시켜 행성이 보이게 했습니다. 이 워크플로우는 Blender로 에셋 준비와 Omniverse 라이브러리로 렌더링(ovrtx), 장면 런타임(ovstage) 및 스트리밍(ovstream)을 활용했습니다. 해당 애플리케이션은 3D 모델과 운영 데이터를 브라우저 내에 가져오며, Johns는 프롬프트와 수정을 통해 개발을 안내했습니다.
마무리: 시뮬레이션 아이디어 실행 가이드
블로그는 시뮬레이션 아이디어를 가진 개발자가 NVIDIA Omniverse 라이브러리를 탐색하고 AI 에이전트로 시작할 것을 권장합니다. 또한 NVIDIA와 Microsoft가 새로운 시작을 알렸다는 언급이 있으나 구체적인 내용은 본문에서 제공되지 않았습니다.