경상국립대(총장 권진회)는 IT공과대학 컴퓨터공학부 이수원 교수 연구팀(증강인지 및 확장경험 연구실, APEX)이 일반 카메라 영상만으로 주변 사물과 사물 간 관계를 파악하는 3차원 장면 이해 인공지능(AI) 기술을 개발했다고 밝혔다.
별도의 깊이 센서 없이도 공간을 이해할 수 있어 일반 카메라를 쓰는 로봇과 증강현실 기기에 활용될 수 있다는 설명이다.
로봇이 주변 공간을 이해하려면 사물을 구별하는 것뿐 아니라 '의자가 책상 옆에 있다', '물건이 선반 위에 놓여 있다'와 같은 관계까지 파악해야 한다. 이처럼 사물과 그 관계를 연결해 공간을 구조적으로 표현하는 기술이 ‘3차원 장면 그래프(3D semantic scene graph)’다.
기존 연구는 주로 컬러 영상과 깊이 정보를 함께 수집하는 RGB-D 카메라와 정밀하게 복원된 3차원 데이터를 활용해 왔다. 이 방식은 풍부한 공간 정보를 제공하지만 전용 센서와 데이터 구축 과정이 필요해, 일반 카메라만 쓰는 환경에는 적용하기 어렵다는 한계가 있었다.
연구팀은 이를 해결하기 위해 RGB-D 데이터로 학습한 AI의 지식을 일반 카메라(단일 카메라, monocular) 기반 AI에 전달하는 ‘교차 모달 지식증류(cross-modality knowledge distillation)’ 기술을 제안했다. 깊이 정보가 풍부한 데이터를 학습한 ‘교사 모델’이, 일반 카메라 영상과 비주얼 SLAM(카메라 영상으로 카메라 위치를 추정하면서 주변 공간의 지도를 만드는 기술)으로 생성한 3차원 데이터를 쓰는 ‘학생 모델’의 학습을 돕는 방식이다. 숙련된 선생님이 가진 지식을 학생에게 전수하는 것과 비슷하다.
핵심은 서로 다른 센서에서 얻은 데이터의 차이를 고려하면서 필요한 지식을 전달하는 데 있다. 연구팀은 사물 종류별 학습 특성, 사물 간 관계, 입력 데이터의 특성 차이를 각각 다루는 세 가지 지식증류 모듈을 설계했다. 일반 카메라로 얻은 불완전한 공간 정보를 보완하고, 사물과 관계를 파악하는 데 필요한 정보를 학습하도록 한 것이다.
연구팀은 다양한 실험 조건에서 성능을 분석하고 각 모듈의 기여도를 평가했다. 그 결과 교사 모델의 지식을 전달하는 방식이 일반 카메라 기반 3차원 장면 그래프 예측에 효과적임을 확인했다. 이번 연구는 학습 과정에서는 깊이 정보를 활용하되 실제 활용 단계에서는 별도의 깊이 센서 없이 일반 카메라만으로 3차원 장면을 이해하는 방법을 제시했다. 향후 일반 카메라를 사용하는 로봇과 증강현실 기기 등의 공간 이해 기능을 고도화하는 데 활용될 수 있다.
이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의 AI최고급신진연구자지원(AI스타펠로우십지원) 사업, 중소벤처기업부의 경남 제조 특화 AI대전환(지역주도형 AI대전환) 사업의 지원으로 수행됐으며, 그 결과는 'Enhancing monocular 3D semantic scene graph prediction via cross-modality knowledge distillation'(제1저자 배지호)이라는 제목으로 엘스비어(Elsevier)가 발행하는 인공지능 및 패턴인식 분야의 권위 있는 국제학술지 《Pattern Recognition》(IF 9.1, JCR 전기·전자공학 분야 상위 6.9%, 2025 JCR 기준)에 온라인 게재됐다. 이 논문은 《Pattern Recognition》 2027년 3월호에 수록될 예정이다.
이수원 교수는 “로봇이 일상 공간에서 사물과 그 관계를 이해하려면 고가의 전용 센서에 의존하지 않는 기술이 필요하다고 보고 연구를 시작했다. 이번 연구는 학습 단계에서 깊이 정보를 활용하되, 실제 활용 단계에서는 일반 카메라만으로 사물과 사물 간 관계를 이해할 수 있는 길을 제시했다는 데 의미가 있다. 앞으로 일반 카메라를 사용하는 로봇과 증강현실 기기의 공간 이해 기능을 고도화하는 방향으로 연구를 이어가겠다”라고 말했다.
경상국립대(총장 권진회)는 IT공과대학 컴퓨터공학부 이수원 교수 연구팀(증강인지 및 확장경험 연구실, APEX)이 일반 카메라 영상만으로 주변 사물과 사물 간 관계를 파악하는 3차원 장면 이해 인공지능(AI) 기술을 개발했다고 밝혔다.별도의 깊이 센서 없이도 공간을 이해할 수 있어 일반 카메라를 쓰는 로봇과 증강현실 기기에 활용될 수 있다는 설명이다.로봇이 주변 공간을 이해하려면 사물을 구별하는 것뿐 아니라 '의자가 책상 옆에 있다', '물건이 선반 위에 놓여 있다'와 같은 관계까지 파악해야 한다. 이처럼 사물과 그 관계를 연결해 공간을 구조적으로 표현하는 기술이 ‘3차원 장면 그래프(3D semantic scene graph)’다.기존 연구는 주로 컬러 영상과 깊이 정보를 함께 수집하는 RGB-D 카메라와 정밀하게 복원된 3차원 데이터를 활용해 왔다. 이 방식은 풍부한 공간 정보를 제공하지만 전용 센서와 데이터 구축 과정이 필요해, 일반 카메라만 쓰는 환경에는 적용하기 어렵다는 한계가 있었다.연구팀은 이를 해결하기 위해 RGB-D 데이터로 학습한 AI의 지식을 일반 카메라(단일 카메라, monocular) 기반 AI에 전달하는 ‘교차 모달 지식증류(cross-modality knowledge distillation)’ 기술을 제안했다. 깊이 정보가 풍부한 데이터를 학습한 ‘교사 모델’이, 일반 카메라 영상과 비주얼 SLAM(카메라 영상으로 카메라 위치를 추정하면서 주변 공간의 지도를 만드는 기술)으로 생성한 3차원 데이터를 쓰는 ‘학생 모델’의 학습을 돕는 방식이다. 숙련된 선생님이 가진 지식을 학생에게 전수하는 것과 비슷하다.핵심은 서로 다른 센서에서 얻은 데이터의 차이를 고려하면서 필요한 지식을 전달하는 데 있다. 연구팀은 사물 종류별 학습 특성, 사물 간 관계, 입력 데이터의 특성 차이를 각각 다루는 세 가지 지식증류 모듈을 설계했다. 일반 카메라로 얻은 불완전한 공간 정보를 보완하고, 사물과 관계를 파악하는 데 필요한 정보를 학습하도록 한 것이다.연구팀은 다양한 실험 조건에서 성능을 분석하고 각 모듈의 기여도를 평가했다. 그 결과 교사 모델의 지식을 전달하는 방식이 일반 카메라 기반 3차원 장면 그래프 예측에 효과적임을 확인했다. 이번 연구는 학습 과정에서는 깊이 정보를 활용하되 실제 활용 단계에서는 별도의 깊이 센서 없이 일반 카메라만으로 3차원 장면을 이해하는 방법을 제시했다. 향후 일반 카메라를 사용하는 로봇과 증강현실 기기 등의 공간 이해 기능을 고도화하는 데 활용될 수 있다.이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의 AI최고급신진연구자지원(AI스타펠로우십지원) 사업, 중소벤처기업부의 경남 제조 특화 AI대전환(지역주도형 AI대전환) 사업의 지원으로 수행됐으며, 그 결과는 'Enhancing monocular 3D semantic scene graph prediction via cross-modality knowledge distillation'(제1저자 배지호)이라는 제목으로 엘스비어(Elsevier)가 발행하는 인공지능 및 패턴인식 분야의 권위 있는 국제학술지 《Pattern Recognition》(IF 9.1, JCR 전기·전자공학 분야 상위 6.9%, 2025 JCR 기준)에 온라인 게재됐다. 이 논문은 《Pattern Recognition》 2027년 3월호에 수록될 예정이다.이수원 교수는 “로봇이 일상 공간에서 사물과 그 관계를 이해하려면 고가의 전용 센서에 의존하지 않는 기술이 필요하다고 보고 연구를 시작했다. 이번 연구는 학습 단계에서 깊이 정보를 활용하되, 실제 활용 단계에서는 일반 카메라만으로 사물과 사물 간 관계를 이해할 수 있는 길을 제시했다는 데 의미가 있다. 앞으로 일반 카메라를 사용하는 로봇과 증강현실 기기의 공간 이해 기능을 고도화하는 방향으로 연구를 이어가겠다”라고 말했다.