한기대·현대자동차, ‘음성·시각 융합’ 피지컬 AI 로봇 기술 개발 성공

최근 국내외 제조 현장은 노동자 고령화에 따른 숙련공 부족과 생산 자동화 확대라는 과제를 동시에 마주하고 있다. 

작업자의 피로도를 줄이면서도 소비자의 다양해진 요구에 즉각 대응할 수 있는 ‘유연한 생산 공정’ 확보가 핵심 과제로 떠오르는 가운데, 한국기술교육대학교(총장 유길상) 컴퓨터공학부 김원태 교수 연구팀이 현대자동차와 공동 연구를 통해 해법 마련에 나섰다.

김 교수 연구팀은 현대자동차 자동화설계팀(최정호 팀장)과 수차례 현장 중심 미팅을 진행하며 실제 제조 현장의 요구를 반영한 기술 요건을 도출했고, 그 결과 작업자의 음성 명령과 로봇의 시각 정보를 실시간으로 결합해 복잡한 작업을 자율 수행하는 ‘작업자 협동형 Physical AI 로봇 기술’ 개발에 성공했다. 

해당 기술은 최근 현대자동차 E-FOREST 테크데이 2025에서 성공적으로 시연되며 큰 관심을 모았다.

시연 과정은 직관적이었다. 작업자가 “아반떼 경첩을 집어서 박스 안에 넣어줘”라고 말하자, 로봇의 비전 센서가 작업 환경을 스캔하고 AI(LMM)가 음성과 이미지 정보를 동시에 분석해 작업자의 의도를 즉시 파악했다. 

AI는 ‘요청하신 작업을 수행합니다’라고 피드백을 전한 후 최적의 자세와 경로를 계산해 로봇 팔 이동과 파지 동작을 수행, 작업을 완수했다. 이는 공정 유연성과 작업자 편의성을 동시에 충족한 국내 첫 사례로 평가된다.

현장 작업자는 “복잡한 조작법을 배울 필요 없이 말하듯 로봇과 소통할 수 있다는 점이 인상적”이라며 “단순 작업을 로봇이 대신하면 근골격계 부담 없이 품질 검수 등 고도화된 업무에 집중할 수 있어 작업 환경 개선 효과가 크다”고 긍정적으로 평가했다.

현대자동차 측도 “이번 기술은 소프트웨어 정의 공장(SDF)을 지향하는 현대차의 지능형 스마트 제조 전략과 완전히 맞닿아 있다”며 “작업자와 로봇이 실시간으로 협력하는 인간 중심 공장을 구현하는 것이 목표”라고 밝혔다.

김원태 교수는 “이번 성과는 피지컬 AI가 실제 복잡한 공정에 적용될 수 있는 신뢰성과 안정성을 보여준 기술적 진전”이라고 의미를 부여했다. 

현대자동차 최정호 팀장 역시 “SDF 시대의 피지컬 AI 경쟁력을 선점하기 위해 한국기술교육대와의 협력 연구를 더욱 강화하겠다”고 말했다.

현대자동차는 이번 기술을 파일럿 라인에 우선 적용한 뒤 안정화 단계를 거쳐 실제 생산 공정으로 확대 도입하는 방안을 검토 중으로 알려졌다.