ScholarWorks@성균관대학교

초록

모바일 기기는 필수적임에도 불구하고 핸즈프리 환경에서 접근성 장벽을 초래하는데, 이는 기존의 시선 추적 및 음성 제어 솔루션이 세밀한 UI 조작에 필요한 근본적인 정밀성과 적응성이 부족하기 때문이다. 본 연구는 이러한 한계를 해결하는 대규모 언어 모델 기반 음성 제어 시스템인 Speak2UI를 제안한다. 첫째, 음성 기반 접근법을 통해 정밀한 화면 조작을 가능하게 하여 이론적으로 기존 모달리티의 제약을 극복한다. 둘째, 사전 학습된 언어 모델을 활용하여 애플리케이션별 학습 없이 맥락 인식 명령 해석을 수행하며, 한국어와 영어를 포함한 다국어 처리를 지원한다. 셋째, 상용 시스템의 고수준 기능을 넘어 저수준 UI 요소의 직접적인 음성 제어를 제공한다. 포괄적인 평가를 통해 본 연구는 모바일 UI 조작을 위한 LLM 기반 음성 제어의 실현 가능성과 잠재력을 입증한다. 본 연구는 기존 접근성 기술의 근본적인 한계를 해결하는 새로운 접근법을 제시하며, 대규모 언어 모델을 핸즈프리 모바일 상호작용에 적용하는 실용적 과제와 기회에 대한 실증적 통찰을 제공한다는 점에서 기여한다.

키워드