GPT-4o 기반 맞춤형 견과류 추천과 YOLO Vision을 활용한 협동로봇 자동 배식 시스템

프로젝트 유형: 두산로보틱스 ROKEY Bootcamp · 5인 팀 프로젝트

개발 기간: 2026.04.30 – 2026.05.13

Tech Stack: Python · ROS 2 Humble · YOLO · OpenCV · PyTorch · GPT-4o · LangChain · Docker · Supabase

Hardware: Doosan M0609 · OnRobot RG2 Gripper · Intel RealSense · Arduino Conveyor

GitHub Repository

https://github.com/sunga4017/Vision-Nut-Picking-Cobot

01. Background & Problem

Project Background

본 프로젝트는 사용자의 자연어 입력을 기반으로 맞춤형 견과류를 추천하고, Vision AI와 협동로봇을 활용하여 실제 배식 및 전달 과정까지 자동화하는 시스템입니다.

기존의 단순 Pick-and-Place 시스템에서 한 단계 나아가, 사용자의 상황을 이해하고 필요한 물체를 선택한 뒤 로봇이 직접 작업을 수행하는 서비스형 로봇 시스템을 구현하고자 했습니다.

특히 아몬드, 호두, 캐슈넛, 피스타치오 등 서로 다른 형태와 크기를 가진 견과류를 대상으로 실제 객체 탐지와 로봇 조작을 수행했습니다.

Technical Challenges

이 시스템을 구현하기 위해 다음과 같은 문제를 해결해야 했습니다.

• Small Object Detection: 크기가 작고 형태가 불규칙한 견과류의 종류와 위치 구분
• Orientation-Aware Detection: 회전된 견과류의 방향을 고려한 객체 위치 추정
• Natural Language Understanding: 비정형적인 사용자 발화에서 직업과 포만감 정보를 추출하여 추천 결과 생성
• Human–Robot Interaction: 단순 명령 입력을 넘어 질문과 응답이 이어지는 음성 인터랙션 구성
• System Integration: Vision, 음성 AI, 데이터베이스, 협동로봇, 컨베이어 간 데이터 흐름 연결