팀원 & 담당파트

분석 목표

미국 공용 수어 ASL 동작을 텍스트로 번역하는 프로그램으로 
유아부터 어린이들에게 도움되는 수화 교육 플랫폼

분석 방법

- 데이터 전처리
- 미디어 파이프 프레임을 이용한 손의 좌표 추출
- 데이터 모델링
- 데이터 증강 
- 웹캠으로 훈련된 모델로 실시간 수어 동작 인식

분석 결과

- 한 손에 x, y, z 축 21개씩 총 63개의 좌표 값을 지니는 좌표 
- mediapipe 로 csv 를 최종파일로 만듦
- 단순한 Dense 층으로 구성된 모델로 훈련을 했더니 좋은 성능을 가짐
- 가장 좋은 성능을 보인 Random Forest로 모델을 구성
- 웹캠에서 수어 동작을 하면 텍스트로 바뀌어짐 
- TTS 모델을 사용해 텍스트를 음성으로 바꿈

사용기술 및 개발환경

- 데이터 출처 및 수집방법 : Kaggle, 직접 손을 촬영
- 개발도구 :  JupyterNotebook, Visual Studio Code
- 개발언어 및 프레임워크 : Python, CSS, JS,  html, Mediapipe, Django
- 협업툴 :  git, notion
- 배포 : AWS