모야뭐야

업데이트:

1. 주제

로고

  • 아이가 직접 찍은 사진을 AI를 통해 재미있게 공부 할 수 있는 서비스

  • 모야뭐야

2. 목적

  • 코로나로 인한 재택 학습 증가

  • 아이 스스로 공부에 대한 흥미 감소

  • AI 서비스

3. 사용 언어 및 장비

  • Front-end : Vue.js, Vuetify

  • Back-end : Djanngo, MySQL, gunincorn

  • Deep Learning : Tensorflow

  • 아키텍처 모야뭐야아키텍처

4. 프로젝트 기간 및 인원

  • 1차 : 2020-03 ~ 2020-05 (6주)

  • 2차 : 2020-05 ~ 2020-06 (7주)

  • 1차 : 6인, 2차 : 5인

5. 프로젝트 내용

1차

  • Mask R CNN을 이용한 물체 인식

  • 인식한 물체들을 저장하여 단어장 기능(한글)

  • 단어장 속 단어 그림 퀴즈

  • 단어장 속 단어 따라 쓰기

  • 칭찬 스티커 기능

  • 부모 아이디 안에 아이들 추가

2차

  • 이미지 캡셔닝 이용하여 사진이 묘사하는 문장 추출

  • 생성된 문장을 저장하여 받아쓰기에 사용

  • TTS(Text To Speech) API 사용하여 단어와 문장의 음성 서비스 제공

  • 구글 및 파파고 번역 API 사용하여 문장 번역

  • 구글 Vision API 사용하여 손 글씨 인식(받아쓰기)

  • 멀티 라벨링을 이용한 심리 테스트 기능(집 그림을 이용)

  • 그림판 기능

  • 갤러리(그림판에서 그린 그림)

  • 아이 관리 페이지에서 심리 테스트 결과 확인

6. 역할

  • 팀 구성

  • AWS 환경 구축 및 nginx 세팅

  • Mask R CNN

  • 멀티 라벨링

7. 후기

이번 프로젝트는 1차(특화), 2차(심화)로 아이디어를 이어서 했다.

팀 구성에 있어서 약간의 문제가 있었지만 잘 넘어갔다.

1차 프로젝트에서는 딥러닝 프로젝트를 처음 진행하다 보니 기능적인 부분이 많이 없었다.

2차 프로젝트부터는 여러 딥러닝과 API를 사용하여 기능적인 부분을 추가하였다.

이번 프로젝트에 쓰인 딥러닝은 차차 올려야겠다.

참고