ICT 융합 프로젝트 공모전 우수상

메카넘휠과 2D lidar를 이용한 자율주행 로봇

글 | 포항공과대학교 이도현

1. 심사평
칩센 자동차의 자율 주행을 위해서도 Lidar와 Radar를 이용한 기술들이 매우 많은 관심과 연구가 이루어지고 있는 것으로 알고 있습니다. 시연 동영상내에서도 경로를 잘 탐색한듯 하지만 마지막에 충돌이 발생하는 부분을 확인 가능한데, 이러한 부분을 개선 가능한 다른 솔루션도 함께 적용하면 시뮬레이션 레벨을 넘어서는 매우 훌륭한 작품이 만들어 질 것으로 보입니다.
펌테크 LIDAR를 활용한 자율주행 로봇 작품으로 전체 하드웨어 및 소프트웨어 시스템 연동을 위한 기획의도, 기술 구현 방안 및 작품의 하우징 구성 등이 인상적이었으며 기술 구현도, 완성도 등에서 상당히 우수한 작품으로 생각합니다.
위드로봇 메카넘 휠을 쓴 부분을 제외하곤 전형적인 이동로봇이라 창의성 부분이 아쉽습니다. 완성도는 높이 평가합니다.
뉴티씨 각종 센서로 장애물 등을 파악하여 회피할 수 있었는데, 비용만 충분하다면, 보다 많은 센서를 사용하여, 아무리 목적지가 벽 안에 있다고 해도 부딪히지 않았을 것 같아 개선의 여지가 보입니다. 만들다보면, 기계적인 부분에서도 많은 비용이 발생하고, 배선 부분이나 통신 부분에서도 어려움이 많은데, 조금 더 노력하면 더 좋은 작품이 탄생할 것 같습니다.

2. 작품 개요
본 프로젝트인 ‘메카넘휠과 lidar를 이용한 자율주행 로봇’ slam기술을 적용하여 자율주행을 구현하였다. slam이란 Simultaneous Localization and Mapping의 약자로, 동시에 로봇의 위치추정 및 주변 환경 지도 작성을 수행하는 기술이다. 본 프로젝트에서는 2d lidar를 통해 주변 환경을 pointcloud 데이터로 받아와, 메카넘휠의 odometry와 결합하여 map을 생성한다. 생성된 map을 바탕으로 출발점에서 목적지까지 최단 경로를 생성하여, 로봇이 그 경로를 따라 이동하는 방식으로 자율주행이 이루어진다.
단순히 로봇 주변에 장애물이 일정 이상 가까워지면 멈추고 다른 방향으로 가는 것이 아니라, lidar가 닿는 전 부분에서 주변의 모든 구조를 인식하고, 그 구조 위에서 목적지까지 장애물을 피해서 갈수 있는 최단 경로를 생성한 후에 그 경로를 따라 로봇이 움직이는 것이다. 이러한 작업이 실시간으로 진행된다.
또한 일반적인 자율주행 플랫폼과 달리, 만들어진 지도를 자율주행에만 사용하고 버리는 것이 아니라. 그 데이터를 TXT파일로 저장해 도출하여 주행이 끝나고 시스템이 종료된 뒤에도 만들어진 지도를 확인할 수 있는 기능을 가지고 있다.
해당 자율주행 플랫폼은 식당 서빙 로봇, 로봇청소기, 물류창고 로봇 등등 바퀴를 사용하는 플랫폼이라면 모두 적용할 수 있으므로, 활용성과 적용성이 매우 높다고 볼 수 있다.

3. 작품 설명
3.1. 주요 동작 및 특징
3.1.1. 전방향 이동 가능
메카넘 휠을 기반으로 플랫폼을 제작하였다. 메카넘휠의 특징 상, 플랫폼(차)이 회전하지 않고도 모든 방향으로 이동할 수 있다는 장점이 있다. 따라서 일반적인 조향장치를 가진 플랫폼이 가지 못하는 경로도 본 프로젝트의 메카넘휠 플랫폼은 따라 갈 수 있다는 장점이 있고, 이는 자율주행에 큰 이점이 될 수 있다.

3.1.2. 주변 환경 인식 후 지도생성 가능

본 프로젝트는 ydlidar X2L을 사용하여 주변 환경을 pointcloud로 받아온다. 받아온 pointcloud들을 메카넘휠의 wheel odometry와 합쳐 주변환경의 지도를 생성한다. 주변환경의 정보를 다음 페이지 테스트 환경과 지도로 수집할 수 있다는 그 자체로 장점이 될 수 있고, 저렇게 실시간으로 제작되는 지도는 자율주행을 위한 경로탐색 알고리즘을 담당하는 python코드로 전송되어 로봇이 목표지점까지 갈 수 있도록 하는 경로를 생성하는 데 이용된다.

3.1.3. 로봇이 갈 수 있는 최단경로 정보 생성 가능
본 프로젝트의 로봇은 얻은 지도 데이터를 바탕으로 로봇이 목표지점까지 갈 수 있는 최단 경로를 실시간으로 생성한다.
최단거리 생성을 우선으로 하되, 벽에 부딪힐 가능성을 줄이고자 벽과는 반드시 일정 거리를 두도록 프로그래밍 하였다. 경로탐색에 쓰인 알고리즘은 A* algorithm이다. 실시간으로 전송되어 오는 지도마다 경로탐색을 새로 실시하기 때문에, 주행 중 이전 지도에는 없던 장애물이나 벽을 감지하게 되면, 그에 따라 새로운 경로를 생성해낸다. 따라서 목표지점까지 장애물과 부딪히지 않으면서 최단 경로로 도달할 수 있다.

3.1.4. 생성된 최단경로를 바탕으로 로봇의 자율 주행 가능
A* 알고리즘을 통해 얻은 경로를 로봇이 그대로 따라갈 수 있는 능력을 가지고 있다. 자세한 원리는 후에 다른 목차에서 설명할 것이다. 현재 로봇의 목적은 자율주행이므로 A*알고리즘이 만든 경로만을 따라가지만, 설정을 바꾼다면 사람이 지도를 보고 그린 경로를 따라가게도 만들 수 있다.
본 프로젝트의 주요 동작은 자율주행이다. 라인트레이서나 트래커와 다르게 어떠한 표식이 없어도 스스로 주변환경을 인식하여 외부의 도움 없이 목적지까지 도달 할 수 있으며, 일반적인 자율주행과 다르게 메카넘휠을 사용하였기 때문에 모든 경로로 이동할 수 있는 장점이 있다. 또한, 주 부품이 스텝모터 4개, 저가형 2d lidar 하나, jetson nano로, 굉장히 저가로 자율주행을 구현할 수 있는 플랫폼을 제작하였다는 점에서 의미가 있다.

3.1.5. 로봇을 직접 조종하여 map data 얻고, 그 데이터를 txt파일로 저장하는 기능
자율주행 뿐 아니라, 사람이 직접 조종하여 환경의 지도 데이터를 얻고, 이를 txt파일로 저장하여 시스템이 꺼진 뒤에도 해당 공간의 지도 데이터를 저장해둘 수 있다. 해당 txt파일은 본 프로젝트에서 만든 파이썬 코드로 시각화할 수 있다.

3.2. 개발 환경
3.2.1. Linux (ubuntu 18.04)
모든 작업은 jetson nano의 ubuntu 18.04 LTS에서 이루어졌다.

3.2.2. arduino
로봇이 Vx, Vy, W만큼 이동하라는 명령을 받았을 때, 이를 메카넘휠 odometry 계산을 통해 각각의 스텝모터가 얼만큼의 각속도로 회전해야 하는지를 계산해주고, 그 계산값을 스텝모터에 적용해 실제로 돌게 하는 부분을 arduino IDE에서 작업하였다.

3.2.3. python
lidar센서에서 pointcloud데이터를 읽어오는 작업과, 로봇이 얼마나 이동했는지를 계산해 mm단위로 그 값을 반환하는 작업, 경로탐색 알고리즘인 A* 알고리즘을 python 코드로 구현하였다.

3.2.4. C++
python 코드에서 생성된 로봇의 Vx, Vy, W값을 받아와 아두이노로 그 값을 넘겨주는 부분을 담당하는 코드를 C++환경에서 구현하였다.

3.2.5. ROS melodic
위에서 언급한 모든 알고리즘들을 ROS를 통해 하나로 연결하여 자율주행이 가능하도록 만들었다. python, C++, arduino(serial) 코드들을 모두 ros node로 만들었으며, python코드에서 생성된 로봇의 Vx, Vy, W값을 ros topic을 통해 C++코드로 넘겨주었고, 마찬가지로 그 값들을 ros topic을 통해 아두이노로 전송하였다.

3.3. 전체 시스템 구성
3.3.1. 하드웨어
4개의 스텝모터에 각각 메카넘휠이 부착되어 있고, 각 스텝모터는 스텝모터 드라이버에 연결되어 있으며, 그 드라이버는 아두이노 우노에 연결되어있다. 아두이노 우노와 2d lidar는 jetson nano에 usb로 연결되어 있다. 그림으로 간단하게 나타내면 다음과 같다.

3.3.2. 소프트웨어
본 프로젝트의 자율주행 기능에는 총 4개 코드로 이루어져 있으며 talker.py, A_star.py, ladarbot_node.cpp, ladarbot_subnode.ino가 그것이다.
talker.py는 로봇이 현재위치를 실시간으로 계산하는 기능, lidar센서에서 pointcloud데이터를 얻어오는 기능, 얻어온 pointcloud데이터와 로봇의 현재위치 데이터를 기반으로 지도를 생성하는 기능, A_star.py내의 함수를 호출해 매개변수로 지도를 전달하여 A_star.py로부터 로봇이 이동해야 하는 경로를 받아오는 기능, 해당 경로를 주행하기 위해 로봇이 움직여야 하는 Vx, Vy, W를 생성하는 기능이 구현되어있다.
A_star.py는 talker.py에서 생성한 map을 받아와 로봇이 이동해야 하는 경로를 생성하여 그 경로를 다시 talker.py로 반환한다. A_star.py는 파이썬 모듈로써, talker.py에서 import하여 사용한다.
ladarbot_node.cpp는 talker.py에서 생성한 Vx, Vy, W를 ROS topic을 통해 받아와, ROS topic을 통해 ladarbot_subnode.ino로 그 값을 전송한다. 통신을 위한 매개코드라고 생각할 수 있다.
ladarbot_subnode.ino는 ladarbot_node.cpp에서 ros topic을 통해 전송해준 Vx,Vy,W를 받아와 로봇이 Vx,Vy,W만큼 움직이기 위해 각각의 스텝모터가 얼마만큼의 각속도로 회전해야 하는지를 계산한다. 그 값을 각각의 스텝모터에게 전달하여 로봇이 움직이도록 한다.
A_star.py와 talker.py간 연결을 제외한 모든 코드들간 연결은 ROS topic을 이용해 서로 통신한다.

본 프로젝트의 지도 저장 기능을 구현하는 코드는 크게 5가지이다. ladarbot_node.cpp, ladarbot_subnode.ino, lidar.launch, lidar_range_node.cpp, slam_map.py 가 그것이다. 이중 ladarbot_node.cpp, ladarbot_subnode.ino는 자율주행에 사용한 코드와 동일하다. lidar.launch는 ydlidar를 제작한 회사에서 lidar의 데이터를 얻을 때 쓰라고 공유한 오픈소스이며, 지도데이터를 얻어와 txt파일로 만드는 데는 직접 짠 talker.py 대신 해당 오픈소스를 사용하였다. lidar_range_node.cpp는 lidar.launch에서 보내오는 map데이터를 읽어와 플랫폼의 odometry정보와 합쳐 지도정보를 만들고, 이를 txt파일로 내보내는 역할을 하는 코드이다. 마지막으로 slam_map.py는 txt파일을 읽어 지도를 시각화하는 코드이다.

4. 단계별 제작 과정
4.1. 하드웨어
하드웨어의 경우 본 공모전을 발견하기 전부터 만들어 오고 있었고, 때문에 만드는 과정에서의 사진이 남아 있지 않다. 본 프로젝트의 하드웨어는 메카넘휠 기반 모바일 로봇이며, 정확한 odometry(자기위치 추정)이 가능할 수 있도록 회전수와 회전속도를 정확히 컨트롤 할 수 있는 스텝모터를 사용하였다. 로봇에 들어가는 컴퓨터는 jetson nano를 사용하였다. 기본적인 하드웨어는 알루미늄 프레임을 기반으로 제작하였고, 배터리 고정하는 부품, lidar고정용 부품, 바퀴 보호개 등은 직접 설계하여 3d프린터로 출력하여 사용하였다. 하드웨어 제작의 난이도는 굉장히 낮고, 본 프로젝트의 핵심은 자율주행 알고리즘 및 ROS시스템 사용이므로 하드웨어는 간단하게 설명하였다.

4.2. 프로그래밍
4.2.1. 자율주행
하드웨어 제어
하드웨어 제어는 ladarbot_subnode.ino라는 arduino IDE코드가 담당한다. 해당 코드는 로봇 몸체가 움직여야할 속도와 방향을 알려주는 Vx, Vy, W값을 받아와서 그 움직임을 구현할 수 있게 각각의 스텝모터가 얼마만큼의 각속도로 회전해야 하는지를 구한다. 그 후 그 값들을 스텝모터들에게 입력하여 모터가 움직일 수 있도록 한다.
본 프로젝트의 로봇은 메카넘 휠을 이용해 이동한다. Vx, Vy, W만큼 로봇이 이동하였을 때, 그 로봇의 4개의 메카넘휠이 얼마만큼의 각속도로 회전하는지를 행렬 계산을 통해 변환 수식을 구해낼 수 있다. 「메카넘휠 기반의 전방향 이동로봇 슬립에 관한 해석 및 실험적 검증」 김설하, 이청화, 주백석, 「메카넘휠 기반의 전방향 이동로봇 슬립에 관한 해석 및 실험적 검증」, 한국정밀공학회지 제 37권 제 1호, 2020.01.35, pp.35-42. 논문을 참고하였다. 4개의 모터의 각속도를 각각 θ1, θ2, θ3, θ4라 하면, 로봇 자체의 속도 Vx, Vy, w와 θ1, θ2, θ3, θ4사이 관계는 다음과 같이 나타나진다.

위 행렬식을 계산하여 아두이노 코드로 작성하면 다음과 같이 나타난다.

motorRF, motorRB, motorLF, motorLB함수는 각각 오른쪽 앞, 오른쪽 뒤, 왼쪽 앞, 왼쪽 뒤 스텝모터를 제어하는 함수이며. w1, w2, w3, w4가 각각 θ1, θ2, θ3, θ4이다.
Stop함수는 스텝모터에 전류를 차단하는함수인데, 멈춰 있을 때에는 모터가 쉴 수 있도록 하기 위해 삽입하였다. motorRF 함수의 형태는 다음과 같다.

motorRB, motorLF, motorLB함수 역시 유사한 형태이다.
float num = ((2*PI)/1600)*(1000000/w); 은 사용하는 스텝모터가 1600스텝일 때 한바퀴 회전하기 때문에, 그리고 스텝간 시간간격이 초단위가 아닌 microsecond 단위이므로 다음과 같이 나타내 주었다. 매개변수로 받아오는 current는 아두이노의 micros() 함수를 통해 측정되는 현재 시간이다.(microsecond단위로 반환한다)
다음은 ROS를 통한 통신 부분이다. ladarbot_node,cpp에서 Vx, Vy, w값을 geometry_msgs/Twist 메시지를 통해 ArduinoTopic이라는 Topic name으로 전달받는다.

ArduinoTopic 토픽으로 값이 전송될 때마다 message함수를 호출한다. message함수의 구조는 다음과 같다.

loop함수 내에서의 함수호출 및 실행은 다음과 같다.

lidar data reading & ploting & 로봇 현재위치 계산
lidar센서에서 데이터를 얻는 작업, 로봇의 현재위치를 계산하고 lidar데이터와 계산된 현재 위치를 바탕으로 지도를 만드는 작업, 그리고 만들어진 지도와 수신한 경로를 ploting 해 주는 작업을 talker.py에서 진행한다. 우선 lidar로부터 센서데이터(pointcloud) 값을 얻는 부분의 코드이다.

사용하는 ydlidar_X2L의 스펙에 맞게, serial통신 baudrate를 115200으로 설정하였다.
다음은 로봇의 현재위치를 계산하고 lidar데이터와 계산된 현재 위치를 바탕으로 지도를 만드는 작업, 그리고 만들어진 지도와 수신한 경로를 ploting 해 주는 작업의 부분이다. 서로가 긴밀하게 연결되어 있어 따로따로 소개하기 힘들어 한번에 소개한다.
우선 로봇의 현재위치를 계산하기 위하여 함수가 돌아가는 시간을 한번의 loop마다 몇 초가 걸리는지를 계산한다. dt = (p.timer – p.current_time), p.current_time = time.time()과 함수 끝의 p.timer = time.time() 부분이다. 한 루프의 걸린 시간을 측정하는 이유는, 로봇이 Vx, Vy, w로 움직였을 때, 이동거리와 회전각도는 각각에 걸린 시간을 곱하는 형태로 구해지기 때문이다. 현재 위치를 계산하는 부분은 다음과 같다.

다음은 로봇 주변 공간을 지도로 만들 때, 그 공간을 격자화시키기 위한 코드이다. 로봇이 이동하는 공간이 격자화 되어 있어야 후에 로봇의 이동경로를 생성할 수 있다. 격자 하나를 10cm로 설정하였다.

다음으로 lidar에서 받아온 pointcloud데이터와 현재위치 데이터를 얻어와 지도를 만드는 코드이다. 이때, pointcloud의 점의 거리가 현재 설정되어있는 격자공간보다 더 큰 거리를 가진다면, 격자공간을 넓히는 작업을 시행한다. 해당 부분의 코드이다.

다음은, 지도를 형성하는 점들이 하나의 격자에 여러 개가 찍힐 때, 그 격자만 벽으로 인식하게 하는 코드이다. 이 부분의 코드를 거치기 전에는 pointcloud데이터에 어떠한 가공도 하지 않은 지도였지만, 이 작업 후에는 격자에 맞게 지도가 그려진다.

다음으로는 A*알고리즘을 구현한 A_star.py 파이썬 모듈에 격자화된 map데이터를 넘겨주어 로봇이 움직여야 할 경로를 받아오고, 그 경로와 격자화된 map을 실시간으로 plot하는 부분이다.

다음으로는 생성된 경로에 맞게 로봇이 움직여야 할 Vx, Vy를 계산하는 부분이다. 경로는 계속해서 업데이트 되기 때문에, 현재 위치의 바로 다음 경로만을 파악하여 그 방향으로 속도를 결정한다. 현재 공간은 모두 격자화 되어있기 때문에, 현재 위치에서 로봇이 이동할 수 있는 방향은 총 8가지(위, 오른쪽, 왼쪽, 아래 오른쪽 위, 오른쪽 아래, 왼쪽 위, 왼쪽 아래)이다. 생성된 경로에서 현재위치와 가장 가까운 경로의 위치를 파악하고, 그 방향으로 속도를 결정한다. ex: 다음 경로가 오른쪽 위라면 Vx = 0.04, Vy = 0.04로 설정(0.04m/s로 로봇이 움직이게 만들어 놓음)
해당 코드이다.

다음으로, 생성된 Vx, Vy, w (메카넘휠이므로 로봇 몸체의 회전 없이도 전 방향으로 이동할 수 있어 w를 따로 계산 하지는 않음)를 ros topic을 통해 ladarbot_node.cpp로 전송하는 코드이다.

이 외 다른 ros 송.수신 관련 코드는 talker.py의 전체 코드에서 확인할 수 있다.

4.2.2. 최단 경로 찾기 알고리즘 – A star algorithm
A* 알고리즘이란 시작점과 도착점이 주어져 있을 때, 그 사이 벽, 장애물 등을 피해 최단 경로를 만들어주는 알고리즘이다. 원리를 간단하게 설명하자면, 격자화되어있는 map이 제공되었을 때 우선 어느 부분이 이동할 수 없는 지역이고 어느 부분이 이동가능한 지역인지를 파악한다. 본 프로젝트는 talker.py에서 격자화된 지도를 만들며 벽이 있는 부분의 격자에는 1을, 그렇지 않는 부분에는 0을 저장하여 구분하였다. A*알고리즘을 통해 어느 사각형(격자)들을 거쳐야 하는지를 파악함으로서 길을 찾는다. 경로가 발견되면 목표 도달때까지 사각형에서 다음 사각형의 중심으로 이동한다. 이 중심점들을 노드라고 부른다.
시작점을 열린 목록이라는 일종의 배열에 저장한다. 시작점에 인접한 이동불가지역을 무시하고, 이동가능한 사각형들을 열린 목록에 저장한다. 그 후 열린 목적에서 시작점을 제거하고, 다시 볼 필요 없는 닫힌 목록에 넣는다. 열린목록에 저장되어있는 사각형들은 부모 노드로 시작점을 가리키도록 한다. 현재 열린 목록에 존재하는 사각형들 중에 하나를 선택하여 위 과정을 반복하는데, 이때 사각형을 선택하는데 기준이 되는 것이 비용함수이다. 비용함수는 다음과 같이 이루어져 있다.

F = G + H

G는 시작점으로부터 현재 사각형까지의 경로를 따라 이동하는데 소요되는 비용이다.
H는 현재 사각형에서 목적지 B까지의 예상 이동 비용이다. 사이에 벽등으로 실제 거리는 알지 못하고, 그들을 무시하고 예상 거리를 산출한다.
F는 현재까지 이동하는데 걸린 비용과 예상 비용을 합친 것이다.
이렇게 구해진 비용함수를 통해 가장 작은 F를 가진 사각형을 선택한다. 이렇게 선택된 사각형을 열린 목록에서 빼고 닫힌 목록에 저장한다. 그 후 현재 사각형에서 인접한 사각형을 확인한다. 벽 등 이동불가사각형은 무시하고, 열린목록에 주변 사각형이 없다면 열린 목록에 추가한다. 이때 열린 목록에 추가된 사각형들은 현재 사각형을 부모로 설정한다. 인접한 사각형이 이미 열린 목록에 존재한다면 그 사각형과 선택된 사각형 중 어느 것의 G비용이 더 낮은지 확인한다. 기존 선택된 사각형의 G비용이 더 낮다면 그대로 두지만, 인접한 사각형의 G비용이 더 낮다면 인접 사각형들의 부모를 새로운 사각형으로 바꾼다. 마지막으로 그 사각형의 F와 G를 다시 계산한다. 이러한 과정을 반복한다. 이렇게 길을 찾는 도중 목표 사각형을 열린 사각형에 추가하였을 때, 또는 열린 목록이 비어있게 될 경우(길을 못찾은 경우) 탐색을 중단하고 목표 사각형으로부터 각각의 사각형의 부모사각형을 향하여 시작사각형에 도달할 때까지 거슬러 올라가 경로를 저장한다.

다음은 이를 파이썬으로 구현한 코드이다. 우선 node를 만드는 클래스를 소개하겠다. 각 사각형(노드)의 F,G,H값, 부모노드를 저장할 수 있는 공간을 만들어 두었다.

다음으로 A*알고리즘의 구현 코드이다.

코드 중간에

Vx, Vy, w 값을 받아와 아두이노로 넘겨주는 코드
원래 Vx,Vy,w를 생성하는 talker.py에서 아두이노로 바로 값을 전달해주는 것이 가장 간편하지만, 그 과정에서 계속해서 오류가 발생해 C++파일을 매개체로 하여 ROS로 연결하였다. 해당 역할을 하는 코드는 ladarbot_node.cpp이며, talker.py에서 Vx, Vy, w값을 ros topic을 통해 받아와 아두이노와 연결을 해주는 serial노드로 값을 전달한다. 다음은 해당 코드이다.

ROS 통한 연결 및 실행
앞서 소개했듯, A_star.py와 talker.py간 연결을 제외하면 모든 코드의 연결이 ROS로 연결되어 있다. talker.py는 ros_python package안에 존재하고, ladarbot_node.cpp는 ladarbot package안에 존재한다. 아두이노와 cpp파일 간 rosserial 연결을 도와주는 serial_node.py는 rosserial_python package안에 존재한다.
실행하는 방법은 다음과 같다. 해당 명령어를 각각의 터미널 창에 입력하면 된다.

· sudo chmod a+rw /dev/ttyACM0 ->포트 사용을 위해 유저에게 읽고 쓰는 권한 제공
· roscore
· rosrun ladarbot ladarbot_node
· rosrun ros_python talker.py
· rosrun rosserial_python serial_node.py _port:=/dev/ttyACM0 _baud:=57600

4.2.3.사용자 조종을 통해 얻는 지도 데이터 txt저장 및 시각화
로봇 현재위치 계산
자율주행을 구현하는데에도 통신 매개체로 쓰인 ladarbot_node.cpp가 여기에서도 사용된다. 이전에는 설명 안 했지만 ladarbot_node.cpp에도 로봇의 odometry(현재위치)를 계산하는 코드 부분이 있다. 코드 실행시간을 받아와 Vx, Vy, w와 곱하여 실시간으로 로봇의 현재 위치를 계산해 ros topic으로 lidar_range_node.cpp로 odometry를 전송한다. ladar_node.cpp의 해당 부분의 코드이다.

mapdata를 저장한 txt파일 도출
ladar_node.cpp와 ydlidar 오픈소스인 lidar.launch에서 각각 전송해준 odometry와 lidar센서값(pointcloud)를 이용해 합쳐 map을 생성하고, 그 맵을 txt파일로 만들어 저장해주는 코드이다. 해당 작업은 lidar_range_node.cpp에서 이루어졌으며, 아래는 우선 odometry를 받아오는 코드이다.

다음은 lidar센서값을 lidar.launch에서 받아오는 부분의 코드이다.

다음은 두 정보를 합쳐 지도로 만든 뒤 txt파일로 내보내는 코드이다.

txt파일을 읽어 지도를 시각화하기
저장된 txt파일을 읽어 파이썬을 통해 시각화해주는 코드이다. 해당 작업을 한 코드는 slam_map.py이며, 설명할 부분이 거의 없는 간단한 코드이기 때문에 후에 전체 코드만 공개하겠다. slam_map.py를 실행하기전, txt파일을 열어 파일의 끝에 end를 추가해주어야 한다.

실행하기
로봇을 조종하고 지도를 만들어 txt파일로 저장하기 위해서는 터미널 창에 다음과 같은 명령어를 입력해야 한다.

roslaunch ladarbot ladarbot.launch

ladarbot.launch는 ladarbot_node.cpp 및 아두이노 코드에 해당하는 ladarbot_subnode.ino, 그리고 로봇을 조종할 키보드 입력을 받아오는 코드를 한번에 실행하는 launch파일이다. 키보드 입력 받는 코드는 ros를 설치할 때 기본적으로 제공되는 파일이기에 따로 코드 설명을 하지는 않는다.
그 다음 다른 터미널 창을 열어 해당 명령어를 입력한다.

roslaunch ydlidar_ros lidar.launch

lidar.launch파일을 실행하는 명령이다.
다음으로 다른 터미널창을 열어 다음 명령어를 입력한다.

rosrun lidar_range lidar_range_node

해당 명령은 lidar_range_node.cpp파일을 실행하는 명령이다. 이 모든 명령을 실행하면 키보드의 I j l , u o m . 키로 로봇을 8방향으로 조종할 수 있게되며, 동시에 slam.txt파일이 생기며 그 파일안에 mapdata가 기록된다.
txt파일을 시각화하고 싶다면 slam_map.py가 있는 경로에 slam.txt 파일을 복사한 다음, 터미널창에 python slam_map.py를 입력한다. 그럼 시각화된 지도를 확인할 수 있다.

5. 실행 결과
5.1. 자율주행
목적지를 출발지로부터 x축으로 2.5m, y축으로 2.5m로 했을 때 동작 사진이다.

5.2. 생성된 지도 txt파일로 저장 및 시각화

5.3. 실행영상
실행영상을 추가 제출파일로 제출하였다. 해당 영상에서는 5.1에서처럼 로봇에 디스플레이를 연결한 것이 아닌, 영상 송수신기(브이젯 HDMI무선송수신기)를 통해 모니터로 화면을 띄웠다. 영상 마지막에 벽에 부딪히는 이유는 목적지를 출발점으로부터 x방향 2.5m, y방향 2.5m로 설정해 두었는데, 그 위치가 벽 속이여서 그러한 일이 발생한 것이다. 자율주행 자체에는 문제가 없다. 다만, 영상에서 보이는 정도의 거리는 문제없이 자율주행이 되지만, 주행시간을 늘리게 되면, 주행 중 zetson nano의 cpu가 다운되며 로봇이 정지하는 경우가 발생한다. A star 알고리즘 및 시각화알고리즘이 무거워 cpu다운이 일어나는 걸로 예상되며, 컴퓨터를 성능이 더 좋은 것으로 교체하면 해결될 문제로 보고 있다. 화면에 뜨는 map과 생성된 경로와, 로봇의 움직임을 함께 확인하면 된다.

6. 사용한 제품 리스트

2021 ICT 융합 프로젝트 공모전 우수상

일회용품을 사용하지 않는 친환경 자판기

(Eco-friendly Vending Machine)

글 | 대한상공회의소 서울기술교육센터 한승진, 김연진, 신상우, 유종선, 진민경

1. 심사평
칩센 최근에 여러 가지 형태로 무인음료 자판기가 설치되는 것으로 알고 있습니다. 이러한 무인 자판기는 기존과 같이 컵이 내장된 형태도 있지만, 작품과 같이 개인컵을 이용한 제품도 있는 것으로 알고 있습니다. 이미 기존에 있는 제품이라 하더라도 더 보완된 제품을 가격 경쟁력이 있게 만들 수 있다면 개발의 의미는 충분히 있습니다. 또한, 불편함이 있더라도 작품의 기획의도와 같은 목적을 보여주는 것도 좋은 방법이라 생각합니다. 이왕 echo-friendly라는 가치를 걸었다면 상용화된 1회용 컵을 구분하는 제약을 두어 제품의 목적을 분명히 밝히는 것도 좋은 방향이 아닐까 하는 생각입니다.

펌테크 친환경을 고려한 실생활과 접목된 실용성과 창의성을 지닌 작품으로 생각됩니다. 전체 하드웨어 및 소프트웨어 개발 환경 구성이 작품의 성격에 맞추어 체계적으로 적절하였다. 시스템 구성중 opencv를 사용한 영상처리를 과정 및 필요기능 위주의 심플한 형태로 짜임새 있고 깔끔하게 구성한 스마트폰용 APP은 인상적이었으며 전체적으로 기획의도, 기술 구현도, 완성도 등에서 우수한 작품이라고 생각됩니다.

위드로봇 아이디어를 프로토타입을 통해 개념을 확인한 부분이 훌륭합니다.

뉴티씨 텀블러를 사용하도록 하는 시스템은 조금 불편하더라도 환경을 지킬 수 있는 솔루션 중 하나일 수 있다는 생각이 듭니다. 나의 편리성을 위한 것이 아닌 후세대를 위한 지구 환경을 생각하여, 일회용품 사용을 줄일 수 있는 이와 같은 시스템을 좀 더 연구해야 할 것입니다.

2. 개발 배경

일회용품을 많이 사용하는 요즘, 전 세계적으로 일회용품 사용을 줄이기 위해 여러 가지 정책을 펼치고 있다. EU의 경우 올해(2021년)부터 플라스틱 세를 도입하여 플라스틱 사용 절감에 앞장서고 있다. 우리나라의 경우 커피 전문점 매장 내에서는 플라스틱 컵과 빨대를 사용할 수 없다. 또한, 슈퍼마켓에선 비닐봉지 사용이 불가하며, 대형마트에서는 포장용 테이프를 제공하지 못하게 된 상태이다.
하지만 1인 가구의 증가와 더불어 코로나 바이러스로 인한 배달음식 주문량이 많아지면서 일회용품 사용량 즉, 일회용품 배출량이 나날이 증가하고 있는 추세이다. 서울디지털재단의 ‘1인 가구 증가에 따른 일회용 플라스틱 배출 실태 분석’ 보고서에 따르면 1인 가구가 배출한 일회용품 양은 일평균 30개로 조사되었으며, 이는 다인 가구에 거주하는 1인의 배출량보다 약 2.3배 많은 양이라고 한다. 또, 서울 거주 시민 1000명을 대상으로 실시한 설문에 따르면 배달 음식 주문빈도는 코로나 발생을 기준으로 약 1.4배 증가한 것으로 조사되었다고 한다.
더불어 일회용 플라스틱 배출을 줄일 수 있는 방법에 대한 설문조사(1000명 대상)에서 ‘일회용 플라스틱 사용 저감 유도를 위한 보상체계 필요 여부’에 대해서는 응답자의 91.3%가 보상(인센티브)의 필요성을 공감하고 있는 것으로 나타났다고 한다. 보상방식으로는 ‘현금 지급’이 42.4%로 가장 높았고 이어서 ‘에코-마일리지 지급’(25.6%), ‘지역 화폐 지급’(18.3%) 등이 뒤를 이었다.
위의 보고서 내용과 마찬가지로 팀원들 모두가 일회용품 사용의 심각성과 사용 절감에 대한 필요성 모두 느끼고 있었다. 따라서 우리는 일상 속에서 일회용품을 절감할 수 있고 이에 따른 보상을 지급하는 제품을 만들기 위해 아이디어를 모았다. 그 결과 ‘일회용품을 사용하지 않는 자판기’를 개발하게 되었다.

3. 개발 목표
요즘 일회용품 사용을 절감하기 위한 사회적 움직임의 일환으로 일부 프랜차이즈 카페에서 플라스틱 컵 대신 개인 용기에 음료를 받으면 일정 금액을 할인해주고 있다. 이러한 서비스의 적용 범위를 확대하여 도서관, 스터디카페 또는 대학교, 공공기관 등 특정 사람들이 지속적으로 방문하는 곳에 배치된 자판기에 적용하여 일회용품 사용 절감에 이바지하도록 한다.
해당 자판기를 사용할 때마다 핸드폰 번호 입력을 통해 일정 금액이 에코-마일리지로 적립되며 추후에 실제로 제품이 상용화되는 경우 마일리지를 사용할 수 있도록 한다.

4. 작품 개요
일상 속에서 아두이노와 라즈베리 파이 그리고 젯슨 나노를 활용하였다.
아두이노는 음료 결제, 선택, 추출 등 자판기의 전체적인 동작을 담당하고, 젯슨 나노는 영상처리를 통해 음료 추출 전 사용자의 텀블러가 제자리에 놓여있는지 판단하였다. 라즈베리 파이는 터치스크린을 통해 자판기 내부의 진행상황을 알려주고, 자판기 이용 후 휴대폰 번호를 입력하면 에코-마일리지를 적립함과 동시에 누적된 마일리지를 확인할 수 있도록 하였다.
부가적으로 자판기 관리자를 위한 안드로이드 애플리케이션을 제작하여 자판기 내부 음료의 상태(양)를 확인하고, 음료별 누적 판매량을 통해 어느 음료가 인기가 많은지 확인 할 수 있도록 하였다.

4.1. 개발 환경 및 개발 도구 설명
4.1.1. 아두이노(Arduino)

아두이노는 다양한 스위치나 센서로부터 입력 값을 받아들이고 전자 장치들로 출력을 제어하여 디지털 장치를 만들기 위한 도구로, 간단한 마이크로컨트롤러를 기반으로 한 오픈 소스 컴퓨팅 플랫폼과 소프트웨어 개발 환경이다.

본 제품에서는 Arduino Mega 2560, Uno를 사용하여 전체적인 자판기의 동작을 구현하였다.

4.1.2. 젯슨 나노(Jetson Nano)

젯슨 나노는 엔비디아(NVDA)가 개발한 싱글 보드로 애플리케이션에서 다수의 뉴럴 네트워크를 병렬로 실행하게 해주는 강력한 소형 컴퓨터이다.
본 제품에서는 이와 같은 개발 환경에서 우분투의 vi 문서 편집기를 통해 언어 PYTHON으로 코드를 구현하고 실행 파일을 생성하였다.

4.1.3. 라즈베리 파이(Raspberry Pi)

라즈베리 파이는 영국 잉글랜드의 라즈베리 파이 재단이 학교와 개발도상국에서 기초 컴퓨터 과학의 교육을 증진하기 위해 개발한 신용카드 크기의 싱글 보드 컴퓨터이다.

라즈베리 파이 OS를 실행할 때, 기본 터미널 애플리케이션은 LXTerminal이다. 해당 프롬프트에서 리눅스 명령어를 기반으로 vi 에디터 또는 문서 편집기를 이용해 실행 프로그램을 생성할 수 있다. 본 제품에서는 html과 언어 php를 사용하여 웹 파일을 생성하였다.

4.1.4. 안드로이드(Android)
안드로이드는 휴대전화의 운영체제, 미들웨어, 사용자 인터페이스, 응용프로그램 등을 묶은 소프트웨어 플랫폼이다. 리눅스(Linux)2.6 커널 위에서 동작하며 운영체제, 라이브러리, 멀티미디어 사용자 인터페이스, 애플리케이션 등을 제공한다.
안드로이드 프로그래밍 언어로는 JAVA와 Kotlin이 있다. 또한, 안드로이드 스튜디오는 안드로이드 앱을 빌드할 때 생산성을 높여주도록 다양한 기능을 제공한다. 본 제품에서는 프로그래밍 언어로 JAVA를 사용하였다.

Android Emulator의 각 인스턴스는 Android Virtual Device(AVD)를 사용하여 시뮬레이션된 기기의 Android 버전과 하드웨어 특성을 지정한다. 효과적으로 앱을 테스트하려면 앱이 실행될 각 기기를 모델링하는 AVD를 만들어야 한다. AVD를 만들고 관리하려면 AVD Manager를 사용하면 된다.
4.2. 작품 구성
4.2.1. 부품 리스트

4.2.2. 회로도

4.2.3. 시스템 구성도

4.2.4. 작품 구상도

5. 작품 설명
5.1. 작품 제작 및 동작
5.1.1. 소켓 및 스레드 통신
자판기에 사용되는 장치들 간의 통신을 위해 소켓을 사용하여 서버를 구축하고 각각의 장치(아두이노, 젯슨 나노, 라즈베리 파이)들이 클라이언트가 되도록 하였다. 서버를 구축하는 데 있어서 C, PYTHON, JAVA 등의 언어 중 JAVA를 사용하였다.

스레드를 사용하지 않으면 여러 클라이언트의 접속이 불가하고, 다른 동작을 실행할 수 없다. 따라서 멀티 스레드를 사용하였고 초기에는 서버 하나에 여러 개의 클라이언트가 붙도록 구현하였다.

모든 클라이언트는 접속 시에 자신의 아이디를 서버에 전송한다. 이를 토대로 서버에서는 등록된 아이디 리스트와 접속 아이디를 비교, 검증한 후 클라이언트의 접속을 허용한다. 또한, 접속된 아이디를 기준으로 클라이언트 간 메시지를 보낼 수 있도록 하였다.

5.1.2. 아두이노(Arduino)
음료 결제
자판기의 결제 기능을 구현하기 위해 RFID 리더기 모듈을 사용하여 자판기 사용자의 카드가 인식되도록 하였다. 이후 전체 동작을 위해 RFID 리더기에 카드가 인식되면 ‘음료 선택’ 동작으로 넘어가도록 하였다. Arduino Mega 2560(이후 Mega로 칭함.)에서 Arduino Uno(이후 Uno로 칭함.)로 시리얼 통신으로 일정 값을 보내주고 Uno에서 값을 판단하여 재전송 하도록 한다.

음료 선택
사용자가 상황에 맞게 음료를 선택할 수 있도록 버튼과 LED를 구현하였다. LED는 현재 해당 음료를 선택할 수 있다는 신호이며, 버튼은 음료를 추출하도록 한다. 서버에서 결제가 되었다는 값을 전달 받으면 LED를 점등함과 동시에 버튼 기능을 활성화한다. 그리고 사용자가 버튼을 누를 시 해당 버튼에 맞는 음료의 정보를 Mega에서 시리얼 통신으로 Uno에게 메시지를 전송하여 ‘음료 추출’ 동작이 진행되도록 하였다.

음료 추출
음료를 추출하기 위해서 워터 펌프 모듈을 사용하였다. 워터 펌프 모듈의 불안정한 작동을 보안하기 위해 릴레이 모듈을 추가하였다. Mega에서 사용자가 선택한 음료 정보를 시리얼 통신으로 Uno에게 넘겨주고 음료 정보와 일치하는 워터 펌프를 작동시킨다. 음료 추출이 끝나면 부저를 통해 종료 음을 출력한다.
이후 모든 동작이 완료되면 언제든 사용자의 카드를 읽을 수 있는 초기 상태(결제 대기 상태)로 되돌린다.

음료 잔량 확인
플로트 스위치 센서를 사용하여 음료 잔량을 확인하도록 하였다. 부력으로 음료 표면에 떠 있다가 바닥에 닿으면 음료가 부족하다고 판단하여 LED를 소등한다. 그리고 사용자가 음료 선택 버튼을 눌러도 동작하지 않도록 하였다.
관리자가 애플리케이션을 통해 음료 잔량 정보를 요청하면 현재 모든 음료의 수위 센서 상태를 읽어 서버를 통해 애플리케이션에 전달한다.

매출 관리
애플리케이션에서 자판기 누적 판매량 기능을 구현하기 위해 음료 펌프가 작동된 횟수를 Mega의 비휘발성 메모리인 EEPROM에 저장하도록 하였다.
관리자가 애플리케이션을 통해 누적 판매량 정보를 요청하면 EEPROM에 저장된 값을 읽어 서버를 통해 애플리케이션에 전달한다.

5.1.3. 젯슨 나노(Jetson Nano)
컵 인식
먼저 Window 환경에서 opencv와 tensorflow를 사용하여 자판기 사용자가 놓은 컵을 인식하도록 하였다. 컵이 인식되면 웹캠을 종료하고 사진을 찍도록 하였다.

코드의 정상 동작 여부를 확인하고 젯슨 나노에서 개발 환경을 구축한 후 멀티 스레드를 사용하여 Mega에서 전송한 ‘음료 결제’ 메시지를 받으면 카메라를 동작시켜 컵을 인식하도록 하였다. 컵이 인식되면 Mega로 완료 메시지를 보내 계속해서 자판기의 동작을 수행한다. 컵이 인식되지 않으면 자판기의 동작을 중단하고 환불 페이지로 이동한다.

5.1.4. 라즈베리 파이(Raspberry Pi)
진행 상황 출력
라즈베리 파이에 부착된 터치스크린을 통하여 자판기 동작 진행상황 및 이용 순서에 맞게 웹 페이지를 띄워 사용자에게 알려준다.

에코-마일리지 적립
음료 추출이 종료되면 바로 에코-마일리지 적립 페이지로 이동한다. 자신의 전화번호를 입력하면 일정 금액의 마일리지가 적립된다. 입력을 완료하면 방금 적립된 마일리지와 누적된 마일리지 모두를 확인 할 수 있고 자동으로 페이지가 종료된다.

사용자가 입력한 정보는 MariaDB를 통해 관리한다.

5.1.5. 안드로이드(Android)
하단 탭
BottomNavigationView와 Fragment를 사용하여 하단 탭을 생성하였다. 하단 탭 클릭을 통해 ‘상태’ 페이지와 ‘판매량’ 페이지로 이동한다.

로그인(서버 접속)
메인 화면 상단에 로그인을 위한 옵션 버튼을 추가하였다. 해당 버튼을 선택하면 로그인 창을 띄운다.
해당 창에서 서버 접속(로그인)을 위한 IP, PORT, ID, PASSWORD를 입력한다. 미리 설정한 값이 기본 값으로 입력되어 있어 보다 편리하게 접속할 수 있다.

음료 잔량 확인
자판기 내부 음료의 잔량을 자판기 관리자가 수시로 확인 할 수 있도록 ‘상태’ 페이지 안에 CONDITION 버튼을 추가했다. 버튼을 누르면 서버를 통해 자판기 내부의 MCU에 특정 메시지를 전송하여 음료의 잔량을 요청한다.
자판기 내부의 음료가 충분하다면 아래 사진과 같이 음료 아이콘의 테두리를 강조 해준다.

음료 누적 판매량 확인
‘판매량’ 페이지의 초기 화면은 아래와 같이 ‘?개’로 나타낸다. RENEWAL 버튼을 누르면 서버를 통해 특정 메시지를 전송하여 음료 각각의 누적 판매량을 보여준다.
RESET 버튼을 누르게 되면 서버를 통해 판매량을 초기화 해달라는 메시지를 MCU에게 전송하여 각 음료의 누적 판매량을 모두 0개로 초기화한다.

6. 전체 흐름도

7. 최종구현

8. 시연

9. 결과 및 향후 목표
9.1. 결과
자판기에서 일회용품 사용을 줄이기 위해 초기에 기획한 기능으로 영상처리를 통한 텀블러 인식, 에코-마일리지 적립 등을 모두 구현하였다. 정상적으로 모든 기능이 동작하였지만 몇 가지의 아쉬운 점이 발생하였다.
먼저, 음료의 잔량을 측정하는 플로트 스위치 센서의 동작이 불안정하였다. 무게 센서나 무접점 수위 센서를 사용했으면 보다 안정된 동작을 구현할 수 있을 것이라 생각하였다. 다음으로 영상처리 부분에서 오픈 소스를 활용하다보니 필요 이상의 학습데이터로 인해 프로세서의 부담이 커져 텀블러 인식 속도에 영향을 미쳤다. 머신러닝을 접목하여 직접 필요한 이미지만 학습시킨다면 인식 속도를 개선할 수 있을 것이라 생각한다. 마지막으로 텀블러 크기에 따라 음료 추출량을 조절할 수 있는 방법에 대해 생각해보려 한다.

9.2. 향후 목표

본 제품은 소켓 통신을 하기 위해 와이파이를 사용한다. 하지만 와이파이를 대체할 수 있는 IoT 전용망이 전국적으로 구축되고 있다. 이는 유지비용 측면에서 최소 350원에서 최대 2,000원 정도로 저렴한 요금을 제공한다. 또 넓은 커버리지를 제공하여 본 제품이 상용화된다면 IoT 전용망을 통해 비용을 절감할 수 있다.
현재 애플리케이션은 자판기 관리자용으로 한정적인 기능을 제공한다. 이를 보완하기 위해 다양한 오픈 API를 사용할 수 있다. 예를 들면 구글 MAP API를 통해 자판기의 위치 정보를 제공하여 사용자는 보다 쉽게 자판기 이용이 가능하고, 관리자는 용이하게 유지 보수를 할 수 있다.
해당 자판기는 현재 일회용품을 사용하지 않는 것이 유일한 친환경적인 요소이다. 이를 확장하여 태양열 발전을 통한 전기 사용 등 친환경적인 요소를 추가적으로 접목시켜 환경 보호에 더욱 기여할 수 있다.

10. 참고자료
· 파이낸셜 뉴스, “1인 가구 플라스틱”, https://www.fnnews.com/news/202009181711464621
· 땅오니 로봇 코딩 블로그, “TCP/IP 소켓 통신”, https://ddangeun.tistory.com/31
· 멈춤보단 천천히라도, “파이썬 소켓”, https://webnautes.tistory.com/1381
· IT, 정보보안 자료실, “파이썬 멀티쓰레드”, https://nalara12200.tistory.com/153
· 명월 일지, “소켓통신”, https://nowonbun.tistory.com/315
· 토이메이커스, “아두이노 피에조 스피커“, https://blog.naver.com/yulian/221748202220
· 뤼즈나의 IT 블로그, “아두이노 워터 펌프”, https://in-reason.tistory.com/16
· 하이! 제니스, “아두이노 RFID”, https://m.blog.naver.com/chandong83/220920789808
· 에듀이노 코딩 스쿨, “ESP8266″, https://blog.naver.com/PostView.nhn?blogId=eduino&logNo=221152914869
· 폴나의 공방, “아두이노 시리얼 통신”, https://m.blog.naver.com/darknisia/221234187170
· 몽구스 프로그래밍, “아두이노 인터럽트”, https://m.blog.naver.com/PostView.nhn?blogId=yuyyulee&logNo=220310875023&proxyReferer=https:%2F%2Fwww.google.com%2F
· YouTube, “아두이노 RFID”, https://www.youtube.com/watch?v=SQ IGilMagm0
· 테크월드 뉴스, “젯슨 나노”, http://www.epnc.co.kr/news/articleView.html?idxno=95313
· MANUAL FACTORY, “우분투 설치”, https://www.manualfactory.net/13400
· DoProgramming, “젯슨나노”, https://doprogramming.tistory.com/category/%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%B0%8D/Jetson%20Nano
· 제너럴공국, “젯슨나노 텐서플로우”, https://generalthird.tistory.com/m/15
· 멈춤보단 천천히라도, “opencv”, https://webnautes.tistory.com/1186
· 개발하는 도치, “Seleninum”, https://heodolf.tistory.com/48
· 삶의 향기, “html 창 닫기”, https://lia47.tistory.com/995
· 안드로이드 스튜디오, Android Emulator, https://developer.android.com/studio/run/emulator?hl=ko
· Bugwhale World, 라즈베리파이 라즈비안 APM 설치하기 https://bugwhale.tistory.com/entry/raspberrypi-raspbian-apm-install
· 정재곤, 「Do it! 안드로이드 앱 프로그래밍」, 이지스퍼블리싱, 2020

11. 소스코드
MCU(아두이노) : MAGA

MCU(아두이노) : UNO

2021 ICT 융합 프로젝트 공모전 우수상

투명 폐페트병 분리배출 로봇

글 | 숭실대학교 오세찬, 강전완, 윤형섭, 임소현

1. 심사평
칩센 작품을 개발 과정과 결과에도 나와있듯이 개발자들의 정형화된 시연 환경 내에서는 만족할만한 결과를 도출해 낼 수 있지만, 실제 개발 당사자가 아닌 이들이 사용을 한다면 수많은 문제점이 발생할 수 있을 것으로 보입니다. 보고서에 포함된 후속 연구를 통해 작품의 개선을 할 수 있기를 바랍니다.
펌테크 자원재활용 이슈와 기술이 결합된 환경친화적인 작품이라고 생각합니다. 사전조사 및 아이디어가 반영된 제품 기획의 꼼꼼함이 돋보이며 영상처리 기술 구현 등을 효율적으로 접목하여 군더더기 없이 꼭 필요한 기능 위주로 목적에 맞는 최적의 시스템을 기획의도에 맞게 안정적으로 구현하였다고 생각합니다. 전체적으로 기술 구현도, 완성도 등에서 상당히 뛰어나고 훌륭한 작품으로 생각됩니다.
위드로봇 처리 속도가 아쉬습니다. 나머지는 훌륭한 작품입니다.
뉴티씨 투명 페트병만을 수거할 수 있도록하여, 투명하지 않은 페트병은 투명하게 만들어 투입하도록 하는 시스템인데, 매우 잘 제작되었습니다. 다만, 플라스틱이 아닌 금속캔 등을 투입하게 되면, 수거되지 않도록 안내하는 것도 추가하면 좋겠습니다. 검출 및 판별 속도는 개선해야 하는 점으로 보입니다. 또한, 수거되지 않는 것은 다시 가져갈 수 있도록 안내와 함께 기구적으로 문이 열리도록 하면 더 좋을 것 같습니다.
엔티렉스 부설연구소 투명 플라스틱 병 분리 배출로봇 개발은 온전한 플라스틱이 아니면 힘든 것 같습니다. 다만 카메라를 이용하여 페트병을 인식하여 분리 배출하는 기능에 대해서는 많은 생각을 하여 개발 한 것 같습니다. 패트병이 아닌 다른 물체가 왔을 때 일반쓰레기로 처리하는 방식을 적용했으면 합니다.

2. 작품 개요
2.1. 배경 및 목적

환경부에서는 2020년 12월 25일부터 투명 페트병만 분리수거 해 배출하는 정책을 펴고 있다. 하지만 기사를 통해 전용 봉투는 있지만, 그 안에 라벨과 뚜껑이 제거되지 않은 채로 페트병이 버려져 있는 사진이 공개되면서 아직 제대로 된 분리수거가 이루어지지 않음을 알 수 있다. 이러한 문제를 해결하고자 뚜껑과 라벨이 없는 무색의 플라스틱만을 모아서 재활용 효율 상승에 큰 도움을 주는 로봇을 제작하였다.

2.2. 차별점 및 기대효과
재활용 문제를 해결하기 위한 시스템은 여러 가지가 있다. 촉각을 이용해 자동으로 분리수거를 하는 ‘로사이클’, 물건을 넣으면 인공지능이 재활용 가능 여부를 판단해 버려주는 자판기 형태의 ‘네프론’, 어플을 통해 직접 사진을 찍으면 그 물건의 분리수거 방법을 안내하는 ‘스마트사이클’ 등이 바로 그것이다.
작품은 시중에 있는 다른 제품들과 크게 3가지 사항에서 차별성을 보인다. 첫 번째 차별점은 실용적인 면과 교육적인 면이 공존한다는 것이다. 투입구에 물건을 넣으면 로봇이 재활용 가능 여부를 판단하고, 재활용할 수 없다면 문제점과 해결방안을 디스플레이 화면과 음성안내 서비스를 통해 사용자에게 알려준다. 이를 통해 사람들은 본인의 재활용 인식 수준을 판단할 수 있고, 모르고 있었던 사항들을 알게 됨으로써 잘못된 행동을 개선할 수 있다. 두 번째는 로봇이 탈부착할 수 있다는 점이다. 이로 인해 공간의 큰 제약 없이 원하는 크기의 쓰레기통과 함께 사용할 수 있다. 이에 따라 기계를 열어 안에 있는 쓰레기들을 일일이 꺼내는 기존의 다른 제품들과 다르게, 봉투만 교체해서 사용하면 되므로 매우 편리하다. 세 번째는 제작 비용이 상대적으로 적다는 것이다. 값비싼 장치들과 센서들을 사용하지 않고도 필요한 기능들을 무리 없이 잘 구현해낼 수 있다.
투명 폐페트병 분리배출 로봇을 사용함으로써 다음과 같은 기대효과가 예상된다. 우선, 환경부가 마련한 투명 페트병 분리수거 정책의 실행률 증가와 정착에 큰 도움이 될 것이다. 투명 페트병 분리배출의 증가로 불필요한 플라스틱의 폐기가 방지되고, 재활용률이 증가하여 경제적, 환경적으로 큰 공익이 발생할 것이다. 또한, 로봇이 디스플레이와 음성으로 올바른 플라스틱 재활용 방법에 대하여 즉각적으로 홍보함으로써 사람들의 투명 플라스틱 분리수거 및 재활용에 대한 인식이 크게 발전될 것이다.

3. 작품 설명
3.1. 작품 구성도

3개의 디바이스는 ‘감각기관’, ‘동작 기관’, ‘뇌’로 역할이 분담되어 있다. 각 디바이스는 MQTT 통신을 통해 상호작용하며 역할에 맞는 기능을 수행한다.

(1) 감각기관(ESP8266)
센서(무게 센서, 초음파센서)가 연결되어 있다. State에 따라 필요한 센서값을 측정해 동작 기관과 라즈베리파이에 전달해준다.

(2) 동작기관(ESP8266)
동작 기관에는 서보모터가 연결되어 있다. 라즈베리파이에서 검출된 물체 명령에 따라 분리수거와 물체 반환을 하기 위한 모터작동을 수행한다.

(3) 뇌(라즈베리파이)
뇌에는 카메라, 모니터, 스피커가 연결되어 있다. 라즈베리파이에서 구성한 웹서버가 카메라로 찍은 사진을 분석하고 과정을 모니터(웹 클라이언트)와 스피커로 출력해준다.

3.2. 주요 동작 및 특징
3.2.1. 로봇 구동과 물체 진입 확인
감각기관에 해당하는 ESP8266에 설계되어있다. 물체 진입 확인은 5가지 state로 구성된다.

init state(00)
처음 감각기관에 전원이 공급되면 init 상태가 된다. 이 상태에서는 사용하는 센서(무게 센서, 초음파센서)들의 pin을 초기화하고, 와이파이와 MQTT client(sensor)를 연결한다. wait 상태로의 이동은 라즈베리파이의 명령으로 이뤄진다.
라즈베리파이의 웹서버는 서버가 실행되기 전 디바이스 간의 통신상태를 점검한다. 라즈베리파이가 보낸 ’reset’를 확인한 감각기관은 ‘connect’를 답장한다. 연결상태가 확인되면, 라즈베리파이는 ‘wait’를 보내고 서버를 실행한다. 메시지를 받은 감각기관은 ‘wait’ 상태로 이동한다.

웹서버가 MQTT client로 연결되면 raspi를 구독하고, 감각기관과 동작기관에 reset이라는 메시지를 전송한다.

health 변수에 key값인 sensor, motor는 서버 실행 전 감각기관, 동작기관의 통신상태 정보를 담고 있다. 1000(1초)마다 실행되는 함수를 만들어 연결상태를 점검하고 잘 연결되었다면, 웹서버와 동적인 사용자 인터페이스에 필요한 소켓 서버를 실행시키고, 감각기관에게 ‘wait’ 메시지를 보내준다. 연결상태가 올바르지 않다면, 해당 디바이스에 상태를 확인하는 reset 메시지를 재전송한다.

‘-‘를 기준으로 split 하여 감각기관, 동작기관 중 연결상태라 올바른 디바이스에 health 값을 1로 갱신하는 코드이다.

wait state(01)
문이 열리길 기다리는 상태. 물체를 집어넣는 작품 상단에 있는 초음파센서가 문과의 거리를 측정한다. 센서값을 분석(문 열림)하여 문이 열렸음이 확인되면 ‘open’ 상태로 이동한다.

거리를 측정하는 distance()를 전역함수로 작성하여 loop 내에서 필요에 따라 호출하도록 하였다. 문이 열릴 때 반사되는 초음파센서값이 열리기 전의 값(190)보다 값이 작다는 것을 이용하여 문이 열렸음을 확인한다. 추가로 200 이상의 값도 열렸다고 판단하는 이유는 초음파가 반사되어 200 이상의 숫자도 나올 수 있기 때문이다.

open state(10)
문이 열린 상태. 초음파센서는 문과의 거리를, 무게 센서는 물체의 무게를 측정한다. 두 센서값을 분석(문 닫힘, 물체무게감지)하여 정상적으로 물체가 들어왔으면 ‘close’ 상태로 이동한다.

close state(11)
물체가 들어온 상태. 라즈베리파이에게 물체가 들어왔음(input)과 물체의 무게(weight)값을 전송한다. 메시지를 수신한 라즈베리파이는 물체 분석을 시작하고 ‘analysis’ 답장을 보낸다. 답장을 받은 감각기관은 analysis 상태로 이동한다.

초음파센서로 측정한 값이 185 이상 190 이하이고 무게 센서로 측정한 값을 1000으로 나눈 값이 330 이상이면 물체가 정상적으로 들어왔다고 판단하여 ‘close’ 상태로 이동한다. close 상태로 이동 후 라즈베리파이에게 잘 들어왔음을 알리는 ‘input’과 물체의 무게 값인 ‘weight’ 값을 전송한다.

analysis 상태(100)
물체가 분석 중인 상태. 분석이 정상적으로 끝나고, 모터 동작에 대한 메시지가 수신될 때까지 대기한다.

3.2.2. 투명 폐페트병 검출 기능
뇌에 해당하는 라즈베리파이에 투명 폐페트병을 검출하는 모델이 3단계로 설계되어있다. 아래 표는 대략적인 흐름과 각 검출 단계에서 사용되는 분석 도구들을 보여준다.

카메라 촬영
node.js의 pi-camera 모듈을 사용하여 라즈베리용 카메라를 조작한다. 사진 촬영 후 정상적으로 사진이 저장되면, 성분분석 단계로 넘어간다.

웹 클라이언트로부터 /camera 요청을 받으면, snap 함수를 사용해 라즈베리파이용 카메라를 동작시킨다. 사진이 제대로 찍혔으면, 첫 분석방법인 성분 분석 함수를 호출한다.

성분분석
google-cloud에서 제공해주는 vision api를 사용한다. 들어온 물체의 크기, object 무게 등을 측정하여 플라스틱인지 검출하는 단계이다.

ⓐ 크기 검사
이미지 분석 데이터를 분석하여 물체의 유무를 측정한다. 물체의 좌표에 해당하는 픽셀들을 추출하여 만약 추출되지 않았으면 물체가 인식되지 않았다고 판단하고 object_test 변수를 false로 변경한다.
ⓑ 오브젝트 검사
이미지 분석 데이터를 분석하여 해당하는 물체가 플라스틱인지 판단한다. [bottle, drink, plastic, glass]의 키워드가 하나도 나오지 않으면 페트병이 아니라고 인식해 object_test 변수를 false로 변경한다.
ⓒ 무게 검사
esp8266(감각기관)에서 물체 진입 확인과 함께 전달된 물체의 무게를 통해 플라스틱 bottle의 무게인지 검사한다. 이전검사에서 유리와 플라스틱을 구분하지 못했는데, 이 단계에서 분류된다. 추가로 이물질 특히 내용물이 담겨있는 경우도 이 검사에서 걸러진다.
ⓓ label_test 값 확인
ⓐ~ⓒ단계에서 기록된 object_test 값을 확인하여 false이면 물체를 반환하기 위해 모터에게 메시지(up)를 보내고, true이면 다음 단계인 글자 분석 단계로 이동한다.

글자 분석
google-cloud vision API를 사용한다. 폐페트병에 프린팅이 되어있거나 글자가 있는지 판단하는 단계이다.

ⓐ 글자 검사
이미지 데이터 중 text 배열을 선택해 요소가 있는지 확인한다. 만약 요소가 하나라도 존재하면 label이 붙어있거나 프린팅이 되어있는 플라스틱으로 판단하고 text_test 변수를 false로 변경한다.
ⓑ text_test 값 확인
ⓐ단계에서 기록된 text_test 변수의 값을 확인하여 fasle이면 물체를 반환하기 위해 모터에게 메시지(up)를 보내고, true이면 다음 단계인 색깔 분석 단계로 이동한다.
글자 분석 결과를 나타내는 text_test 변수를 false로 초기화하고 분석 결과에 따라 true 값을 할당한다. vision api의 textDetection함수를 이용해 이미지에서의 식별된 글자들을 리턴받고, 이를 분석한다. 분석결과를 text_test 변수에 기록하고, 이를 토대로 모터를 작동시킨다.

색깔 분석
이미지를 RGB matrix로 만들어주는 image-to-rgba-matrix 모듈을 사용해 픽셀 단위로 RGB 값을 분석하여 폐페트병의 이물질 여부를 판단하는 단계이다.
ⓐ 영역설정
성분분석에서 얻은 물체 픽셀 데이터를 이용해 분석 영역을 설정한다. 영역을 설정함으로써 투명 폐페트병과 배경색만 검출된다.
ⓑ 표준편차
각 픽셀의 R, G, B값을 추출해 표준편차를 계산해 1차 분류를 진행한다. 표준편차가 15 초과면 유채색(빨강, 초록, 파랑), 15 이하면 무채색(검은, 흰)으로 분류한다.

ⓒ RGB 연산
1차 분류를 통해 나눠진 데이터를 토대로 각각 RGB 연산을 수행한다. 유채색의 경우 R, G, B값 중 큰 값을 찾아 Red, Green, Blue로 분류하고 무채색의 경우 R, G, B의 평균을 계산하여 40 이하인 것을 검은색. 200 이상인 것을 흰색으로 분류한다. 흰색은 연산하는 과정에서 영역(뚜껑, 몸통)별로 가중치를 부여해 데이터가 저장되는데, 이러한 이유는 백색 조명이 반사되어 나타나는 흰색이 몸통에 주로 위치하기 때문이다.
ⓓ 분류 연산
2차 분류된 데이터를 토대로 각 색깔의 개수를 측정한다. Red, Green, Blue, Black의 경우 10픽셀 이상 있으면 이물질이 있다고 판단한다. White의 경우 보정된 값이 5000 이상이면 흰색 이물질이라고 판단한다. 5000은 여러 번의 테스트를 거쳐 얻은 값이다. 이물질 판단 여부를 통해 color_test 값을 결정한다.
ⓔ color_test 값 확인
ⓐ~ⓓ단계에서 기록된 text_test 변수의 값을 확인하여 false이면 물체를 반환하기 위해 모터에게 메시지를 보낸다. true이면 최종적으로 투명한 폐페트병이라고 판단하여 물체를 분리수거 하기 위해 모터에게 메시지(down)을 전송한다.

색깔분석 결과를 나타내는 color_test 변수를 false로 초기화하고 분석 결과에 따라 true 값을 할당한다. imageToRgbaMatrix로 이미지를 RGBA 성분을 가지고 있는 2차원 배열로 리턴 받는다. 이를 성분분석에서 연산한 area를 토대로 색깔을 분류하고, pal 변수에 key로 지정된 색깔에 count 한다. 분류 작업을 마친 후 foreach문을 통해 색깔의 count 값을 비교하여 분석결과를 color_test 변수에 저장하고 이를 토대로 모터를 작동시킨다.

3.2.3. 분리수거
동작 기관 ESP8266에서는 서보모터를 제어하여 분리수거와 반환 기능을 수행한다.

명령 수신
라즈베리파이에서 투명 폐페트병 검출 기능이 수행된 후 분리수거가 가능 여부에 따라 UP(반환), Down(분리수거) 메시지를 동작기관으로 전송한다.

모터 동작
메시지를 받은 동작 기관은 메시지에 따라 서보모터를 제어해 물체 반환(UP)과 분리수거 (Down)을 수행한다. 그리고 감각기관으로 현재 모터의 상태인 motor_up과 motor_down을 전달한다. 감각기관의 도움을 받는 이유는 서보모터 자체 함수 중 각도를 리턴 받는 함수가 없어, 기능이 제대로 수행되었는지 알 수 없기 때문이다.

감각기관 상태 이동
모터 동작에 대한 메시지를 전달받은 감각기관은 메시지에 따라 analysis 상태에서 motor_up, motor_down 상태로 이동한다.

분리수거 및 반환 완료 검사
서보모터를 통해 틀이 움직이면 감각기관에 무게 센서값이 기준치에서 크게 변화한다. 즉 motor_up(반환), motor_down(분리수거) 상태에서 특정 무게 값을 정하여 기준치에 충족하면 반환, 분리수거가 완료되었다고 판단한다. 추가로 motor_up(반환)의 경우 물체가 가벼워 문을 뚫고 나오지 못하는 것을 고려하여 초음파센서값도 변수로 지정하였다. 초음파센서값을 통해 물체가 감지되지 않으면(물체 반환이 완료되면) 동작 기관에 reset을 명령한다.

‘up’ 메시지를 받으면 반환을, ‘down’ 메시지를 받으면 분리수거를 시작한다.

전역변수로 선언된 3개의 모터제어 함수들. 라즈베리파이에서 분리수거, 반환이 시작되면 현재 수행한 함수를 감각기관에게 메시지로 전달한다. 이는 무게 센서를 통한 서보모터 동작 완료를 확인하기 위함이다.

모터에서 받은 메시지에 따라 각각 motor_up state와 motor_down state로 상태 이동한다.

3.2.4. 사용자 인터페이스
디스플레이

ⓐ 메인화면
메인화면은 2가지 표정으로 구분된다. 재활용을 성공한 경우나 처음 로봇이 구동된 경우 Happy, 재활용에 실패해 물체가 반환된 경우 Angry 캐릭터가 메인화면에 나타난다.

메인화면에서 오른쪽 위 끝에 있는 설명 버튼을 누르면, 재활용 방법과 로봇에서 폐페트병을 검출하는 방법을 소개한다.

ⓑ 분석화면
3단계의 분석 진행 과정과 결과를 우측에 실시간으로 렌더링하여 보여준다.

음성 출력
google TTL 서비스를 통해 음성을 추출하였고, 서버 측에서 음성을 출력하기 위해 play-sound를 사용했다.

play-sound로 재생하는 음성은 서로 독립적으로 재생되어 소리가 겹치는 일이 발생할 수 있다. 전역변수로 audio를 생성하고, 음성 재생이 필요할 때마다 audio.kill()로 현재 재생되고 있는 소리를 제거하고 play를 통해 재생시켰다.

3.3. 개발 환경
· OS : 라즈비안(라즈베리파이), 윈도우10(노트북)
· 개발 언어 : C, javascript(node.js), html, css
· 툴 : brackets, 지니, 아두이노IDE
· 통신 : MQTT, HTTP(Socket.io, GET)

Node.js 주요사용 모듈

4. 단계별 제작과정

4.1. 하드웨어 제작과정
하드웨어 1주차
ⓐ 주제 선정 및 기능 아키텍처 작성을 통한 필요 물품 구매

필요 물품
· 폼보드 : 특별한 장비 없이 가공에 있어 자유롭고 튼튼하다.
· ESP8266 mini : 각 기관의 역할을 나누는 데 필요했다.
· 무게 센서 : 물체의 무게를 측정해 분류하는 데 필요했다.

라즈베리파이, 카메라, 스피커, 모니터, 초음파센서는 기존에 가지고 있던 것을 사용했다.

하드웨어 2주차
ⓐ 역할을 분담하여 센서, 모터, 카메라를 동작(테스트)해보는 학습을 진행하였다.

ⓑ 제작에 앞서 외형도를 제작했다.

대략적인 제품 크기와 부품을 설치할 위치를 그렸다.

하드웨어 3주차

ⓐ 외부 틀 제작 : 2주차에서 작성한 외형도를 바탕으로 문과 틀을 만들었다.

ⓑ 밑판제작 및 부품 테스트

무게 센서와 서보모터를 연결해 물체가 올라갈 밑판을 제작하였고, 모터 동작을 테스트했다.

초음파센서를 입구 상단에 설치하고, 무게센서와 테스트했다.

ⓒ 내벽 제작

좌측에 동작기관, 우측에 감각기관으로 회로를 연결하였다.
회로 정리 후 제작한 내벽을 붙여 선이 보이지 않게 만들었다.

ⓓ 앞면 제작

로봇의 모니터가 들어갈 앞판을 제작하였다.

ⓔ 윗면 제작

조명, 라즈베리파이 카메라, 스피커 등이 놓일 윗면을 제작하였다.

하드웨어 4주차

카메라 선이 길지 않아 동작 테스트에 문제가 발생했다. 윗면에 설치하는 것이 아닌, 윗면에 붙이는 것으로 계획을 변경했다.
쓰레기통의 교체가 쉽고 들어있는 상황을 볼 수 있도록 하단은 오픈형으로 제작하였다.

4.2. 소프트웨어 제작과정
소프트웨어 1주차
하드웨어 제작 1주차 첨부한 기능 구성도를 작성하고, 필요한 기술을 조사했다.

조사내용
· 각 기관 간의 통신은 MQTT 통신을 사용한다.
· 로봇의 얼굴인 디스플레이는 웹사이트 형태로 제작한다.
· 카메라 모듈을 사용해 사진을 찍은 후 구글 API을 사용해서 라벨 및 이물질의 유무 등을 분석한다.
· 분석 결과에 따라, 모터가 작동해 플라스틱을 분리배출할 수 있게 도와준다.

소프트웨어 2주차
ⓐ 필요 기술 학습(물체 검출)

vision API를 사용해 물체의 성분(plastic, glass 등), 텍스트(프린팅, 라벨), RGB 추출(이물질 검사)을 하기 기대했다. 성분 분석과 텍스트 검출에는 문제가 없었지만, 색 추출에서 이질적인 색을 잡는 민감도를 기대할 수 없었다. 다른 방법인 10개의 색 파레트를 추출하는 color-thief 모듈을 사용하여, 뚜껑 등의 이질적인 색 검출에 성공했다.

ⓑ 필요 기술 학습(사용자 인터페이스)

웹 클라이언트 : 로봇의 얼굴에 해당하는 모니터에 HTML, CSS 등으로 캐릭터를 제작하였다. 아직 센서들과 통신을 하지 않기 때문에, 3초가 지나면 사진이 찍혀 ⓐ의 단계로 넘어가도록 코드를 작성했다.
웹 소켓 : 동적인 웹 클라이언트를 만들기 제작하기 위해 웹 소켓을 사용하였다. 서버에서 연산한 결과를 클라이언트로 데이터를 전송해 사용자가 실시간으로 검사 결과를 확인할 수 있다.

ⓒ 모터, 센서 기능 구현
아두이노 IDE를 사용해 물체가 들어오고 나감을 알 수 있도록 초음파센서 관련 함수를 작성하였고, 분리수거 & 반환을 위해 모터 함수를 작성하였다.

소프트웨어 3주차
ⓐ MQTT 통신

MQTT 통신을 사용하여 각 디바이스가 상호작용한다. MQTT 통신을 사용한 이유는 클라이언트-서버 구조로 이뤄진 HTTP, TCP는 주로 클라이언트 요청에 대한 서버에 응답으로 통신하기 때문에 디바이스 간 통신이 어렵다. 반면, MQTT는 broker, publisher, subscriber 구조로 이루어져 있으므로, broker가 중계하고 client 간의 통신이 가능하다. 라즈베리파이에 브로커를 설치하고, 감각기관, 동작기관, 웹서버가 client가 되어 각자 필요한 메시지를 보내고, 받은 메시지를 통해 동작을 실행한다.

ⓑ 사용자 인터페이스 추가(웹 클라이언트)

메인화면 : 분리수거 성공과 실패에 따라서 메인화면의 캐릭터 얼굴이 변화한다.
설명페이지 : 사용자가 재활용 방법과 로봇의 검출 과정에 대해 학습할 수 있다.

ⓒ 사용자 인터페이스 추가(음성)

교육적인 로봇의 목표에 재활용에 관한 피드백을 제공하기 위해 음성 파일을 각 단계별로 출력되게 제작하였다.

소프트웨어 4주차
ⓐ 각 디바이스에 MQTT 통신을 구현하였다.

mqtt://주소를 통해 라즈베리파이에 구축한 브로커에 연결하여 ‘raspi’를 구독하였다.

esp8266 mini에서 MQTT 브로커로 연결하여 감각기관의 경우 ‘sensor’을 동작기관의 경우 ‘motor’을 구독한다.
2주차에서 분담을 통해 구현한 물체 감지, 모터작동 기능들을 MQTT 통신에 맞게 코드를 수정하였다.

소프트웨어 5주차
물체 테스트를 진행 중에 color-thief 모듈을 이용한 rgb검출에 대한 문제점이 드러났다. vision API보다는 작은 이물질에 대해 식별 가능했지만, 더 작은 이물질에 대해서는 검출하기 어려웠고, 결정적으로 배경색과 RGB 값이 비슷한 흰색, 검은색은 검출하기 어려웠다. 대체방법으로 이미지를 RGB matrix으로 변환해주는 모듈인 color-to-rgba-matrix를 사용하여 픽셀 단위의 분석을 진행하였다. 픽셀 단위로 연산량을 줄이기 위해 물체의 위치에 따른 분석하는 방법을 생각하였고, vision API에 위치 정보를 제공해주는 함수를 사용해 경곗값과 크기를 측정했다.

소프트웨어 6주차
ⓐ 사용자 인터페이스(웹 클라이언트)

5주차에서 측정한 경계값을 웹 클라이언트에 전송하여 BOX 형태로 표시하도록 하였다. 이는 사용자가 물체 분석되는 과정을 확인하는데 도움을 준다.

ⓑ 감각기관 코드 수정
감각기관의 변수를 수정하였다. 이전에는 문이 열리고 닫히면, 물체가 들어왔음을 감지했었는데, 조건문을 추가하여 무게 센서값까지 측정하는 방법으로 변경하였다.

ⓒ 연결상태 확인 추가
로봇을 테스트하기 위해 서버를 실행하는 과정에서 통신상태를 확인하지 않고, 실행한 경우, 연결상태를 확인하지 않고 실행해 로봇의 흐름이 섞이는 일이 발생했다. 이러한 문제를 해결하기 위해 처음 서버가 실행되기 전 MQTT 통신상태를 확인하기 위한 메시지를 보낸다. 메시지를 받은 디바이스는 초기화를 진행하고, 답변을 전달한다. 답변을 받은 라즈베리파이는 웹 서버를 실행시킨다.

5. 사용한 제품 리스트

6. 후속연구제안

6.1. 배경 색과 빛 반사
페트병의 투명성 여부를 판단하는 과정은 사진을 촬영하여 배경색과의 유사도를 검사하는 방식으로 진행된다. 이 때, 두 가지 문제점이 발생한다. 만약 라벨이나 이물질 등이 배경색과 유사한 색이라면 로봇은 ‘투명한 페트병’인 것으로 판별하게 된다. 또한 플라스틱 표면에 빛을 비추면 빛이 반사되어 카메라로 사진을 찍으면 반사된 부분이 흰색으로 인식되어 투명성 판별에 장애요소가 될 수 있다. 이는 신뢰도 하락과 재활용률 하락으로 이어지는 문제이므로 주의가 필요하다. 본 작품은 배경색을 회색(카메라로 촬영했을 때 R, G, B 세 값의 표준편차가 15이내, 평균은 40이상 180이하. 이때, 각 값은 0~255사이의 값을 갖는다.)으로 설정하여 라벨이나 이물질의 색과 분명한 차이를 둘 수 있도록 하였다. 그러나 만약 회색으로 이루어진 플라스틱 제품이 나오게 되면 본 작품에서 채택한 투명성 판별법은 신뢰도가 떨어지게 된다. 또한 빛 반사문제는 카메라를 사용한다면 피할 수 없는 문제이므로 해결하기 어렵다. 따라서 후속연구에서는 LPKF TMG 3 등의 광투과율 측정 장치를 이용하여 플라스틱의 투명도를 정확하게 측정할 수 있도록 할 것을 제안한다.

6.2. 플라스틱 압축 기능
플라스틱은 압축하여 배출해야 쓰레기통이나 쓰레기봉투를 효율적으로 사용할 수 있다. 따라서 플라스틱을 쓰레기통에 담는 과정에서 플라스틱을 압축하는 기능이 있으면 좋겠다는 생각을 했다. 이를 위해서는 강한 모터나 압축기가 필요한데 전력소비, 무게, 부피, 예산 등의 측면에서 효율성이 떨어지므로 배제하였다. 대체할 수 있는 기능으로는 페트병이 압축되었는지의 여부를 판단하는 방법이 있다. 이를 구현하려 하였으나, 압축된 페트병을 판별할 수 있는 명확한 기준을 찾기는 힘들었다. 비슷한 크기의 페트병이라면 무게도 비슷할 것이라고 가정하고 압축된 페트병과 압축되지 않은 페트병의 (넓이/무게) 값을 비교하였으나 유의미한 데이터를 얻지 못했기 때문에 페트병이 압축되었는지 판별하는 기능은 구현하지 못했다. 따라서 후속연구에서는 플라스틱 압축 기능이나 압축되지 않은 플라스틱을 구별하는 기능을 추가할 것을 제안한다.

6.3. 처리량
본 작품은 한 번에 1개의 페트병만 검사할 수 있다. 따라서 많은 양의 페트병을 버리려고 한다면 하나씩 천천히 넣어줘야 한다. 이는 굉장히 불편한 작업이므로 본 작품을 일상생활에서 사용하기 위해서는 이 문제를 반드시 해결해야 한다. 그러나 한 번에 검사할 수 있는 페트병의 수는 제한적이다. 따라서 큰 통에 페트병을 담아두고 거기에서 하나씩 꺼내서 검사하는 방법을 생각해볼 수 있다. 그런데, 사진을 찍는 시간은 약 10초, 재활용 가능한 플라스틱인지 분석하는 시간은 약 10초로 한 페트병을 처리하는 것에 평균 20초의 시간이 소요된다. 이는 디스플레이에 분석과정을 보여주고 음성으로 안내하기 위해서 의도적으로 시간을 늘린 것인데, 많은 양의 페트병을 처리하는 것에 방해요소로 작용한다. 따라서 안내하는 것을 간소화하는 것으로 시간을 단축할 수 있다. 또한 여러 개의 페트병을 한 번에 촬영하여 처리시간을 단축하는 방법도 있다. 단, 한 번에 많은 페트병을 처리할 경우, 그 중에서 재활용 되지 않는 패트병을 골라내는 방법에 대한 고찰이 선행되어야 한다.

7. 참고문헌
· 그린피스 김이서(2019년 12월),플라스틱 대한민국- 일회용의 유혹https://www.greenpeace.org
· 투명 페트병 재활용 제품 안내, 환경부 :https://www.newsro.kr
· 최병용(2021.02.19), 투명 페트병 분리배출 현장에 가보니~ : https://www.korea.kr/news/reporterView.do?newsId=148883922

2021 ICT 융합 프로젝트 공모전 우수상

스마트 쇼핑 카트

글 | 영남대학교 양성은, 박유나, 이유진, 김형덕

1. 심사평
칩센 작품은 상품의 구매와 위치 측량의 두 가지 큰 목표로 보입니다. 우선 상품 취득과 결제 부분에 있어서는 목표량을 어느 정도 달성한 것으로 보입니다. 또 다른 목표였던 위치측량 관련하여 상품의 위치를 통한 navigating 기능을 구현하기 위하여 사용자의 위치를 측정해야 하는 구조로 이해됩니다. 작품을 개발하며 목표로 한 내역에 대하여는 어느정도 위치 측량을 성공하였다고 볼수도 있지만, 실제로 상용화에 있어서는 위치 측량에 대한 많은 변수들이 존재하여 실내의 Map이 함께 조합되어 정확한 실내 위치를 파악하게 하는 등의 다양한 방식의 알고리즘과 방안이 적용되고 있고, 이러한 부분에 대한 추가적인 연구 검토를 한다면 더욱 개선된 제품을 제작할 수 있을 것으로 보입니다.

펌테크 아이디어와 실용성이 돋보이며 짜임새 있게 잘 구성한 수준급 작품이라고 생각합니다. 실내 위치 측정을 위한 비컨 연동 과정에서의 시행착오가 있었음에도 불구하고 전체적으로 시스템 구성을 위한 각각의 난이도 있는 소프트웨어 구성을 효율적으로 접목하여 기획의도에 맞게 시스템을 안정적이고 완성도 높게 구현된 스마트카트 제품이라고 생각이 듭니다. 추후 작품 완성도를 높인다면 상업적으로도 충분히 활용될 수 있는 상품성을 가진 훌륭한 작품이 되리라 생각됩니다.

위드로봇 학습 용도로는 좋은 주제이지만, 실용적인 측면에서는 위치 측량, 결제 등 해결해야 할 문제가 많은 작품입니다.

뉴티씨 배려심이 느껴지는 작품입니다. 코로나19로 여러 가지로 어려운 상황에서, 같은 작품을 해도 어떤 마음으로 하는 가에 따라서, 의도가 다르므로 전혀 다른 결과가 나올 수 있습니다. 그런데, 몸을 움직이는 것이 불편하신 어르신들을 생각하여, 자동으로 계산이 되는 스마트쇼핑카트를 생각할 수 있었다는 것이 매우 중요한 가치라고 생각됩니다. 스마트 쇼핑카트라는 것은 오래전부터 인기 있는 작품의 주제로 만들어져왔지만, 이 작품은 비콘을 이용한 삼각측량법으로 위치인식까지 고려하여 제작하여 제품을 빠른 경로로 찾으러 갈 수 있도록 하는 부분도 함께 작성되었네요. 매우 좋은 작품을 제작하였습니다. 다양한 분야에서 활용될 수 있을 것 같고, 학생들이 좀 더 힘내서, 좋은 분야로의 응용을 기대하겠습니다.

2. 작품 개요
스마트 쇼핑 카트는 거동이 불편한 사람들에게 편리한 쇼핑 환경을 제공해 주기 위한 보조 장치이다. 이 프로젝트를 생각하게 된 계기는 마트에서 쇼핑을 하다가 물건이 많아 카트를 끌고 계셨지만, 몸이 불편하셔서 카트를 끌기조차 매우 어려워 보이는 분을 보고 ‘거동이 불편하신 분들도 대형마트에서 편하게 쇼핑을 할 수 있게 할 방법이 없을까?’ 라고 생각하다가 개발하게 됐다. 프로젝트의 구현으로는 대형 마트 내에서 실내 측위 시스템을 사용하여 구매하고자 하는 물건의 위치까지 최단 경로를 알려주어 효율적인 쇼핑을 가능하게 한다. 카트에 부착된 바코드 스캐너에 구매 물품의 바코드를 찍으면 데이터베이스 내에 존재하는 물품의 정보를 자동으로 관리할 수 있게 하고, 구매 상품의 행사 정보를 음성으로 알려준다. 결제 버튼을 누를 시, App에서 간단하게 결제할 수 있도록 한다. 현재의 전동 카트는 원하는 상품 코너로 이동하는 것 정도로 발전되어 있는데, 거기에 우리 팀의 프로젝트는 최단거리 알고리즘(Traveling Salesman’s Problem)을 적용하고, 결제 서비스까지 연동하여 사물 인터넷 개념을 적용해 현대에 어울리는 더욱 스마트한 카트로 발전시킨다.

2.1. 개발 목표

거동이 불편한 사람들의 오프라인 쇼핑을 도울 수 있는 카트를 개발하여, 기존 쇼핑 방식보다 쉽고(easy), 편리하고(convenient), 안전한(safe) 쇼핑을 제공하여 더 나은 소비 활동을 할 수 있도록 돕는다. 더 나아가 스마트 카트가 보급화 된다면 거동이 불편한 사람뿐만 아니라, 바쁜 현대인들에게도 최단 경로로 원하는 물품이 어디에 있는지 바로바로 알 수 있고, 결제까지 한 번에 해결하는 효율적인 쇼핑 수단이 될 것이다.

2.2. 개발 작품의 필요성
일반 사람들도 쇼핑을 할 때 원하는 물건이 어디 있는지 자주 구매하는 물품이 아니라면 알기 어려운데, 거동이 불편한 사람들이나 장시간 쇼핑이 어려운 노약자들은 그것으로 인해 불편한 몸을 이끌고 물건을 가지러 갔다가 헤매고 다시 계산하러 계산대까지 이동한다면, 일반 사람들보다 몇 배는 힘들고 제한될 것이다. 하지만 우리 프로젝트를 통해 이동 동선을 최소화하고, 시선이 닿지 않는 곳에 기재된 할인 정보를 음성으로 접할 수 있게 됨과 동시에 결제까지 스마트 카트 하나로 끝낼 수 있어서 보통 사람들처럼 불편함 없는 쇼핑이 가능하여 더 나은 쇼핑이 가능하게 한다.

2.3. 기대효과
· 거동이 불편한 사람들이 쇼핑에서 불편함을 느낄 수 있는 부분들을 지원하여 더욱 나은 쇼핑 생활을 가능케 한다.
· 스마트 쇼핑 카트가 여기에서 더 나아가 발전하고 보급된다면 일반 사람들도 기존의 쇼핑 방식 보다 더욱 효율적인 쇼핑 할 수 있다.
· 탈부착이 가능하도록 구성하여 유연성을 가지고 있으며, 효율적인 활용이 가능하다.
· 실내 위치 측위의 발전 가능성을 기대할 수 있다.

3. 작품 설명
3.1. 주요 동작 및 특징
3.1.1. 주요 기능 소개

전체적 구성은 라즈베리파이에 모니터와 바코드스캐너와 스피커가 연결되어있다. 이는 쇼핑 카트에 탈부착 할 수 있으며 또한 결제 어플과 연동된다.

기능 1(실내 측위): RF모듈의 RSSI 값으로 삼변측량법을 이용한다. Raspberry Pi가 3개의 RF모듈을 통해 얻은 RSSI 값으로 거리를 구하여 마트 내에서 구매자의 위치를 파악한다. 파악한 위치를 통해 구매자와 구매하고자 하는 상품코너와의 거리를 파악할 수 있다.
기능 2(최단 경로 안내): 삽변측량법과 같이 Traveling Salesman’s Problem을 이용하여 사용자가 물품 구매 시 최단 경로로 이동할 수 있도록 한다. 구매하고자 하는 상품들을 선택할 시, 실내 측위 기술을 통해 구매자의 위치를 기준으로 가장 짧고 빠르게 상품까지 도달할 수 있는 경로를 제공한다.
기능 3(장바구니 & 상품 Database 설명): 바코드 스캔을 통해 데이터베이스를 조회하여 상품의 행사 정보를 음성으로 알려주고 장바구니에 담긴 구매 물품들을 자동으로 관리할 수 있게 한다. 또 디스플레이로 장바구니 목록을 보여줌으로써 삭제 또는 추가 등의 자유로운 수정이 가능하다.
기능 4(결제기능): 카트에 부착된 모니터에서 결제버튼을 누르게 되면, 연동된 어플리케이션에서 결제가 가능하다.

3.1.2. RSSI 알고리즘 동작 및 특징

RF 비콘을 3개 생성하여 삼각측량법에 이용할 수 있도록 구성하였다. 비콘의 신호를 감지하기 위해 라즈베리파이를 오른쪽과 같이 비콘 수신기로 구성하였다. 비콘의 신호를 수신하여 rssi값으로 거리를 측정하고 현재의 위치를 추적할 수 있도록 한다.

Raspberry Pi가 RF Beacon에게 Data를 얻어와 TXpower와 RSSI값을 분리하여, RSSI에 따른 거리를 구한다. 3개의 비콘 모두 거리를 구해, 삼변측량법을 사용하여 목표위치를 파악할 수 있다.
비콘의 RSSI 값을 이용하여 직선거리를 구하는 공식을 이용하였습니다. 공식을 적용하기 위 TX Power 와 RSSI 값을 정제하여 거리 공식에 대입하였다.

3개 비콘의 각각의 좌표와 측정한 직선거리를 이용하여 삼변 측량법을 적용해 사용자의 현재 좌표를 출력하였다.

3.1.3. 최단 경로 안내 알고리즘 동작 및 특징

TSP(Traveling Salesperson Problem)을 이용하였다. TSP 알고리즘이란 원래 여러 도시들이 있을 때 한 도시로부터 시작해서 모든 도시를 단 한 번씩만 방문하여 다시 시작점으로 돌아오는데 드는 최단거리를 구하는 문제이다. 여기서 우리는 도시를 상품의 코너로 가정하였다. 입구에서 출발하여 각 선택된 코너들을 거치고 다시 입구로 돌아오는 식으로 최단경로 안내 문제를 해결하였다. 중간에 생각하지 못했던 필요한 물품이 생길 시 코너를 추가 선택한 후 안내를 누르면 다시 그 자리에서 시작하는 최단 경로를 시각화 하여 카트에 부착된 모니터로 안내해 준다. 전수 조사 방식으로 진행하여서 각 경로를 기억하기 위해 스택을 사용했다. 거리를 구하고 스택에서 각 경로의 거리 중 가장 짧은 경로를 선정하여 사용자에게 안내해 준다.

3.1.4. 장바구니 & 상품 Database 알고리즘 동작 및 특징
상품 Database: 먼저 MySql DB를 라즈베리파이에 설치한다. 명령어를 통해 데이터베이스를 생성한 후 데이터베이스 내에서 테이블을 생성한다. 테이블을 생성할 때에 바코드번호, 상품 이름, 상품 가격을 받아오도록 자료형을 지정해주고 테이블을 만들어준다.

장바구니 기능: while문을 통해 항시 입력을 대기하며, 바코드 스캐너로 물품의 바코드를 찍으면 Database Table에서 해당 물품의 정보를 가져와 목록에 저장을 한다. 생성해 놓은 데이터베이스를 파이썬과 연동하여 데이터베이스를 조회할 수 있도록 구성하였다.

연동 방법은 pymysql이라는 파이썬 라이브러리를 설치해주었다.

저장한 목록은 디스플레이에 출력하여 사용자가 구매할 물품이 장바구니에 담긴 것을 시각정인 정보로 제공한다. Pandas를 이용하여 시각화하였다. 아래의 사진을 보면 시각화된 모습을 볼 수 있다.

장바구니에 담긴 물품들 중, 구매하지 않을 물품을 삭제할 때 입력창에 1을 입력하면 delete mode로 바뀐다. 디스플레이에서 제공하는 상품의 목록을 통해 삭제할 물품의 인덱스 번호를 입력하면 쉽게 삭제가 가능하다.

행사 정보 안내 기능: 사용자에게 물품의 행사 정보를 쉽고, 간편하게 제공할 수 있는 방법에는 음성 안내 기능이 있다. 구매하려는 물품의 바코드를 스캔하면, 장바구니 목록에 담김과 동시에 해당 물품의 행사 정보를 음성으로 안내해준다. 음성 안내 기능은 TTS(Text to Sound)로 구현하였으며, 문자열로 넘겨주도록 했다.

3.1.5. 결제기능 동작 및 특징
Application과 Raspberry Pi간의 소켓통신으로 장바구니에 담긴 최종 금액을 APP으로 넘겨준다.(소스코드 [첨부 19] 참고) 통신 방식은 소켓통신을 이용하였다. 라즈베리파이가 클라이언트가 되도록 구성하고 App이 서버가 되도록 구성하였다. App에서 제공해주는 IP를 입력한 후 데이터를 전송하게 된다.

넘겨받은 데이터를 토대로 결제 기능을 제공하며, 해당 결제 기능은 안드로이드 스튜디오에 Bootpay SDK를 연동하여 결제 테스트를 할 수 있도록 구성하였다. 안드로이드용 Application ID를 Bootpay 관리자에서 가져와 연동하였다. 안드로이드 라이브러리는 내부적으로 WebView를 이용하여 구현되어 있다. Javascript SDK를 안드로이드 WebView에서 구현한 방식으로, 결제연동, 결제결과에 대한 라이프 사이클 함수가 제공된다. 따라서 안드로이드 레이아웃에 View를 줌으로써 결제 창을 띄우도록 구성하였다.

3.1.6 프로그램 사용법

처음 모드선택에서 0번을 선택할 시 경로안내 모드로 들어가게 된다.

화면에서 처음에 방문하고자 하는 코너를 선택할 수 있다. 코너를 다 선택하면 최단경로가 시각적 정보로 사용자에게 안내된다.

안내 후 다시 모드선택으로 되돌아온다. 여기서 1번을 선택하게 되면 장바구니 모드로 들어가게 된다. 장바구니 모드에서 바코드 스캔을 통해 장바구니를 추가할지 구성된 장바구니 목록을 삭제할지 결제 할지를 선택할 수 있다.

먼저, 바코드를 스캔하면 TTS(Text to Speech)로 상품의 행사정보를 사용자에게 음성안내를 해준다. 모니터에는 상품이 추가된 장바구니 목록을 볼 수 있다.

다른 상품의 바코드를 찍으면, 장바구니 목록에 새로운 상품이 추가된 것을 볼 수 있다.

같은 상품을 여러 번 찍으면 목록이 새로 추가되는 것이 아니라 해당 상품의 수량만 늘어나는 것을 볼 수 있다.
바코드 스캔 대신 1을 2번 입력하면 삭제 모드로 들어간다. 현재까지 구성된 장바구니 목록을 보여주며 삭제하고자 하는 목록의 인덱스를 입력하면 삭제가 된다. 다음 사진을 보면 삭제가 되는 것을 확인할 수 있다.

마찬가지로 바코드 스캔 대신 2를 2번 입력하면 결제 모드로 들어가게 된다. 앱에서 제공하는 IP정보를 입력하면 결제정보를 App으로 전송하며 결제 가능하다. 다음 사진을 보면 결제가 청구된 것을 확인할 수 있다.

3.1.7 전체 알고리즘 동작 및 특징

3.2. 전체 시스템 구성

3.2.1 하드웨어 구성
· Raspberry Pi
· Barcode scanner
· Speaker
· Monitor

3.2.2 소프트웨어 구성
· MySQL Database
· TSP algorithm source
· 삼변측량 algorithm source
· TTS source

3.2.3 주요 동작 및 특징
· Barcode scan을 통한 상품, 장바구니 database 구성
· Barcode scan을 통한 행사 정보 음성 안내 기능 TTS 구현
· 삼변측량법을 통한 실내 위치 측위
· TSP algorithm을 통한 최단경로 추적

3.3. 개발 환경

4. 단계별 제작 과정
4.1. Hardware
Raspberry PI에 보조배터리, 모니터, 스피커, 바코드 스캐너가 연결하였다. 전동 카트(장바구니)에 Raspberry Pi와 함께 전력을 공급해주는 보조배터리, 경로안내와 장바구니 목록을 시각화해줄 모니터, 해당 상품의 행사 정보를 음성으로 출력해줄 스피커를 부착한다. 또한, 바코드 스캐너를 쇼핑카트에 부착하였고, 스캔 시 UART 통신을 통해 라즈베리로 바코드 정보를 넘겨 상품을 장바구니 목록에 담을 수 있도록 한다. 담긴 상품의 목록은 모니터로 사용자에게 시각화 해줌으로써 사용자가 장바구니를 직접 보며 관리할 수 있도록 한다.

탈부착식 모듈
탈부착 식 모듈로 전동 카트뿐만 아니라 일반 카트에도 부착할 수 있다. 탈부착 식이므로 전동 카트의 개수가 아닌 한 매장에 필요한 개수만 구비해도 됨으로 가격적 부담도 줄어들도록 했다.

실내 측위를 위한 Bluetooth Beacon

위치 추적을 위해 최소 3개의 블루투스 비콘을 마트에 설치함으로써 실내에서의 실제 위치를 추적 가능하다. 각각의 비콘마다 코인건전지 CR2032 3V 2개로 전원공급을 한다. 하지만, 1m 밖의 거리에서 정확도가 떨어지는 RSSI값을 확인할 수 있었다. 짧은 통신 거리의 한계로 Beacon을 이용할 때 1m 내의 범위에서 시연을 진행하였다.

실내 측위를 위한 RF 통신

앞서 언급한 Buletooth Beacon의 짧은 통신 거리의 한계를 대체할 RF 통신을 구현하였다. RF통신은 통신 거리가 100m까지도 가능하기 때문에, 해당 문제점을 보완할 수 있다.
다음과 같이 Beacon을 세 곳으로 설치하여 RF통신 시연을 진행하였다.

시현 위치에서 1분 동안 측정한 데이터의 그래프이다. 그래프를 보면 RSSI값의 변화에서 값이 비교적 일정하게 나오는 것을 볼 수 있어 그 전의 블루투스 Beacon보다는 거리 측면에서나 정확도 측면에서나 뛰어난 성능을 보여주고 있다.

4.2 Software (Raspberry PI, Application)
4.2.1. 라즈베리파이
바코드 스캔 및 행사 정보 안내

상품을 장바구니에 담는 방법은 간단하다. 카트에 부착된 바코드 스캐너로 상품의 바코드를 스캔하면 장바구니에 담긴 것을 모니터로 확인이 가능하다. 같은 상품의 바코드를 여러 번 스캔 할 시 같은 목록이 여러 개 생기는 것이 아니라 같은 상품의 수량만 늘어나게 하였다. 모니터를 통해 장바구니 목록의 삭제, 수정을 제공한다. 또한 행사 중인 물품은 카트에 부착된 바코드 스캐너를 통해 바코드를 찍을 때 TTS(Text to Speech)로 상품의 이벤트 정보를 읽어준다. 해당 바코드에 찍힌 번호는 자료형을 int로 성언하면 오버로드가 되기 때문에 VARCHAR 형으로 자료형을 바꾸어 해결할 수 있다.

최단 경로

해당 매장의 코너의 데이터들은 모두 저장이 되어있다는 가정하에 진행이 된다. 사용자가 방문하고자 하는 코너를 모니터상으로 선택할 시, TSP (Traveling Salesperson Problem) 알고리즘을 이용한다. 실내 측위 정보로 현재 위치로부터 최단거리를 계산하게 된다. 최단의 이동경로를 모니터를 통해 사용자에게 안내해준다.

실내 측위
실내 측위 기능: 사용자에게 현재 어느 위치에 있는지 실시간으로 사용자에게 알려주고 최단 경로 안내에도 쓰인다. 건물에 설치되어 있는 비콘의 신호를 수신하여 삼각측량법을 통해 현재 위치를 계산한다.

장바구니
상품 정보의 관리는 MySQL DB를 이용하여 물품의 Database를 구축하여 상품정보를 등록해 놓았다. MySQL에서 기존에 만들어놓은 table을 삭제하지 않고 같은 이름으로 다시 생성하면 오류가 발생하기 때문에 기존 table을 삭제하고 다시 생성해야한다. Python과 연동하여 바코드 번호로 조회 할 수 있게 구성하였고, 카트에 연결된 모니터에 결제 버튼을 누르면 연동된 App(부트페이)으로 결제정보를 보냄으로써 결제 할 수 있게 하였다.
App은 원래의 마트나 (홈플러스, 이마트 등) 대형마트에서 제공하는 App으로 결제 정보를 보낸다고 가정했지만 실제 App을 수정할 수 없어 결제기능만 있는 어플을 따로 구현하였다.

상품목록 추가 : 상품의 바코드를 스캔할 시, 모니터 상으로 상품이 추가 된 것을 확인할 수 있다.

상품목록 삭제 : 필요하지 않은 상품은 삭제 모드로 들어가 해당 상품의 인덱스를 지정해 삭제할 수 있다.

결제 모드를 통해 어플에서 결제가 가능하다.

GUI
경로 안내 모드에서 기존에 제시한 디스플레이는 텍스트 형식으로만 구성이 되어있었다. 이를 가독성있게 만들기 위해서 Python에서 사용하는 GUI를 이용해 시각화시켰다. 왼쪽의 메인 화면을 통해 모드를 선택할 수 있으며 경로와 장바구니 모드가 있다. 경로안내모드에서는 사용자가 원하는 코너를 선택하고 OK 버튼을 누를 수 있으며 취소하고 싶은 코너가 있다면 다시 한 번 누르고 OK 버튼을 누르면 된다.

장바구니 모드에서는 바코드 스캔이 주를 이룬다. 바코드로 상품을 스캔할 때마다 목록에 상품들이 쌓여간다. 삭제 기능도 제공하여 Check를 눌러 목록에서 삭제를 누를 수 있다.

마지막으로, 결제 버튼을 누르게 되면 사용자의 어플과 통신으로 해당 상품의 가격을 전송하게 된다.

4.2.2 어플리케이션

안드로이드 스튜디오와 부트페이 SDK를 연동하여 가상 결제 기능을 제공한다. 인앱 결제 방식은 구현 시, 유로 모듈 결제가 필요하기 때문에 무료로 제공하는 Bootpay 방식을 사용하였다. Bootpay 사이트에서 결제 연동 시, 필요한 ID를 받아올 때 WEB Application ID로 잘못 받아와 실패하였다. Android Application ID를 제대로 받아와서 연동 문제를 해결할 수 있다. 또한 Android Studio Build.gradle(app)에서 compileSdkVersion은 30으로 설정하고, targetSdkVersion은 27로 설정하여 오류가 발생하였다. targetSdkVersion30으로 수정할 시, 정상 동작하는 것을 확인할 수 있다.

4.3 주요 소스 코드 설명

5. 사용한 제품목록

6. 기타

6.1 기능블록도

6.2 목표 달성 현황
장바구니
목표: 바코드 스캔을 통해 장바구니 목록에 넣을 수 있고, 삭제와 추가의 기능도 구현
달성: 바코드 스캔을 통한 물품 목록 추가와 삭제를 할 수 있음.

최단거리
목표: 실내 측위 정보로 현재 위치로부터 최단거리 계산
달성: 현재 위치로부터 최단거리를 계산할 수 있음.

위치측량
목표: 현재 위치를 작은 오차로 받아오도록 구현
달성: 블루투스 비콘에서 RF 비콘으로 변경하여 측정 반경 거리를 넓혀 사용성을 확대함. 약간의 오차는 개선방법을 추후 적용할 예정.

인터페이스
목표: 작성한 GUI틀과 프로그램 연동
달성: 코너의 위치 정보와 최단경로, 상품목록 등을 볼 수 있도록 구현하였음, 사용자 친화적인 인터페이스 화면 디자인 완성. 추후 프로그램과 GUI를 연동할 예정.

결제 앱
목표: 장바구니 목록에 있는 상품을 앱으로 결제 가능하도록 구현
달성: 장바구니 목록을 구성할 수 있고 결제가 가능함.

6.3 시연영상 주소

6.4 참고문헌
· https://gongdae58.tistory.com/73
· https://ko.wikipedia.org/wiki/%EC%82%BC%EB%B3%80%EC%B8%A1%EB%9F%89
· https://codeanalysis.tistory.com/2
· https://m.blog.naver.com/wlsdml1103/221159758141
· https://m.blog.naver.com/PostView.nhn?blogId=dsz08082&logNo=221852345347&proxyReferer=https:%2F%2Fwww.google.com%2F
· http://pythonstudy.xyz/python/article/408-pandas-%EB%8D%B0 %EC%9D%B4%ED%83%80-%EB%B6%84%EC%84%9D

2021 ICT 융합 프로젝트 공모전 우수상

간호사의 업무 부담을 줄여주는

EMR연동 vital sign계측 시스템

글 | 건양대학교 장건호, 이지훈

1. 심사평
칩센 최근 의료업계 또한 ICT 장비나 시스템 도입이 매우 늘어나고 있고, 개발자가 작품의 기획 중에 고민한 회진을 통한 활력 징후 체크를 대체하기 위한 시스템이 대표적으로 가장 먼저, 그리고 많은 곳에서 검토되고 있는 것으로 알고 있습니다. 의료기 자체의 휴대성 및 전기적 장비로의 변경은 많은 부분에서 이루어진 것으로 생각되고, 그 장비 등에 개발자가 구성한 시스템이나, 솔루션을 적용하면 의료진의 업무가 훨씬 더 효율적이고, 환자의 입장에서도 빠르고 정확한 이상 징후 전달이 가능할 것으로 보입니다. 제품 제작에도 많은 공을 들인 것으로 보이는데, 실제 시연 영상 등이 있었다면 어땠을까 하는 아쉬움이 남습니다.

펌테크 세심한 관찰력이 반영된 실생활과 밀접한 아이디어와 실용성이 우수한 작품이라고 생각합니다. 혈압계에 온도계 기능 부가 구성은 신선했고, 기획의도에 맞게 전체 시스템을 안정적, 효율적으로 구성했으며 완성도 높게 구현하였다고 판단이 되며 전체적으로 기획의도, 기술구현도, 완성도 등에서 우수한 작품으로 판단되며 제출된 문서를 종합적으로 검토해 볼 때 최종 완성은 되진 않은 것을 판단되나 추후 보완을 통해 완성도 높게 구현된다면 상업적으로도 손색이 없는 우수한 작품이 되리라 생각됩니다.

위드로봇 전체 완성도가 높은 작품입니다. 목표와 결과가 일치하는 잘 진행된 작품으로 보입니다.
뉴티씨 매우 실용적인 작품으로 생각되며, 실제로 격무에 시달리는 간호사들의 업무를 줄여줄 수 있을 것으로 생각합니다. 좀 더 콤팩트하게 제작하면 무겁지 않아서 좋을 것 같고, 표시기와 네트웍은 스마트폰에서 제공해도 될 것 같으므로, 같은 아이디어로 센서부만 제작하여 통신으로 데이터를 날려주고, 스마트폰에서 데이터들을 가공 처리한 후, LCD로 표시하여주면 더 가볍고 좋을 것 같습니다. 좀 더 고민하여서, 완성도를 높인다면 사업으로 연결할 수도 있을 것 같습니다.

2. 작품 개요
현재 간호사는 정해진 시간마다 환자의 활력징후(인간의 생명 활력도를 추정할 수 있는 가장 기본적인 생체징후)를 측정합니다. 이는 간호사의 기본 업무 중 하나로써 상당한 시간을 할애하는 것으로 알려져 있습니다. 중증환자가 아닌 일반 환자의 경우 일일이 간호사가 직접 회진을 돌며 측정해야 하는데 이때 개별의 장비를 사용하고 차트에 수기작성을 하는 등 전통적인 방식을 사용하고 있습니다. 측정 장비의 단순화와 자동화로 관리효율을 증대시키며 잘못된 기입을 방지하고 의료진의 업무효율 증대가 해당 작품의 목적입니다.
따라서 혈압계와 체온계를 하나의 패키지로 구성하여 사용자 경험을 고려한 디자인을 채택하였고 RFID태그 및 무선 통신기술을 활용하여 EMR(환자에 관련된 정보를 전산화 한 것) 자동 기입 시스템을 구현했습니다.

3. 작품 설명
최근 병원들은 ‘환자 중심’이라는 키워드에 맞춰 변화하고 있는데 이는 간호사의 서비스 영역까지 포함하고 있습니다. 따라서 현재 간호사의 본래 많은 업무와 더불어 부가적인 서비스까지 요구되고 있어 간호사의 업무 스트레스가 가중되고 있는 상황입니다. IoT 활력징후 시스템을 도입할 경우 활력징후를 측정, 수기로 작성, DB에 입력 등 일련의 과정을 간결화 하여 업무능률을 탄력적으로 높일 수 있습니다. 간호사의 휴게시간 보장 및 업무 만족도 향상 등을 기대하며 결과적으로 환자에게 더 많은 시간을 할애 하는 잠재적인 효과도 예상 할 수 있습니다.

4. 주요 동작 및 특징
4.1. 주요 특징
체온계
1. 체온계를 혈압계에 dock 방식으로 결합하여 휴대성을 강조한 구성
2. 비접촉식 적외선 체온 측정 방식
3. RFID Reader 로 환자 개별 식별 가능
4. 충전 형 배터리 사용
5. Dock 거치 시에는 혈압계로부터 전원을 공급받아 충전하고 분리 시 자동 부팅 후 블루투스 페어링 기능

혈압계
1. 오실로 메트릭 법 혈압 측정 방식
2. 5인치 터치스크린을 활용하여 측정 값 및 환자 정보 표시
3. 충전형 배터리 사용
4. 와이 파이를 이용하여 웹 데이터베이스에 접근, 체온계로부터 받은 RFID값으로 환자 정보를 불러오고 활력징후 측정값을 저장

동작 프로세스

5. 전체 시스템 구성
하드웨어

소프트웨어

그래픽 유저 인터페이스

6. 개발환경
체온계
1. MCU : Arduino Nano
2. 언어 : C Language
3. 사용 모듈 : 적외선체온센서, RFID리더, OLED, 블루투스 모듈

혈압계
1. MCU : Raspberry Pi4
2. OS : Raspbian (linux)
3. 언어 : Python Language
4. 사용 모듈 : 혈압계, 5인치 터치 디스플레이

GUI
1. 개발 툴 : pyqt5
2. 언어 : Python Language

3D모델 외부 케이싱
1. 설계 : SolidWorks 2017
2. 슬라이싱 : CURA, simplify
3. 3D프린터 : Anet a8, moment
4. 출력방식 : FDM
5. 사용재료 : PLA

백엔드
1. DB : Firebase
2. 서버 : Flask
3. 웹 : Jinja2
4. 언어 : Python

통합개발환경
1. 체온계, 혈압계 일부: Sublime Text 3
2. 혈압계, 웹 : Visual studio Code

7. 단계별 제작 과정
7.1. 체온계 제작
체온계 제작에 있어서 가장 중요했던 부분은 전원부입니다. 전원을 상시 켜둘 이유가 없으며 이는 충전을 방해하는 요인이기 때문에 충전 시에는 체온계의 전원을 꺼두고 충전 Dock에서 분리 시에 자동으로 전원이 켜지며 부팅이 완료되는 기능을 구현하고자 하였습니다.

트랜지스터의 디지털 스위치 기능을 활용해서 충전전압을 입력 신호로 판단하였습니다.
하지만 당시에는 쉽게 구할 수 있는 NPN 트랜지스터로 제작을 하였기 때문에 단순한 구조로는 원하는 기능을 구현할 수 없었습니다. NPN TR은 베이스에 양 전압을 가하면 콜렉터에서 이미터로 전류가 흐르게 됩니다. 이때 베이스에 입력되는 전압이 충전 전압이라고 가정할 때 우리는 콜렉터에서 이미터로 전류가 흐르는 것이 아닌 차단되어야 합니다. 반대로 베이스 전압을 제거 했을 때 전류가 흘러야 합니다. 따라서 베이스를 컨트롤하는 TR 스위치를 하나 더 추가하여 이중 TR 스위치를 만들었습니다.
구체적인 전체 회로는 원고 하단에 첨부합니다. 그 중 디지털 스위치의 구조만 확대한 내용은 다음과 같습니다.

Tr1이 1차 스위치 Tr2가 2차 스위치입니다. 1차 스위치에는 늘 항상 5V의 전압이 인가되고 있습니다. (배터리 전압) 하지만 2차 스위치에서 충전 전압이 인가 될 때 1차 스위치에 인가되던 배터리 전압은 GND로 흐르게 되어 전압이 낮아집니다. 결과적으로 1차 스위치는 개방되는 것입니다.
따라서 충전 중에는 2차 스위치에 전압이 인가되어 1차 스위치는 개방 되고 충전을 그만 두었을 때는 2차 스위치가 개방되어 1차 스위치는 배터리 전압에 의해 단락됩니다.

체온계의 핵심 기능은 다음과 같습니다.
1. RFID 리딩 후 블루투스 전송
2. 온도 센서 측정 후 블루투스 전송
3. 위 1,2번이 작동할 시 진동을 발생 할 것
4. 모든 진행 상황을 OLED에 비주얼라이징 할 것

사용 모듈
1. 진동 모듈
2. OLED
3. RFID 리더
4. 비접촉 적외선 온도 센서
5. 블루투스 HC-05
6. 충전 모듈

7.2. 체온계 코드
7.2.1. 진동 발생
진동 모듈은 핀 번호를 지정한 후 특정한 패턴으로 작동하게끔 미리 함수로 써 만들어 줍니다. 이 후 필요한 순간마다 함수를 호출 하는 방식으로 진동을 발생 시켜 햅틱 기능으로서 사용자에게 정보를 전달합니다.

7.2.2. OLED 표시
Oled 역시 디스플레이의 역할로서 늘 갱신되어야 합니다. 따라서 Oled를 리뉴얼하는 코드를 함수로 따로 만들어둔 다음 체온 측정 후, RFID 카드를 읽었을 때, 전원이 켜졌을 때, 등등 필요 시 호출 하는 방식으로 표시합니다.

전역 변수를 사용하여 체온 값과 RFID아이디를 갱신 합니다. 밋밋한 화면을 좀 더 알차게 구성하기 위해 이미지를 삽입하였습니다. 이미지는 흑백 이미지로 알맞은 크기로 제작 한 뒤 비트맵 단위로 변환하여 줍니다.

헥사 코드로 변환된 이미지를 u8g 라이브러리에 포함된 bitmap draw 기능을 활용하여 화면에 그려줍니다. 이미지를 bitmap으로 변환하는 과정과 기능은 http://en.radzio.dxp.pl/bitmap_converter/ 해당 사이트를 참고하였습니다.

7.2.3. RFID 리더
MFRC522 모듈을 사용하는 라이브러리의 예제를 수정하여 사용합니다. RFID 카드에는 여러 가지 정보가 담겨 있으며 그 정보를 읽고 쓰기가 가능합니다. 하지만 실질적인 데이터의 저장은 카드에 담는 것이 아니라 온라인 데이터베이스를 사용할 것입니다. 따라서 RFID의 고유한 ID만 사용합니다. 고유 ID를 주소처럼 사용하여 DB에 접근하고 저장합니다.

ReadNUID예제를 실행 한 후 카드를 읽힌 결과입니다. 여기서 우리는 hex값을 사용하도록 합니다. ID로 사용하기에 dec보다는 짧기 때문입니다. 결과 값을 곧이곧대로 사용하기에는 깔끔하지 않음으로 예제를 적당히 수정하여 핵심만 추려 냅니다.

앞선 그림 [카드의 용량과 id 값이 표시 됨]과 비교했을 때 hex값만 출력이 되며 16진수 한자리를 구별하는 띄어쓰기도 사라졌습니다. 우리는 hex값을 일일이 해석하려는 것이 아닌 하나의 ID로써 문자열을 사용할 것이기 때문에 위와 같이 수정하였습니다.

7.2.4. 비접촉 적외선 온도 센서
Adafruit_MLX90614라이브러리를 사용합니다. 섭씨온도 중 Object온도를 사용합니다. I2C통신을 사용하며 라이브러리 내장 함수를 사용하기 때문에 비교적 간단합니다. 하지만 사용하는 방식에 있어서 문제가 발생합니다. 먼저 온도를 언제 측정할지 시점을 지정할 방법이 필요합니다. 분명하게 신체를 가리키지 않았지만 온도를 측정하게 된다면 그 것은 잘못된 측정입니다. 두 번째로 센서의 민감도에 따라서 보정이 필요합니다. 경우에 따라 한 번의 측정으로는 정확한 값을 얻을 수 없습니다. 따라서 우리는 버튼이라는 물리적인 장치를 통해 외부에서 신호를 보내며 동시에 3초간 측정한 값의 평균으로 온도를 측정합니다.
기본적인 구조는 택트 버튼을 인터럽트 핀을 사용하여 부착하고 버튼이 눌렸을 때 3초에 걸쳐서 온도를 측정합니다. 3번의 측정값이 20도 이상이며 1의 자리가 모두 동일한 경우 평균을 내어 측정을 완료합니다. 해당 조건은 오류를 잡아내고 보다 정확한 측정을 위한 경험적 결과입니다.

타임 인터럽트는 1초마다 count값을 더해줍니다. count에 따라 온도 측정값을 배열에 넣고 그 값을 판단하는 구조입니다. 조건에 부합하면 타임 인터럽트는 종료됩니다. 이 것을 반복합니다.

7.2.5. 블루투스 전송 – 통신 프로토콜
앞서 RFID ID 리더와 온도 측정을 구현하였습니다. 또한 이를 Oled에 표시하기도 하였습니다. 측정값을 Dock(혈압계)에 전송을 해야 합니다. 이때의 통신 방법은 블루투스를 사용하며 모듈은 HC-05를 사용합니다. AT-mode를 통해 미리 사용할 블루투스의 주소를 알아내고 비밀번호와 이름을 설정합니다.
Dock과 통신하는 프로토콜은 string to string을 이용합니다. 센서의 종류와 측정값을 한 string 문자열에 첨부하여 전송하는 방식입니다. ID값은 “BC”, 체온은 “BT”라고 약속합니다. 또한 정보의 구분 또한 특정한 문자를 지정하여 한번 전송한 데이터의 끝을 표시해 줍니다. 사용한 문자는 “Z”입니다.
예컨대 체온을 전송할 땐 “BT36.5Z”의 형식을 맞추어 혈압계로 전송됩니다.

7.3. 체온계 케이싱
7.3.1. 3D 모델링
사용할 모듈을 버니어캘리퍼스로 실측을 합니다. 실측한 값을 토대로 solidwork에서 part를 만들어 줍니다. 만든 part를 assembly를 통해서 적절히 배치를 하고 케이스 모델링을 진행합니다. 이 때 3D프린터로 출력할 것을 고려하여 설계 합니다.

7.3.2. 3D프린터 출력
설계한 모델링을 슬라이싱을 통해 G-code로 변환한 후 3D프린터로 출력합니다. FDM 방식의 프린터기를 사용했으며 재료는 PLA 흰색입니다.

7.3.3. 후가공
FDM 방식의 출력물은 특유의 단층이 존재하게 됩니다. 작품에는 아무런 영향을 끼치지 않지만 완성도를 위해 후가공을 진행하였습니다. 후처리 방법은 사포로 표면을 갉아 내고 퍼티를 발라 틈새를 매우고 다시 사포로 갉아내는 방법을 지속해서 반복합니다. 이 후 흰색 락카를 도포하여 마무리합니다.

7.3.4. 조립
완성된 케이스 내부에 납땜한 회로와 기타 모듈들을 배치하여 조립을 완성합니다. 그 다음 정상적으로 작동하는지 확인 합니다.

7.4. 혈압계 제작
Dock은 혈압계 자체의 기능을 수행하면서 동시에 체온계와 DB를 이어주는 중간 매개체에 해당됩니다. 따라서 수신 받은 RFID ID 값과 체온 측정 값, 혈압 값을 적절하게 처리하여 디스플레이에 표시하고 firebace 데이터베이스에 저장하는 역할을 수행합니다.

혈압계의 핵심 기능은 다음과 같습니다.
1. 그래픽 인터페이스를 사용할 것
2. 체온계를 거치할 수 있는 구조일 것
3. 블루투스, 와이파이 통신할 것
4. firebase DB를 이용할 것

사용 모듈
1. 5인치 터치 디스플레이
2. 라즈베리파이3
3. 혈압계

7.5. 혈압계 코드
그래픽 유저 인터페이스를 제작합니다. 측정값과 환자 정보를 표시하기 위함으로 직관적이고 깔끔한 디자인을 선택합니다. UI는 파이썬언어 기반의 툴킷인 pyqt5를 사용합니다. 또한 pyqt5를 보다 쉽게 사용할 수 있도록 제작된 응용프로그램인 qtDesigner를 사용하여 드롭앤 드랍 방식으로 UI를 제작합니다.

완성된 gui는 저장 시 .ui 파일로 만들어집니다. 파이썬 프로그램 안에서 작동시키기 위해선 .py파일로 바꿔줄 필요가 있습니다. 변환 방법은 pyqt5 툴킷에서 제공된 변환기를 사용합니다.

UI 파일을 파이썬 파일로 변환
-> pyuic5 -x hello.ui -o hello.py

qrc 리소스 파일을 파이썬 파일로 변환
-> pyrcc5 hello_image.qrc -o hello_image_rc.py

이때 ui파일 뿐만 아니라 qrc파일도 .py파일로 변환해야 합니다. qrc 파일은 UI를 만들 때 사용했던 이미지가 저장된 파일입니다. 변환된 .py파일을 열어 보면 pyqt5문법을 활용해서 UI 코드가 변환되어 있습니다. 메인 코드에서 사용할 땐 import하여 불러옵니다.

7.5.1. GUI 작동 구조
절차적 프로그래밍과 다르게 GUI를 사용하는 환경에서는 GUI 따로 연산처리 따로 실행하는 쓰레드를 활용해서 프로그래밍 해야 합니다. GUI에 독립성을 부여해야 화면이 멈추지 않으며, 어떤 상황에서도 화면을 조작할 수가 있습니다. GUI 쓰레드를 기본적으로 동작하면서 필요시에 이벤트를 발생시킵니다. 이벤트 발생 시 GUI를 업데이트하는 함수만을 실행시켜서 화면을 수정하면 보는 이로 하여금 자연스러운 모니터링이 가능합니다.
이 후 부가적인 처리는 블루투스 통신과 GPIO를 이용한 혈압계 작동 파트입니다. 역시나 각각 개별로 쓰레드를 만들어서 작동시키고 화면을 갱신하는 방식으로 구현합니다.

7.5.2. 블루투스 소켓 통신
블루투스 통신을 위해 라즈베리파이에 제공되는 Bluetooth 라이브러리를 활용합니다. 기본적으로 소켓 통신을 기반으로 작성되었습니다. 매번 새로운 장치를 찾을 필요가 없기 때문에 사전에 알아두었던 체온계 블루투스 모듈의 주소 값을 지정합니다. 앞서 블루투스 통신 프로토콜에서 언급한 내용대로 전송 문자열의 앞의 문자는 정보의 종류를 뜻하며 맨 뒤 문자는 정보의 끝을 의미합니다.

아두이노와 통신 중에 모종의 이유로 데이터 중간에 개행 문자가 섞여서 전송되는 현상이 있었습니다. 수신된 문자열을 처리하기에 굉장히 까다롭기 때문에 “Z”문자를 한 개의 데이터를 구분하는 지점으로 지정하였습니다. 개행 문자를 기준으로 문자열을 나누지 않고 지정문자를 받을 때까지 모든 수신된 데이터를 차곡차곡 하나의 변수에 저장하였습니다.

이 후 통신 프로토콜에 따라서 수신된 데이터의 종류를 구분하고 실제 데이터만 추출하여 적재적소에 사용합니다.

온도와 RFID ID로 구분함. 또한 데이터를 추출한다.

7.5.3. DB 연동
환자정보 및 측정값은 내부저장소가 아닌 외부 클라우드 저장소를 사용합니다. 무료로 리얼타임 저장소를 서비스하는 firebase를 이용합니다. 저장소는 key와 val로 구성되어 있으며 초기화하는 방법과 데이터를 읽고 쓰는 방법은 관련 라이브러리인 pyrebase의 내장 함수를 참고합니다. 이는 git hub에서 찾을 수 있으며 데이터의 구성은 다음과 같습니다. 가장 상위 key는 RFID ID이며 아래에 이름, 성별, 나이 등 정보가 담겨 있습니다.

위 정보는 사전에 이미 기입되어 있습니다. 체온계에 RFID 카드를 태그하면 ID 값이 혈압계로 전송되고 이는 다시 firebase에 접근하여 관련 정보가 있는지 확인합니다. DB에 존재하는 id 값이라면 해당 환자 정보를 다시 혈압계로 전송하여 모니터에 표시합니다.

7.5.4. DB 자동 저장
사용자 경험을 고려하여 동작 순서에 따라 자동으로 측정값이 저장되도록 하였습니다. 모든 절차의 접근 key는 RFID카드의 ID를 사용합니다. 먼저 A 카드를 태그한 이후에는 몇 번이고 다시 측정할 수 있습니다. 체온계로부터 체온을 측정하고 혈압계는 라즈베리파이의 GPIO 기능을 사용하여 모터와 센서를 제어합니다. 혈압계 측정은 GUI화면의 버튼을 눌러 동작합니다. 측정이 끝난 후 B 카드를 태그하면 A를 측정했던 값이 자동으로 DB에 저장되는 방식입니다. 따라서 사용자는 자연스럽게 환자별로 인식표 태그 후 측정 순으로 진행하면 별다른 조작 없이 자동 저장되는 시스템을 설계하였습니다. 측정값은 날짜별로 묶고 다시 시간별로 묶어서 저장합니다.

7.6. 혈압계 케이싱
7.6.1. 3D모델링

5인치 디스플레이와 라즈베리파이를 고정하기 위해 적절히 배치하고 지지대를 세워 안정적으로 조립할 수 있도록 설계하였습니다.

또한 우측에 Dock을 배치하여 체온계를 거치하고 또한 중앙에 충전 단자를 위한 구멍을 내어 체온계를 단단히 고정함과 동시에 충전기능을 구현하였습니다.

7.6.2. 3D Printer 출력
설계한 모델링을 슬라이싱을 통해 G-code로 변환한 후 3D프린터로 출력합니다. FDM 방식의 프린터기를 사용했으며 재료는 PLA 흰색입니다. 크기와 구조 때문에 한 번에 모든 파트를 출력하는 것은 불가능하였습니다. 따라서 몸체, 덮개, 손잡이, 거치대, Dock으로 나누어서 출력 후 이어 붙이는 방식으로 제작하였습니다.

7.6.3. 후가공
후가공은 체온계 과정과 동일하게 퍼티와 락카 스프레이를 이용하여 표면 처리를 하였습니다.

7.6.4. 조립

체온계, 혈압계 프로그래밍 및 케이스 제작, 조립까지 마무리하였습니다. 혈압계의 디스플레이에 여러 가지 정보가 표시되며 터치를 통해 혈압계를 동작하거나 프로그램을 reboot할 수 있습니다. DB를 이용하여 정보를 불러오기는 물론 측정값을 저장할 수도 있습니다. 하지만 key와 val로 이루어진 DB그 자체로 정보를 열람하거나 처리하는 것은 상당히 불편합니다. 따라서 웹을 통해 DB에 저장된 정보를 보기 좋기 표시하는 벡엔드 파트를 구현하여 본 프로젝트를 마무리합니다.

7.7. 웹 모니터링 시스템

웹 모니터링을 위해서 플라스크(Flask)를 사용합니다. 플라스크(Flask)는 파이썬 웹 어플리케이션을 만드는 프레임 워크이며, Werkzeug 툴킷과 Jinja2템플릿 엔진에 기반을 둡니다. 플라스크는 프레임워크들 중에서 매우 심플하고 가볍지 만 중요하고 핵심적인 내용과 기능을 갖고 있기에 많이 사용되고 있습니다. 이 Flask를 통해 각 환자의 이름과 데이터를 구분하여 하나의 웹에 표기할 수 있도록 만듭니다.

7.7.1. DB에 저장된 데이터 불러오기
웹을 통해서 데이터를 띄우기 전 DB에서 데이터를 불러오는 작업을 수행합니다. 이렇게 DB에 환자의 RFID 카드를 통한 ID 값을 불러오게 되면 ID값 속에 저장되어 있는 모든 데이터가 불러집니다. 이를 통해 DB에 저장되어있는 모든 환자 데이터를 받아올 수 있습니다.

7.7.2. DB데이터 가공
불러온 데이터를 웹으로 불러오기 전 환자별로 날짜와 시간을 구분하여 데이터를 사용가능하도록 데이터를 가공합니다. 불러온 데이터는 Dict 형태로 모든 데이터는 원하는 데이터를 뽑아 가공하여 사용이 가능합니다. 이를 통해 각 리스트에 날짜와 시간, 시간에 따른 환자 데이터를 각각 모두 구분하여 데이터를 불러올 수 있습니다.

저장된 데이터를 Flask에 전달하여 웹상에 표시가 가능하도록 데이터를 넘깁니다.

7.7.3. 웹 디자인
웹디자인은 python Flask의 기본 웹 템플릿 엔진인 jinja를 사용합니다. jinja 템플릿 엔진은 태그, 필터, 테스트 및 전역을 사용자 정의가 가능해 자유롭게 사용이 가능합니다. 또한 디버그에 용이하며 최적의 python 코드로 컴파일이 가능하여 많이 사용됩니다. main코드에서 각 분할하여 각각 저장된 데이터를 불러와 웹으로 표현하기 위한 Flask의 html을 사용합니다. 상단의 이름과 함께 table을 나누어 데이터를 구분지어 데이터의 가시성을 더해줍니다.

7.7.4. 웹 데이터 추가
웹 main코드에서 가공한 이름, 날짜, 시간, 체온 등등 데이터를 각 테이블에 순차적으로 나열하게 됩니다. 이를 통해 DB에 저장된 데이터를 모두 날짜 시간순서대로 나열 가능하여 한눈에 확인 가능하도록 합니다.

이를 통해 여러 데이터가 생겨날 경우 같은 날짜에 대해 시간에 대한 측정값을 하나의 덩어리로 묶고, 날짜가 달라지면 그래프를 한 칸 밀어내어 데이터 구분을 지어 각 날짜별로 쉽게 확인이 가능합니다.

7.7.5. 웹 refresh를 통한 주기적인 데이터 업데이트

웹에 데이터를 추가한다고 하더라도 웹페이지는 실행된 시점의 하나의 장면만 보여주기 때문에 DB에 새로 추가된 데이터가 있더라도 웹상에 곧바로 표기되지 않습니다. 따라서 데이터가 추가되는 경우 바로 확인할 수 있도록 지정 초마다 웹 화면을 새로 고침 하여 데이터가 웹상에 반영되도록 합니다.

체온계, 혈압계에서 온 데이터를 저장한 DB에서 데이터를 다시 불러와 날짜와 시간에 따라 구분해 웹상에 정리하여 시각적으로 도출하며, 시간마다 새로 고침 하여 실시간으로 추가된 데이터도 바로 반영할 수 있도록 하였습니다. 이를 통하여 하나의 디바이스에서 지정된 ID를 통해 환자 데이터에 접근하여 상태를 측정한 데이터를 저장하고 저장된 DB를 통해 웹상으로 표기하여 주기적인 체온과 혈압의 데이터를 자동으로 저장 확인이 가능합니다.

8. 사용한 제품 리스트

9. 작품사진

9.1. 회로도

10. 소스코드
체온계 Arduino

혈압계 RaspberryPi

웹 모니터링(서버)

웹 모니터링(서버)

2020 ICT 융합 프로젝트 공모전 우수상

180도 방향을 한번에 탐지하여interaction한

반응형 스마트 지팡이

글 | 한국과학기술원 김동주

1. 심사평
칩센 손잡이에 모터를 이용한 햅틱 기능을 포함한 것이 매우 인상적입니다. 단순히 장애물의 유무만을 진동을 통해 알려주는 것이 아닌, 거리와 방향 등도 함께 알려준다는 것이 참신한 아이디어로 와닿습니다. 다만 제품으로 생각하였을 때 모터부가 많이 포함됨에 따른 전류 소모와 무게 등이 조금 걱정입니다. 향후 추가 적용 가능한 기능들( TTS, 사우드, 디스플레이등)을 적용하면 더 열악한 요소가 될 소지가 있어 보여, 위의 사용성에 저해가 될만한 부분을 잘 해결해 나가는 것이 관건일듯 합니다.
펌테크 작품의 아이디어와 실용성 창의성이 돋보이는 작품으로 생각됩니다. 6개의 서보모터를 사용해 촉각피드백을 제공하는 내용은 신선했으며 전체척으로 기획 의도에 맞게 시스템을 안정적이고 완성도 높게 구현하였고 제출된 보고서 구성 내용도 명확하고, 충실했다고 생각이 듭니다. 전체적으로 기획의도, 기술 구현도, 완성도 등에서 상당히 우수한 작품으로 생각됩니다.
위드로봇 작품의 완성도는 높습니다만, 화이트케인 프로젝트는 과거에 매우 많은 팀들이 시도했던 전력이 있습니다. 기존 사례 연구를 진행한 뒤 보완점을 찾아 진행했으면 창의성에서 더 높은 점수를 받을 수 있습니다.

2. 작품 개요
작품은 기존의 굉장히 좁은 방향각도(15도)로 물체를 탐지하는 스마트 지팡이의 단점을 개선하고 다양한 햅틱 반응을 통해 사용자가 물체의 위치와 방향을 인식할 수 있도록 하는 시스템을 스마트 지팡이에 구현하고자 한다.
- 장애물 위치, 방향에 따른 햅틱 반응 (점자와 비슷한)
- 거리에 따른 손잡이 진동 반응
- 블루투스 통신을 통한 스마트폰의 음성 안내 및 진동

3. 작품 설명
3.1. 기존 제품의 문제점
일반 보조 지팡이의 경우 보행자의 감각에 의존하여 스스로 위험 수준을 판단하고 대처해야 하는 단점이 있다. 이러한 단점을 개선하고자 많은 사람이 노력해왔고 최근 들어 점점 센서의 가격이 낮아지고 있고 IOT가 넓은 영역에 적용할 수 있게 되자 스마트 지팡이라는 것을 만들게 되었다. 현재 잘 알려진 지팡이로는 we-walk라는 지팡이이다. 이 지팡이는 2015년에 등장하였고 초음파 센서와 진동센서, 스피커, 터치패드가 내장되어 있다. 주요 기능은 전방에 장애물이 있는 것을 진동과 사운드를 통해 경고 해주는 장점이 있다. 하지만 단점으로는 초음파센서의 물체 탐지하는 각도가 최대 15~30도로 굉장히 좁아 지팡이가 향하는 곳만 탐지가 가능하다.
시각장애인이 일반 사람과 달리 거리를 다닐 때 가장 크게 느낄 수 있는 불편한 점은 일반사람은 자신이 가는 길 부분 외에 범위도 볼 수 있어(넓은 화각) 쉽게 장애물 회피가 가능하다. 하지만 시각장애인은 지팡이에 의존하여 자신이 가는 길 좁은 부분에만 장애물의 존재를 알 수가 있다. 그래서 기존의 스마트 지팡이는 이러한 근본적 문제를 해결하지는 못하였다.
이러한 근본적인 문제를 해결하기 위해 새로운 지팡이를 설계하고자 하였고, 현재 자율주행기술에서 보면 자동차 천장상단에 보면 레이더가 360도로 매우 빠르게 도는 것을 볼 수가 있는데 이러한 원리를 지팡이에 도입하여 기존 방식에서 진화하여 사용자의 전방 180도 방향의 물체를 탐지하여 어느 곳에 위치( 거리, 방향에 따라 )가 있는지 알아내어 햅틱이나 진동 소리 등 다양한 감각으로 표현하고자 하였다.

3.2. 주요 동작 및 특징 및 전체 시스템 구성
3.2.1. 초음파 센서 동작

지팡이 하단에 있는 초음파 센서는 서보 모터와 연결되어 있어 150도를 움직일 수 있다. 1.5초의 시간동안 150도를 회전하게 되는데 이는 우리의 눈으로 봤을 때이고 프로그램에서는 사실은 서보모터는 0.15초마다 10도씩 움직이고 멈추고, 멈추었을 때 해당각도에서 초음파를 보내게 되고 반사되는 시간을 측정하여 거리로 환산한다. 이때 해당 각도와 거리에 따라 3*3 Array에 물체가 탐지되었으면 1로, 물체가 탐지되지 않으면 0으로 하여 매 순간 정보를 업데이트 한다. 근데 이때 이미 배열에 1이 저장되어 있는데 순식간에 0으로 탐지 된다고 하면, 0으로 바꾸지 않는다. 즉 한번 전방을 훑는 과정에서 그 위치에 무언가 탐지되어 1로 바뀌면, 그 훑는 과정에서는 계속 1로 저장된다. 그래야 순식간에 지나가는 장애물도 1.5초 동안 인식했다고 하여, 만의 하나의 위험을 막을 수 있게 된다.

이런 방식으로 동작을 하게 되면 1.5초 간격마다는 사용자 앞의 중심으로 150도 각도로 탐지되어 대략 몇 도 방향에 몇 cm 거리에 해당하는 배열을 통해 장애물이 어디에 있는지 정보를 인지 할 수 있게 된다.

초음파 센서를 2개 쓰는 이유는 각 초음파 센서의 위아래 탐지 각도가 15도 이내이므로 2개를 사용함으로써 총 30도이상의 각도가 탐지가 가능하게 하였고 한 센서의 탐지가 잘못되어 일어나지 않는다면 다른 센서가 이를 탐지 할 수 있게 하기 위함이다.

3.2.2. 6개의 서보모터
3.2.1 초음파 센서 동작에서 얻은 초음파센서의 3*3 array 정보 중 가까운 거리의 2*3 array만을 이용하여 6개의 서보모터를 통해서 촉각 피드백을 제공한다.
아래 표와 그림3과 같이 해당 array에 0의 값이 있으면 서보모터의 각도를 1이 있으면 90도로 설정한다. 그렇게 되면 바깥쪽으로 component가 튀어나오게 되어 촉각적인 정보를 제공할 수 있게 된다.

즉 사용자의 입장에서 1.5초 동안 좌측 0~50도 방향에만 15~70cm 거리 부근에 장애물이 탐지되었다면 배열은 다음과 같이 정보를 저장하고, 서보 모터는 그 배열의 정보를 바탕으로 (점자 비슷하게) 1인 부분만 돌아간다.

3.2.3. 블루투스 모듈
서보 모터와 마찬가지로 초음파 센서가 update시킨 3*3 array 0,1 정보를 바탕으로 블루투스 모듈이 해당 거리 정보를 폰으로 송신하여, 스마트폰에서 그 정보를 읽을 수 있도록 해준다.

3.2.4 스마트 기기
블루투스로 수신된 데이터를 바탕으로 스마트폰 디스플레이에 정보를 표시하고 진동 피드백과 Google의 text to speech를 이용하여 청각적인 정보로도 명확히 알 수 있게 한다.

탐지 거리에 따른 앱 인터페이스 속 표시되는 이미지

4. 개발과정 및 기타
4.1. 하드웨어 구성
다음은 회로 구성도이다.

사용된 부품은 a. 7개의 servo motor b. 2개의 초음파 센서(HC-SR04) c. 스위치 d. 블루투스 모듈 (HC-06) e. Servo motor 6개의 제어를 위한 pca9685 chip f. Vibration motor g. AAA 건전지 4개 h. 아두이노 이다.

4.2. 외형도 (모델링 과정 및 햅틱을 위한 부품 제작)
외형은 다음과 같이 AUTOCAD사의 fusion360 프로그램으로 설계하고 SINDOH 3D프린터로 외형을 제작했다.

시각장애인을 촉각을 느끼게 할 수 있는 햅틱을 위한 서보모터에 부착하는 COMPONENT는 illustrator로 제작을 하여 레이저 컷팅기로 아크릴 5T를 잘라 만들었다. 그리고 로고를 MDF 3T를 레이저 컷팅기로 음각을 새겨내 손잡이 전면부 동그란 부분에 끼워 붙였다.
모델을 다 뽑았으면, 아두이노와 서보모터, 기타 센서들을 회로와 같이 만들 모델 케이스 안에 부착한다.

그 후 지름 2cm 길이 90cm의 나무 막대기를 모델하단부에 붙여준다.

4.3. 완성된 모델의 랜더링

랜더링은 keyshot을 이용했다.

4.4. 코딩 작업
4.4.1. Arduino coding

4.4.2. App inventor coding (안드로이드 앱 구현)
A. 앱 및 인터페이스 디자인

시각장애인 안내견의 이미지를 지팡이로 표현하여 친숙한 이미지를 나타내고자 하였다.

B. 변수 및 함수 선언

C. Screen1에 대한 설정

D. Clock (반복문)에 대한 설정

E. 여러 컴포넌트에 대한 설정

4.5. 테스트 작업

수많은 테스트를 통해, 초음파 센서 최대각도 중 150을 얼만큼의 단위 각도로 나누어서 돌릴지, 그 단위 각도를 몇 초 동안 움직이게 할 것인지, 초음파 센서위치와 각도를 어떻게 하면 수직으로 더 넓은 범위의 물체를 탐지할 수 있는지, 진동모터의 세기는 얼마로 할 것인지, 얼마나 먼 거리의 물체부터 탐지해야 되는지에 대한 값을 구하고자 하였다.

5. 기대효과

매우 좁은 범위의 상황만 인지할 수 있는 시각장애인들의 근본적인 불편한 점을 자율주행자동차의 전방향의 도로 상황을 탐지하는 원리를 이용하여 해결함으로써 시각장애인들이 앞에 놓여진 상황에 대한 다양한 물체 정보과 피드백을 제공할 수 있게 된다. 스마트폰의 블루투스 기능을 연동하여 TTS기능, 사운드, 진동, 디스플레이 등의 더욱 확장성 있는 사용과 시각, 촉각, 청각 등 다양한 피드백 제공이 가능해진다. 처음에만 페어링하면 블루투스 주소를 계속 저장하고 있어 에어팟과 같이 지팡이와 스마트폰의 각각의 블루투스 기능만 켜져 있으면 자동으로 연결하여 매번 연결하는 불편한 점을 해소한다.

6. 추후 연구
초음파 센서가 달린 서보모터의 경우 계속 움직여야 하기 때문에 전력소모가 매우 심하고 소음도 살짝 존재한다. 이러한 문제를 해결하기 위해서 딥러닝의 영상처리능력을 이용하여 전방의 물체와 배경을 잘 구분하여 대략적인 거리를 유추하여 가까이 있다고 판단되면 그 때 서보 모터를 움직여 초음파 센서나 혹은 Tof 센서로 정확한 거리를 측정하게 되면 이러한 전력 문제와 소음 문제도 해결가능 할 것으로 보인다.
현재의 작품의 경우 0~50도, 50~100도, 100~150도 범위0 안의 물체가 있다라는 것을 인지 할 수 있지만 더욱 세분화하여 각도를 나누어 전방의 정보를 완벽히 인식하여 사용자의 앞 상황을 촉각적인 증강현실로 구현함으로써 시각장애인의 보행 중 문제 뿐만 아니라 전반적인 삶의 질 향상에 기여 할 수 있게 될 것 이다.

7. 참고 문헌
가. https://www.youtube.com/watch?v=y8X9X10Tn1k
나. https://learn.adafruit.com/16-channel-pwm-servo-driver/hooking-it-up
다. 함수사용 
라. https://blog.naver.com/roboholic84/10186975566
마. https://cafe.naver.com/mechawiki/104
바. https://kocoafab.cc/tutorial/view/704

2020 ICT 융합 프로젝트 공모전 우수상

Mindwave mobile 2를 이용한 뇌파 기반 응급호출 시스템

글 | 숭실대학교 최영림, 최지웅, 이하영, 김수희

1. 심사평
칩센 측정한 뇌파가 유사한 상황에 대하여 모든 사람이 동일한 혹은 비슷하게 출력되는지가 궁금합니다. 만약 그렇다면 시스템 및 DB구축이 충분히 가능할 듯 합니다만, 그렇지 않다면 이미 의사표현과 거동이 불편한 노약자들이 각각의 DB를 구축하기는 쉽지 않을듯 합니다. 의료기기 또는 의료 보조기의 경우 critical한 정보를 해석하거나 판정을 위한 데이터를 제공해야 하므로 신중하게 접근할 필요가 있어 보입니다.
펌테크 아이디어와 창의성을 갖춘 작품이라고 생각이 듭니다. 단 제출된 보고서 내용을 고려하면 작품에 대한 기획의도는 우수하다고 생각되지만 계획에 대비해서 출품작의 일부 진행 과정은 확인이 되나 최종적인 완성도를 구체적으로 확인할 수가 없었습니다.
위드로봇 수집한 데이터 양이 작은 점이 문제이지만 학부생 연구에서는 더 이상을 요구하는 것도 무리라 생각이 듭니다.

2. 서론
SWEEG 팀이 개발한 ‘뇌파 기반 응급호출 시스템’은 의사 표현이 힘든 노약자나 어린아이를 위하여 BCI기술과 machine learning(AI)을 접목해 간병인에게 환자의 상태를(응급/평상시) 알려주는 도구이다.

과학기술이 발전하면서 인간의 평균 수명은 그림1과 같이 높아졌고, 다양한 질병의 규명이 가능해지게 되었으며, 그러한 질병에서 오는 불편함을 해소하고자 하는 개선 욕구 또한 증가하는 추세가 되었다. 시대적 흐름에 맞춰 인간의 삶의 질에 대한 중요성이 점차 높아짐에 따라 특히 바이오산업이 주목을 받게 되었다.
한편, 현재 사람들이 살아가는 시대는 업종별 구분이 무의미해지는 변화의 시기이다. ‘4차 산업혁명’이라고 흔히 부르는 이러한 변화는 AI의 발전을 기반으로 자동차, 가전, 의료기기 등 여러 분야의 구분을 무너뜨리고 모든 것이 연결되는 세상을 만들고 있다.
바이오 산업은 최근 IT 기술과 접목하면서 큰 성장을 이루며 점차 복잡-세분화되고 있다. 그중 인간과 컴퓨터 간의 상호 작용을 연구하는 학문 분야인 HCI(Human-Computer Interface)에 대한 수요가 증가하고 있다. 특히, BCI(Brain-Computer Interface)는 미국 MIT 대학과 세계 경제포럼 등에서 10대 유망기술로 선정되기도 하였다.
BCI 기술이란 사람의 뇌 활동을 측정해 생각, 의도, 감정 등을 분석하고 이러한 정보를 명령으로 변환해 다양한 외부기기를 제어하거나 사용자의 의사, 의도를 외부에 전달하는 기술을 말한다. [1] 오랫동안 수많은 연구자들이 뇌파를 분석해왔고 그 결과 최근 과학자들이 뇌 속 신호체계를 컴퓨터로 표현하는 방법을 개발하게 되면서 BCI기술이 본격적으로 발전할 수 있게 되었다. 지난 수십 년간의 연구에서 인간이 말을 할 때나 뭔가를 생각할 때 인간의 두뇌는 뚜렷한 활동 패턴이 나타나는 것으로 밝혀지고 있다. 또한, 누군가의 말을 들을 때, 혹은 듣는 것을 상상할 때에도 뇌가 인식 가능한 신호 패턴이 나타나는 것으로 밝혀졌다. [2] 이는 BCI를 통해 뇌파를 갖고 실제 의사소통이 가능하다는 것을 보여준다.
본 프로젝트에서는 딥러닝을 이용한 실시간 뇌파 기반 호출 시스템의 모델과 결과물을 제공하고자 한다. 환자들의 의사 혹은 응급 시 호출 상황을 말이나 몸짓이 아닌 뇌파로 표현할 수 있도록 컴퓨터 알고리즘과 인공지능을 이용하여 분석하고 이를 간병인 혹은 의사에게도 적용할 수 있을 것이다.

3. 제품 설명
3.1. BCI 시스템
BCI 시스템은 측정 방법에 따라 침습식 혹은 비침습식 방식이 있다. 침습식은 두개강내뇌파, 국소장전위, 마이크로 전극, 마이크로 전극배열 등을 이용하고 비침습식은 뇌전도, 뇌자도, 양전자 단층촬영, 근적외선분광, 기능적 자기공명영상을 이용한다. 두 방식은 각기 장단점을 가지고 있다. 침습식은 두피를 뚫고 뇌 피질 혹은 뇌 안에서 직접 신호를 측정하기 때문에 센서의 생체적합성 이 중요한 사항이 된다. 이는 신호의 질과 시간/공간 해상도가 뛰어나다는 장점이 있기는 하지만, 센서의 생체적합성 및 장기간 이식되어도 문제가 되지 않는 디자인과 재질 그리고 신경조직을 상하지 않으면서 저 전력과 무선으로 동작할 수 있는 전극에 대한 연구가 요구된다. 이에 반해, 비침습식은 잡음 문제가 있어 신호의 질이 떨어지지만, 인체에 무해하고 준비과정이 복잡하지 않기 때문에 선호되고 있다[3].
BCI 시스템은 기본적으로 학습 과정과 피드백과정으로 구성된다. 학습 과정은 전처리 단계, 특징 정보 추출 단계와 분류 단계로 나뉜다.

· 전처리 단계
뇌파는 측정 시 전극을 부착하는 위치와 방법, 실험 환경, 피험자의 움직임 등에 의하여 잡음이 발생하기 쉬우며, 잡음이 포함된 뇌파는 BCI 시스템에 사용하기 부적절하다. 따라서 효율적인 BCI시스템을 구성하기 위해서는 전처리 과정을 수행하여 신뢰성 있는 뇌파를 수집하여야 한다.

· 특징 정보 추출 단계
특징추출은 주어진 입력자료보다 적은 차원을 가지면서 동시에 자료를 분류하기 위한 특징을 충분히 포함하는 입력신호의 특징을 찾아내는 과정이다. 이러한 특징을 이용하면 분류를 위한 계산량을 감소시킬 수 있을 뿐만 아니라 불필요한 특징을 제거함으로써 분류성능을 향상시킬 수 있다.

· 분류 단계
특징추출을 거친 뇌파 신호는 실질적인 기기 제어 등을 위한 분석 및 분류 과정을 거치게 된다. 다양한 감각 기관을 통하여 전달되는 정보를 처리, 분석, 종합하여 미리 정의된 특정 패턴들 중 어떤 부류에 속하는지 판별하는 기술이다. 생체 인식의 한 분야인 BCI 분야에서 활용되어지는 기법으로는 은닉마르코프모델(HMM: Hidden Markov Models), Kalman Filter Model, 다층신경회로망(Multi Layer Perceptron)등이 있다.
이후 피드백과정은 마우스커서 컨트롤, 휠체어 운전, 로봇팔의 제어 등의 구체적 응용에 적용한다.

3.2. 주요 동작 및 특징
먼저 Mindwave Mobile2(이하 측정기)와 연결된 클라이언트가 실행되면 호출 서버에 대한 Post Request를 통해 해당 기기의 등록 여부를 확인하고 아닐 경우 등록한다. 그 후 측정기와 현재 블루투스 통신을 하고 있는지 확인하고 정상적으로 수행됨을 확인한 후 측정기로부터 사용자의 뇌파 데이터를 수신받는다. 수신받은 뇌파 데이터는 곧바로 미리 학습된 딥러닝 모델에 의해 호출 상황인지 예측하는 작업을 수행한다.
해당 뇌파가 응급 시 호출 상황일 경우 측정기의 MAC address와 함께 서버로 Get Request를 보내 호출 요청을 전송하게 된다.
호출 요청을 받은 서버는 DB의 ‘call’ 테이블을 확인하여 해당 기기와 호출 관계인 피호출자가 존재하는지 확인한다. 존재하는 경우에는 ‘callee’ 테이블로부터 해당 피호출자의 토큰을 읽어오고 이를 기반으로 Firebase의 FCM을 이용하여 피호출자 모바일 어플리케이션에 호출을 요청한 유저의 이름이 담긴 푸시 메시지를 전송하게 된다.

3.3. 전체 시스템 구성도
3.3.1. 순서도
본 작품의 순서도는 다음과 같다.

3.3.2. 시스템 구성도

측정기를 이용한 뇌파 기반 호출 시스템의 구성도는 다음과 같다. 상황에 따라 측정기와 호출 서버 사이에 존재하는 라즈베리파이는 일반 사용자 컴퓨터로 대체할 수 있다.
라즈베리파이와 사용자가 착용한 측정기는 블루투스 통신을 통해 연결되며 연결이 완료되었을 시 측정기는 사용자의 전두엽으로부터 나오는 EEG 신호를 측정하여 연결된 기기로 송신한다. 본 데이터를 수신받은 라즈베리파이 기기는 딥러닝 모델 중 가장 정확도가 높은 MLP 기반으로 학습된 모델에 의해 해당 EEG 신호를 판별(예측)하게 되며 해당 신호가 호출 상황(응급)인 경우 AWS EC2에 올라가 있는 뇌파 호출 서버로 Http Request를 전송한다.
AWS EC2에는 Django Framework 기반 뇌파 호출 서버와 데이터를 관리하는 MySQL로 이루어져 있다. MySQL에는 피호출자 클라이언트(어플리케이션)의 정보와 호출자 클라이언트(측정기)의 정보가 저장된다.
본 서버는 어플리케이션에 푸시 방식의 알람 메시지를 전송하기 위해 Google Firebase 클라우드를 이용한다. 따라서 서버가 호출자의 호출 요청을 수신받았을 때 연결된 Firebase 클라우드로 피호출자의 토큰 값을 전송해 해당 어플리케이션에 푸시 알람을 전송한다.

3.3.3. DB 다이어그램
호출에 필요한 호출자의 정보(기기 MAC address 및 이름)과 피호출자의 정보(토큰, 이름)을 효율적으로 관리하고 관계성을 정의하기 위해 데이터베이스는 MySQL을 사용한다. 각 테이블의 세부 역할은 다음과 같다.

ⅰ) EEG 테이블
호출을 지시할 측정기 기기의 MAC 주소와 사용자의 이름을 등록 및 관리

ⅱ) callee 테이블
피호출자의 어플리케이션 정보 및 FCM 토큰을 저장

ⅲ) call 테이블
EEG 테이블과 callee 테이블 간 호출 관계성을 정의

3.4. 개발 환경
OS : 라즈베리파이3(라즈비안), 우분투(AWS EC2), 윈도우
개발 언어 : python 3.6, java
개발 툴 : jupyter notebook, android studio, pycharm, git, MySQL
오픈소스 : OpenCV, Firebase, Keras, Tensorflow, Django
디바이스 : Neurosky사 Mindwave Mobile2

4. 단계별 제작 과정
4.1. 측정기와 블루투스 통신을 이용한 사용자 뇌파(EEG) 탐지
본 프로젝트의 뇌파(EEG) 탐지 방법은 다음과 같다.

측정기의 데이터 전송방식은 BLE 4.0을 이용하기 때문에, 측정기와 서버를 중계할 Ubuntu와 Python Bluetooth 연결을 시도한다. 측정기의 블루투스가 Advertising(외부에 자신의 존재를 알리는 기능)은 안정적이지만 Connection(두 블루투스 장치 간 연결을 하는 것)은 불안정한 편이라 연결이 성공할 때까지 그림9와 같이 대략 3~4번의 재시도가 발생한다. 성공하면 측정기와 Ubuntu Linux를 페어링(Pairing)하여 측정된 뇌파를 파형의 종류에 따라 분류하는 결과로 나타난다. 뇌파 수신이 안정적이라면 이후부터 응급호출 상황과 평소 상황을 가정하여 각각 데이터를 측정, 수집한다.

4.2. 뇌파 데이터 수집 및 BCI 알고리즘을 이용한 뇌파 분석
· 데이터 수집
두피에 전극을 배치하기 위한 다양한 시스템이 있다. 연구 목적으로 가장 널리 사용되는 시스템은 21개의 전극으로 구성된 10/20 시스템이다. 눈과 코 사이의 영역은 nasion 영역이고, 머리 뒤에서 두개골의 가장 낮은 지점의 영역은 inion 영역이다. Fig. 10은 10/20 시스템에서 전극의 위치를 보여준다[4]. 해당 프로젝트에서 이용한 측정기기는 위에서 언급한 Mindwave Mobile2이다. 해당 기기는 머리에 헤드셋처럼 낀 뒤에 전극이 붙은 날개 부분을 이마 위에 대고, 그 뒤에 걸린 집게를 귀에 집는 형식으로 되어있다. 이는 그림10과 같이 10/20 시스템에 따라 Fp1, A1 위치의 전극을 이용하여 뇌파를 비침습형 방식(non-invasive)으로 측정한다.

데이터의 수집을 위해 23, 24세의 성인 남성 2명이 프로젝트의 실험자로 진행되었다. 실험자들이 실험에 자발적으로 참여했으며 그들 각자의 동의하에 진행되었다. 응급 상황을 위해, 실험자 2명은 약 1분간 여러 번 기록한 영상이나 공포영화를 보거나 응급 상황을 상상하면서 응급 시 호출 뇌파를 측정하였다. 평상시 상황을 위해, 실험자 2명은 약 10분간 여러 번 게임, 수면, 음식물 섭취 등의 위급하지 않은 상황에서 뇌파를 측정하였다. 측정된 응급상황 뇌파와 평상시 뇌파의 수는 기계학습의 정확도를 위하여 만개 이상이 되도록 하였다.

· 전처리 단계
위에서 언급한 비침습형 방식은 간편하지만 수집한 데이터의 정확도가 떨어지는 단점이 있다. 하지만, 이 문제는 측정기 내부의 알고리즘으로 불필요한 신호를 높은 수준으로 걸러낼 수 있게 되었다. 측정기로 뇌파를 측정한 후 더 정확한 데이터의 수집을 위해 해당 프로젝트에서는 유효한 뇌파만 검출하여 데이터 형식을 csv로 가공하였다. 측정기에서 측정된 rawdata는 각 delta, theta, lowAlpha, highAlpha, lowBeta, highBeta, lowGamma, midGamma, meditation, 그리고 Attention 총 10개의 column으로 구분되어 매 초마다 출력된다. 추가적으로 눈 깜박임도 측정되지만, 이를 기록했을 경우 rawdata가 1초가 아닌 3초마다 출력되기 때문에 정확도가 오히려 낮아질 수 있다고 판단되어 측정에 고려하지 않았다. 이때 응급상황일 경우 meditation과 attention이 0일 때를 모두 제거하고 0이 아닌 데이터만 csv로 받아와 train, test data를 생성했다. 측정하고 전처리 된 평상시 데이터와 응급상황 데이터는 다음과 같다.

· 특징정보 추출 단계

특징을 추출하기 위해 몇 가지 통계 도구를 사용했다. 코드에서 이들을 구현하기 위해 scikit-learn, tensorflow 등의 python 라이브러리를 사용하여 분류를 위해 10개의 column으로 이루어진 데이터셋을 가공하였다. 다음 Scaler는 뇌파신호의 통계적 특징을 계산하는 데 사용된다.

RobustScaler

10개의 column을 가진 각각의 데이터들이 같은 scale을 갖게 되지만, 평균과 분산 대신 중앙값(median absolute deviation)과 사분위 값(interquartile range)을 사용한다. 따라서 기존 평균, 표준편차를 이용한 scaler와 달리 측정 에러(이상값)의 영향을 받지 않는다. 즉, 중앙값(MAD)이 0, 사분위 값(IQR)이 1이 되도록 변환한다[5].

i ) Interquartile Range(IQR)
IQR은 은 데이터 세트를 사분위수로 나누는 것을 기반으로 하는 변수 측정 방법이다. 사분위수는 정렬된 데이터셋을 4개의 동일한 부분으로 나눈다. 분리된 분위 값을 각각 1사분위, 2사분위, 3사분위라고 한다. 그것들은 각각 Q1, Q2 및 Q3으로 표시된다. 75 분위수와 25 분위수 사이의 차이 또는 상한과 하한 사이의 차이와 같다. 식은 다음과 같다[6].

IQR = Q3 – Q1

ii ) Median(MAD)
중앙값은 상위 절반을 데이터 샘플의 하위 절반, 모집단 또는 확률 분포와 구분하는 값이다. 즉, 어떤 주어진 값들을 크기의 순서대로 정렬했을 때 가장 중앙에 위치하는 값을 의미한다. 확률 분포에서, 실수 m이 다음 식을 만족할 경우 그 값을 확률분포 P의 중앙값이라고 정의한다. 식은 다음과 같다[7].

· 분류 단계
해당 프로젝트에서는 MLP(DNN), SVM, CNN 세 종류 방식의 머신러닝 알고리즘을 이용하여 뇌파를 훈련했다. 각 머신러닝 알고리즘을 이용한 데이터의 정확도는 다음과 같다. 3가지 머신러닝 알고리즘을 사용한 이유는 더 정확도가 높은 머신러닝 알고리즘을 프로젝트에 적용하기 위함이다.

초기 SVM 알고리즘을 이용한 데이터를 실험했을 때 60%정도로 정확도가 낮았으나 이후 함수에 대한 다양한 변수값의 변화를 줌으로써 80%대까지 끌어올릴 수 있었다. 그러나 더 정확한 테스트를 위해 CNN, MLP 알고리즘을 추가 적용하였다. 그 결과 MLP가 약 95%의 정확도를 선보여 최종적으로 해당 프로젝트에 MLP 알고리즘을 적용할 수 있게 되었다. 추후 응급 상황뿐만이 아닌 다양한 상태의 뇌파를 판단할 때 이외의 알고리즘도 적용할 수 있다는 여지를 남겨두었다.

·피드백 과정

이후 csv로 저장된 뇌파를 훈련한 알고리즘을 h5 형태의 파일로 저장하여 Ubuntu에서 받아오는 뇌파에 즉석으로 적용할 수 있도록 하였다. 훈련된 데이터를 측정한 동일한 실험자에게 먼저 이 알고리즘을 적용한 결과, 정확도 높은 응급호출을 할 수 있었다. 데이터를 측정하지 않은 다른 실험자에게도 알고리즘을 적용해 응급호출상황을 가정해 실험해보았더니 이 또한 높은 정확도로 결과를 도출해낼 수 있었다.

4.3. Django 서버 프레임워크와 MySQL을 이용한 뇌파 호출 (메세징) API 서버 구현

높은 생산성과 머신러닝 라이브러리와의 지원과 같은 이유로 서버는 파이썬 Django 프레임워크를 선택하여 개발하였다. 측정기기의 MAC 주소와 피호출자 어플리케이션의 FCM 토큰값을 저장하기 위한 데이터베이스로는 MySQL을 사용하여 구현하였다.
만약 사용자의 특정 뇌파 패턴(호출 상황)이 감지된 경우 서버에 호출 요청을 하게 되고 서버는 해당 기기의 MAC주소와 연결되어있는 모든 클라이언트에게 FCM(Firebase Clout Message)를 통해 푸시 알람을 보내주게 된다.

4.4. 안드로이드 어플리케이션과 Firebase Cloud Message를 이용한 푸시 알람

사용자 어플리케이션의 효과적인 푸시 알람을 구현하기 위해 구글 Firebase를 이용하였다. 안드로이드 어플리케이션 구동 시 사용자는 Firebase로부터 토큰값을 할당받는다. 해당 토큰값을 뇌파 호출 서버에 등록하기 위해 어플리케이션 첫 실행 시 사용자는 개인의 식별 ID와 함께 토큰값을 서버에 전달하게 된다.
서버가 정상적으로 토큰을 DB에 저장했을 경우 사용자의 어플리케이션 로컬 스토리지(SharedPreference)에 해당 값을 기록하여 토큰이 서버에 저장되어 있음을 명시한다.
안드로이드 서비스 컴포넌트를 이용하여 어플리케이션은 Firebase로 부터 백그라운드 상황에서 푸시 알람을 받을 수 있으며 해당 경우 호출자의 이름과 함께 “호출하였습니다.” 메시지를 출력하게 된다.

5. 기타
5.1. 결론

본 프로젝트를 통해 응급 뇌파 호출을 위한 서버 시스템 및 통신 호출 관계를 정의하고 구축하였으며 뇌파 분석을 위한 알고리즘을 설계하였다. 실험 결과, 응급 상황 시에는 Meditation 및 Attention 수치가 일정 수준의 값을 보이는 것을 확인하였으며 이를 이용하여 정확한 알고리즘을 설계할 수 있었다. 이와 같은 뇌파 분석결과를 이용하여 의료분야뿐 아니라 게임 및 산업체 등 다양한 방면으로 뇌파 분석 시스템을 활용할 수 있다. 향후 연구 방향으로 더욱 다양한 상태의 뇌파 형태를 분석, 가공하여 4차 산업혁명의 시대에 맞는 다양한 뇌파 서비스를 제공하고자 한다.

5.2. 소스코드
https://github.com/Below0/EEG-Communication에서 확인할 수 있다.

5.3. 참고 문헌
[1] 조용환(2019.3.19.). 브레인 Vol.74, 10대 유망기술 BCI, 핵심은 ‘뇌파’. Retrieved from https://www.brainmedia.co.kr/BrainEducation/20968
[2] 김들풀(2019.2.6.). it뉴스, 뇌파를 음성으로 변환…BCI기술 구현. Retrieved from. http://www.itnews.or.kr/?p=29994
[3] 김귀정, 한정수 (2015). 뇌파를 이용한 BCI 게임 동향 고찰, 디지털융복합연구, 13:6, 178-179, 잠재적 사용자 대상 뇌-기계 인터페이스 (Brain-Machine Interface, BMI) 기술 개발을 위한 수요조사 (한국직업재활학회, 2014), 5-25에서 재인용.
[4] Max Roser, Esteban Ortiz-Ospina, Hannah Ritchie (2019). Life Expectancy. Retrieved from https://ourworldindata.org/life-expectancy
[5] Omid Bazgir, Zeynab Mohammadi, Seyed Amir Hassan Habibi (2018). “Emotion Recognition with Machine Learning Using EEG Signals.” 2018 National and 3rd International Iranian Conference on Biomedical Engineering (ICBME). IEEE 25: 1-5. Retrieved from https://arxiv.org/abs/1903.07272.
[6] V. Jurcak, D. Tsuzuki, and I. Dan. (2007) “10/20, 10/10, and 10/5 systems revisited: their validity as relative head-surface-based positioningsystems.”Neuroimage34(4): 1600-1611.
[7] 데이터 사이언스 스쿨(2016). scikit-learn의 전처리 기능. Retrieved from https://datascienceschool.net/view-notebook/f43be7d6515b48c0beb909826993c856/
[8] Wikipedia. Interquartile Range(IQR), Retrieved from, https://en.wikipedia.org/wiki/Interquartile_range
[9] Wikipedia, Median(MAD), Retrieved from, https://en.wikipedia.org/wiki/Median
[10] 한국콘텐츠진흥원(2011.3.). 문화기술(ICT) 심층리포트 12호:BCI 기술동향, Retrieved from https://www.kocca.kr/knowledge/publication/ct/__icsFiles/afieldfile/2011/03/24/HrswSxQXZXsO.pdf
[11] Akbari, H., Khalighinejad, B., Herrero, J.L. et al. Towards reconstructing intelligible speech from the human auditory cortex. Sci Rep 9, 874 (2019). https://doi.org/10.1038/s41598-018-37359-z
[12] “SVM using Scikit-Learn in Python.” learn opencv. n.d. 수정, Retrieved from https://www.learnopencv.com/svm-using-scikit-learn-in-python/.Scikit-learn: Machine Learning in Python, Pedregosa et al., JMLR 12, pp. 2825-2830, 2011.

2020 ICT 융합 프로젝트 공모전 우수상

자동시스템과 원격 제어 앱을 갖춘 버스용 창문

글 | 국민대학교 구창진, 박지호, 임성현, 최형종

1. 심사평
칩센 기술을 논하자면 모터 제어를 통한 슬라이드 창문 개폐기 정도로 요약이 가능할듯 합니다. 하지만, 특정한 목표를 가지고 있고 그것이 필요한 이유에 대한 기획의도가 명확합니다. 또한, 그 기획의 타당성 또한 실제 수요층을 대상으로 수요 조사까지 이루어진 주제입니다. 많은 사람이 기능이 단순한 것은 문제가 아니라는 것, 그리고 그 기술이나 기능이 어떻게 쓰여질지 아는 것 또한 분명 중요한 포인트라는 것을 간과하는 경우가 있는데 지원자는 그 부분에 대하여 명확하게 짚어 낸 듯 합니다. 여러 상황에 대한 시연 동영상 또한 심플하지만, 제작 의도를 명확하게 보여주었습니다. 따로 흠잡을 것이 없지만, 창문이 열리고 닫히는 반응이 좀 느린 듯 한데 뭐가 원인일까 궁금해지기는 합니다.
펌테크 기획구성부터 제작과정을 포함해 사전 설문조사까지 시행하는 꼼꼼함이 반영된 실용적인 작품이라고 생각합니다. 제출된 보고서의 내용도 명확했고, 제품완성도 면에서 우수한 작품이라고 판단됩니다.
위드로봇 버스의 창문을 공기 질에 따라 자동으로 여닫는 아이디어는 좋으나 구현한 방법의 기대효과는 떨어집니다. 좀 더 다른 방법의 구현 아이디어가 필요합니다.

2. 개요

버스 외부의 미세먼지와 우천 시 빗물 유입을 자동 센서로 막겠다는 목적으로 작품 개발을 시작하였다. 우리 팀의 작품명은 ‘자동시스템과 원격제어 앱을 갖춘 버스용 창문’이다.
우리 팀이 해결하려는 문제점은 대중 버스의 창문이 열려있고, 그 좌석이 공석일 때 창문을 닫아줄 사람이 없다는 것이다. 이와 같은 문제 때문에 우천 시 빗물과 미세먼지의 유입에 대한 불만, 경제적 비효율, 불편리함 등을 줄이려고 이 작품을 만들게 되었다.
대중 버스 이용 중에 문제점의 실태를 파악하고, 그 문제점을 ICT 기술을 통해 해결하려 했다. 현재 우리나라 미세먼지의 위험성의 급증에 따른 피해를 최소화하기 위한 기술이다. 버스 천장에 미세먼지 센서와 빗물 센서를 부착하였고, 센서에서 인식한 값을 버스 기사가 편리하고 쉽게 알 수 있도록 어플을 개발하였다. 미세먼지 농도를 이미지로 표현하여 버스 기사가 앱을 통해 원격으로 제어할 수 있다.
대중 버스 창문 개방의 문제점과 이에 대한 해결책인 원격 제어 창문에 대한 대중의 인식을 버스기사와 승객한테 직접 설문조사하여 파악했다. 문제점을 자세히 알기 위해 관련 기사를 참고하였다. 원격 제어 창문의 기대효과의 설문 조사 결과가 매우 긍정적임을 보았을 때 기술의 효율성과 긍정성이 상당히 높다고 판단하였다.

2.1 작품의 필요성
2.1.1 미세먼지
2.1.1.1 심각성

미세먼지는 인체에 매우 유해하다. 위의 기사에 따르면, 세계보건기구(WHO)가 ‘2019년 건강을 위협하는 10대 요인’의 첫 번째로 ‘대기오염과 온난화’를 꼽았는데 이 대기오염을 유발하는 미세먼지를 ‘1군 발암물질’로 분류하고 있다. 미세먼지는 암, 치매, 우울증 등 많은 병을 유발하고 미세먼지 때문에 이른 나이에 사망하는 인구가 세계적으로 연간 700만 명에 달한다고 한다. 이는 흡연으로 인한 사망자보다 많은 수이다. 이런 미세먼지를 우리는 더 이상 간과해서 안 되며, 심각성을 인지하고 대비해야 한다. 또한 미세먼지에 대한 뉴스의 보도는 약 3시간을 간격으로 발표될 만큼 상당히 민감한 문제임을 확인할 수 있다.

2.1.1.2 미세먼지에 대한 대중 버스의 취약점

창문이 열려있는 공석에서의 미세먼지 유입이 버스 내부의 미세먼지 농도를 높이는 주요 원인이다. 공석 자리의 창문 개방을 확인하기 위해 총 45번의 버스를 이용하였고(기간 :2020.02.15.~2020.03.27.), 총 24번 이러한 상황을 목격하였다. 열려있을 확률은 53.3%로 꽤 높다는 것을 확인하였다.

2.1.1.3 미세먼지에 대한 대중의 시선

2.1.1.4 미세먼지에 대한 설문조사 (대상 : 버스기사)
총 3일간 버스 기사님 43명을 직접 만나 설문조사하였습니다.
버스 창문 설문지 결과 조사 미세먼지와 빗물의 유입으로 인해서 불편한 점이 많고, 이 문제를 해결해야 할 필요성을 느끼게 되었다.

2.1.2. 고속버스
2.1.2.1. 고속버스의 특성
고속버스는 안전성, 소음 최소화, 연료 효율성을 위해 통유리를 사용한다. 통유리를 사용하지 않으면 승객이 창문을 열 수 있고, 위에 적은 다양한 문제가 발생할 것이다. 통유리를 사용하기 때문에 고속버스 내부를 청소한다거나 저속 주행 시에 내부 환기 시스템에만 의존해야 한다.

2.1.2.2. 통유리의 불이익과 해결방안

통유리가 아닌 자동 창문을 사용하게 되면 승객들의 자의적인 창문을 열고 닫음을 방지할 수 있으며, 통유리 구조가 아닌 개·폐형 창문을 사용할 수 있게 된다. 또한 저속 주행을 할 때, 차량 내부를 청소할 때 창문을 열 수 있다.

2.2. 기술 도입에 따른 기대 효과
① 편리성
자동 창문 시스템으로 인하여 공석의 열려있는 창문을 불편하다고 생각하는 누군가가 대신해서 닫아야 하거나, 열려있는 상태 그대로 미세먼지가 버스 내부로 유입되는 것을 방지할 수 있다.

② 만족감
미세먼지 방지의 기술을 탑재함으로써 버스 내 미세먼지를 저감해 승객들의 만족감을 올려줄 수 있다. 위 기술의 도입으로 인해 대중버스에 대한 신뢰성이 높아질 것이다.

③ 경제성
원격 제어 앱을 통해 창문을 한 번에 열고 닫아 냉, 난방 손실을 줄이고 에너지 효율을 높일 수 있다. 고속버스가 고속 주행할 때 창문을 한 번에 닫아 공기저항을 줄여서 연비 효율을 높일 수 있다.

3. 작품 설명
3.1. 주요 동작 및 특징
3.1.1. 앱을 통한 주요 동작 및 특징

ⓐ 미세먼지, 빗물 센서에서 받아온 데이터를 아두이노 A0, A1번 핀 으로 받는다. ⓑ 이렇게 받아온 미세먼지 값을 실제 기상청 기준에 맞는 값으로 변경시켜 준다. ⓒ 환경부에서 제공하는 총 4단계 기준에 따라 dust_standard 값을 ‘좋음’=0 , ‘보통’=1, ‘나쁨’=2,‘매우나쁨’=3으로 설정하였다. 여기서 dust_standard 값이 총 5가지 경우로 나타냈다. 만약 미세먼지 센서가 인식중이라면 -1을 가지게 설정했다. ⓓ 이렇게 얻은 dust_standard 값을 블루투스를 이용하여 값을 app으로 보내준다. ⓔ 이 값에 따라 app에서 사용자에게 미세먼지의 등급을 그림으로 보여준다. ⓕ rain_value의 값은 따로 변경시켜주지 않고 , 센서를 통해 받아온 값을 블루투스를 이용하여 app으로 보내 ‘빗물 센서 값’에 나타냈다.

3.1.2. 센서 값에 따른 모터의 주요 동작 및 특징

ⓐ 각 센서로 부터 받아온 값을 motor_run() 함수의 case 0번 조건문으로 들어간다. ⓑ 환경부에서 제공한 미세먼지의 ‘나쁨’ 등급이거나 , 빗물 센서의 값이 60 이하 일 때 창문이 닫힌다. 또한 미세먼지 80 이하 이고 빗물 센서의 값이 60 이상인 조건을 둘 다 만족하면 모터의 동작을 멈춘다. 그 이외의 경우에는 창문이 열린다. ⓒ 모터를 구동하는 시간을 설정하기 위해 motor_check가 1일 때만 구동하게 설정했다. 이 motor_check는 timer를 6초 이하일 때만 1이 되게 설정했다. 여기서 6초로 설정한 이유는 직접 렉과 피니언을 구동시키면서 창문이 완전히 닫히고 열릴 때의 시간이다.

3.1.3. app 버튼에 따른 모터의 주요 동작 및 특징

ⓐ app에서 제공하는 버튼은 총 3개이며 open, close, stop이 있다. ⓑ open은 ‘a’, close는 ‘b’, stop은 ‘c’를 나타낸다. ⓒ 각 버튼을 눌렀을 시, 버튼에 해당하는 값을 블루투스를 통해 아두이노로 보내준다. ⓔ 이렇게 얻어온 값은 bluetoothh()함수를 통해 motor_run()함수로 값을 보내준다. ⓕ ‘a’가 입력되면 case4, ‘b’가 입력되면 case5, ‘c’가 입력되면 case3로 이동하게 된다. ⓖ case4와 case5에선 case1과 case2로 이동하게 된다. case 1번과 2번으로 바로 넘어가지 않은 이유는 Timer2의 초기화 작업이 필요해서이다. ⓗ case1은 창문을 여는 방향, case2는 닫는 방향, case 3는 창문의 구동을 멈춘다.

3.2. 전체 시스템 구성

3.2.1. HW
3.2.1.1. 하드웨어 구성
· 아두이노 보드 : 총 44개의 핀과 단자들로 구성되어 있고, 각 핀과 단자들은 아두이노와 다른 보드 또는 센서들의 제어에 이용할 수 있는 장비이다.
· 구동 모터 : 헬리컬기어의 모터로써 다른 모터보다 출력이 상대적으로 높아 낮은 감속비일 때 더 높은 토크와 RPM을 낼 수 있다. 이 모터를 활용하여 창문을 닫고 여는데 실질적인 역할을 하는 구성요소이다.
· 블루투스 HC-06 모듈 : 아두이노에서 시리얼통신을 이용하여 우리가 직접 만든 앱과 데이터 값을 주고받을 수 있는 모듈이며, 약 10m 정도 거리에서 무선으로 데이터를 보내거나 받을 수 있는 요소이다.
· 모터 드라이버 (L298N) : 모터와 아두이노를 연결하는 모듈로써, 모터의 속도와 위치 제어를 할 수 있다. 또한 DC모터 2개 또는 스테핑 모터를 연결하여 제어가 가능하며, 입력전압은 여기선 5V를 이용하였다.
· 빗물 센서 : 창문에 부착하여 비가 오는지 안 오는지 판단할 수 있게 하는 센서이다. 빗방울 감지 센서 기판의 전극부분이 물과 접한 면적이 클수록 저항 값이 작아지고, 흐르는 전류량이 상대적으로 커지게 된다.
· 미세먼지 센서 : 대기 중의 미세먼지를 측정하는 센서로써, 직경 10마이크로 이하의 입자상 물질을 측정해 낸 다. 미세먼지 센서 안에는 적외선 센서가 포함되어, 적외선 수신기와 송신기가 먼지에 의해 반사되는 빛의 양을 파악해 입자를 감지하여 대기 중의 미세먼지를 측정한다.
· 랙과 피니언 : CATIA 프로그램을 통해 3D 설계를 한 후 랙과 피니언 시뮬레이션을 거쳤다. 이에 3D 프린팅을 외주 작업을 거쳐 만들었다.
· 각목, 골판지, 단프라박스, 아크릴판: 버스를 만드는 데에 쓰인 재료이다. 각목을 통해 창틀을 만들었고, 창문은 아크릴 판을 제작하여 만들었다. 골판지를 통해 차체 내부를 만들었으며 단프라 박스를 이용하여 차체의 카울을 만들었다.

3.2.1.2 하드웨어 구조

3.2.2 SW
3.2.2.1 구성 및 각 함수별 기능
① 미세먼지 센서 함수 주요 기능

② 빗물 센서 함수 주요 기능

③ 블루투스 함수 주요 기능

④ 모터 방향 및 속도제어

⑤ 모터 타이머 설정하는 함수 주요 기능

⑥ 상황에 따른 모터 제어 함수의 주요 기능

3.2.3. SW – App – Remote Control
3.2.3.1. 앱 화면
환경부의 기준에 맞게 분류하였다. 나쁨과 매우나쁨에서 자동화 시스템이 작동하며, OPEN, CLOSE, STOP으로 작동을 시킬 수 있다.

3.2.3.2. 앱 개발

① 앱 설명

① 맨 왼쪽 위에 블루투스 설정을 할 수 있는 버튼을 생성해주었다. ② 그 바로 아래에 가로로 나눠서 OPEN, CLOSE, STOP 버튼을 만들어 주었다. 다만, 수직 배치 레이아웃을 사용하여 왼쪽 사진에는 버튼이 보이지 않는다. ③ 레이블1 : 아두이노에 연결한 미세먼지, 빗물 센서의 값을 블루투스 모듈을 통하여 앱에 전송해주는 칸이다. ④ 레이블3 : 미세먼지 센서에 의한 측정값에 따라 ‘인식중’, ‘좋음’, ‘보통’, ‘나쁨’, ‘매우나쁨’을 표시해주도록 설계하였다. ⑤ 이미지 : 사용자가 쉽고 빠르게 미세먼지 농도를 알아차릴 수 있도록 레이블 3 밑에 이미지가 같이 나타나게끔 사진을 첨부하였다. ⑥ ‘보이지 않는 컴포넌트’ : ‘BluetoothClient1’ 과 ‘시계1’을 추가하였다. ‘BluetoothClient1’은 블루투스를 연결하기 위해 필요한 컴포넌트이고 ‘시계1’은 앱 내부에서 작동하는 시계로, 시간이 증가함에 따라 다음 센서 값을 받아오기 위해 필요한 컴포넌트이다.

② 블루투스 연결

위 사진은 블루투스를 연결하기 위해 필요한 블록이다. ‘목록선택버튼1’이란 앱 디자인 사진에서 ‘블루투스 설정’ 버튼을 의미한다.
① ‘목록선택버튼1’을 클릭하기 전 : 앱 상에 ‘블루투스 설정’이라고 나타나있다.
② ‘목록선택버튼1’을 클릭한 후 : 연결 가능한 블루투스 기기들 목록이 표시된다. 아두이노의 블루투스 모듈(HC-06)을 선택하면 사용자의 기기와 이 시스템이 통신을 시작한다.

③ 블루투스 기능 블록

① “Button1 = OPEN 버튼” 이 버튼을 누르면 Bluetooth로 아두이노에 a라는 값을 보내게 된다.
② 이 값은 아두이노 소스코드의 ‘val’이라는 값에 저장된다.
③ ‘val’은 소스코드의 조건문을 타고 모터를 구동 시키게 되고 창문을 열 수 있다.
동일한 원리로 “Button2 = CLOSE(창문을 닫음)”, “Button3 = STOP(모터를 멈춤)” 기능을 한다.

④ 센서에 따른 이미지 블록

미세먼지 센서 값과 그에 따른 이미지를 보여주는 블록이다. 시계1을 항상 활성화 시켜 놓고 타이머 간격은 1초로 설정하였다. 앱이 시작하자마자 앱 내의 시계가 작동하며, 1초 간격으로 위 조건문이 실행하게 된다.
① 가장 우선순위가 높은 조건문은 ‘블루투스 연결이 되었는가’이다.
② 연결이 되었다면 다음 조건문인 ‘블루투스로 받을 데이터가 0보다 큰 가’를 확인한다. 받을 데이터가 있다면 그 데이터를 레이블1에 표시해준다. 아두이노 코드를 통해 미세먼지 센서 값과 빗물 센서 값을 블루투스로 송신하도록 설계하였다.
③ 블루투스로 송신한 값을 받기 위해 앱 자체적으로 지역 변수 ‘dust_standard’를 만들었다. 1바이트의 숫자데이터를 받는다. 이 값은 -1, 0, 1, 2, 3이 되는데 각 경우는 미세먼지 농도에 따른다.
④ 텍스트와 이미지로 각 경우에 따라서 스마트폰 화면에 함께 나타내준다.

3.3. 개발 환경
3.3.1. S.W 개발
개발 OS : Windows 10, 통합개발환경 : Arduino IDE, 개발 언어 : C언어

3.3.2. H.W 개발
설계 프로그램 : CATIA, 제작 프로그램 : 3D Printing5

3.3.3. 앱 개발
사용 OS : Android, 개발 프로그램 : MIT APP INVENTOR

4. 단계별 제작 과정
4.1. 아이디어 구상
4.2. S/W 개발 및 설계

4.3. H/W 설계 및 제작

4.4. 조립 완성 및 기술 시연

5. 기타
5.1. 회로도

5.2. 소스코드

5.3. 제품도

5.4. 참고문헌
1. 기어 한국미스미, 기어 기술자료, file:///C:/Users/user/AppData/Local/Microsoft/Windows/INetCache/IE/8U9RBEK8/3010gijutu_kr.pdf
2. IAMAMAKER, MIT APP INVENTOR 교육자료, http://www.iamamaker.kr/ko/tutorials/%EC%95%B1-%EC%9D%B8%EB%B2%A4%ED %84%B0-%EC%8B%9C%EC%9E%91%ED%95%98%EA%B8%B0/
3. NAVER 지식 IN, 미세먼지 싫어요 검색, https://search.naver.com/search.naver?sm=top_hty&fbm=0&ie=utf8&query=%EB%AF%B8%EC%84%B8%EB%A8%BC%EC%A7%80+%EC%8B%AB%EC%96%B4%EC%9A%94
4. 조현진,“[학생 칼럼] 한반도 뒤덮는 미세먼지의 심각성”, 경기일보, 2020.03.26 http://www.kyeonggi.com/news/articleView.html?idxno=2262228
5. 최영일,“비상 문 없는 통유리, 참사 키워”, YTN, 2016.10.14 https://www.ytn.co.kr/_ln/0103_201610142027549854
6. naver포스트, 통 유리 사고 https://m.post.naver.com/viewer/postView.nhn?volumeNo=15321360&memberNo=40864363&vType=VERTICAL, 2020년
7. 환경부, 미세먼지 대처방안, http://www.me.go.kr/home/file/readDownloadFile.do?fileId=97828&fileSeq=1&openYn=Y
8. 우성은 외 2명 , 대중교통 차량의 실외 미세먼지 유입에 관한 연구, 대한건축학회 학술발표대회 논문집 , 2018년
9. 이용일 외 6명 , 대중교통수단 및 자동차의 실내공기질에 대한 노출 분석, 환경독성보건학회 추계국제학술대회[초록집] , 2013년
10. 이현우 외 7명 , 국내 외 자동차 실내공기질 관련 연구 동향 , 한국자동차공학회 춘 추계 학술대회 논문집 , 2006년

2020 ICT 융합 프로젝트 공모전 우수상

TWO EYES (Two Camera watch wet road) 

글 | 한국항공대학교 노윤석, 고려대학교 이준세, 가천대학교 김지연, 정진화

1. 심사평
칩센 이미 공공 서비스 영역에서 유사한 방식으로 영상을 이용한 포트홀 검출과 그에 대한 유지 보수를 적용하는 것으로 알고 있습니다. 이는 스마트시티의 여러 서비스 중에 하나로서 당연히 V2V, M2M 까지의 서비스를 염두에 두고 있는 부분입니다. 이미지 프로세싱을 통한 젖은 노면을 검출하는 것은 실질적으로는 다양한 변수에 의해서 충분한 보완이 필요하겠으나, 해당 동작을 구현하고 RC카에 카메라를 장착하여 시연을 할 수 있다는 것은 매우 인상적입니다. 향후 진보된 작품이 기대됩니다.
펌테크 작품의 아이디어와 실용성 창의성이 돋보이는 작품으로 생각됩니다. 영상처리, 서버 구축, 구동부 로봇 구성 등의 기술을 효율적으로 접목하여 기획의도에 맞게 시스템을 안정적이고 완성도 높게 구현하였고 제출된 보고서 구성 내용도 명확하고, 충실했다고 생각이 듭니다. 전체적으로 기획의도, 기술 구현도, 완성도 등에서 상당히 뛰어나고 훌륭한 작품으로 생각됩니다.
위드로봇 편광 필터를 통과한 두 장의 이미지에서 젖은 노면을 찾아내는 연구는 최근 연구소에서도 많이 진행하고 있는 주제입니다. 검출 영역의 정확도를 좀 더 신경 쓰면 좋은 결과를 얻을 수 있을 것으로 보입니다.

2. 작품 개요
삼성교통안전문화연구소의 2009년~2013년까지 5년간 비 오는 날 교통사고 조사결과에 따르면, 우천 시 교통사고 100건당 치사율은 2.28명으로 평균 교통사고 치사율의 4.3배에 달했다. 또한 비 오는 날 교통사고 발생 건수는 하루 평균 2천800여 건으로 평상시보다 10.3% 많았다. 사고 유형별로는 차량 단독사고의 발생률이 1.5배 이상 크게 높아졌다. 이는 차량간 사고가 아니기 때문에 운전자가 노면 상태에 대해 인지하고 빗길 주행 시 커브 길에서의 도로 이탈이나 수막현상으로 인한 전도 및 전복 등에 주의하여 적절한 대처를 한다면 사고율을 크게 낮출 수 있다는 것을 의미한다. 하지만 많은 운전자가 노면 상태를 인지하지 못하거나, 인지하더라도 대처를 제대로 하지 못하는 것이 현재 상황이다.
이러한 문제를 해결하기 위해 비, 결빙 등에 의한 주의해야할 노면 상태를 인식하여 운전자에게 현재 노면 상황을 인지시키고, 이에 따른 대처까지 할 수 있도록 하였다.
또한, 현재 시판되는 자율주행 시스템은 단순 영상 분석으로 도로 상황을 인지하기 때문에, 젖은 도로에 대한 인식률이 떨어진다. 그리고 역광이나 반사광에 의해 분석해야 할 이미지가 제대로 인식되지 않는 경우도 있다. 실제로 18년 3월 테슬라의 자율주행 차량이 역광으로 인해 트럭을 하늘로 잘못 인식해 사고가 발생하기도 했었다.
본 프로젝트의 편광필터를 이용한 영상 분석 시스템은 역광과 반사광에 의한 인식률 저하를 해결할 수 있고, 물리적인 반사광의 차이로 젖은 노면을 검출하기 때문에 기존의 시스템보다 더 정확한 노면 분석이 가능하게 하였다.

2.1. 비즈니스적 이점
2.1.1. 현재 시장에서의 이점
대중화 가능한 블랙박스
저렴한 가격에 다양한 기능(편광필터로 인한 반사광 보정 영상 제공, 노면 상태 알림)이 포함된 블랙박스 형태로 제작하여 대중화함으로써 블랙박스 제공자가 다양한 도로정보 데이터셋을 수집할 수 있다. 또한 도로정보가 필요한 네비게이션 회사나 보험사 등에 데이터셋을 제공 하여 추가적인 이윤 창출도 가능하다.

노면상태 검출 알고리즘
도로 결빙이 잦은 구간, 수막현상으로 인한 사고가 빈번한 구간의 도로 감시 시스템으로 본 알고리즘을 납품해 이윤을 창출할 수 있다. 고가의 센서를 연동하지 않고, 2개의 카메라를 통해 도로 노면의 상황을 감시하고 노면의 젖음을 쉽게 인지할 수 있기 때문에 기존의 가로등 또는 전광판에 소형 카메라 모듈을 부착해 구현할 수 있어 관련 공사의 번거로움이 적어 잠재적인 고객(도로교통 공사 등)을 설득할 수 있다. 잠재적인 고객은 실시간 도로 노면의 상황을 영상처리로 획득할 수 있어 ‘감시카메라’ + ‘도로 노면 모니터링 장비’의 2가지 기능을 한번에 구현할 수 있는 것이 장점이다.

2.1.2. 미래 시장에서의 이점
자율주행 시스템의 보완
소비자들은 자율주행차의 상용화 가능성에 대한 의구심을 떨쳐내지 못하고 있다. 이는 자율주행차의 안전성에 대한 소비자들의 불신 때문이다. 많은 곳에서 자율주행차 기술의 완성도를 높이기 위해 많은 힘을 쏟고 있지만 이러한 노력에도 소비자들의 불신이 유지되는 이유는 아직 존재하는 모든 상황에 자율주행차가 대응하지 못하기 때문이다. 비나 눈, 결빙 등에 의해 변화되는 특수한 노면 상태는 사람의 육안으로는 쉽게 구별 가능하더라도 자율주행차는 구별이 어려워 대처가 미숙하다. 운전자가 필요없는 5단계의 완전 자율주행 시스템을 달성하기 위해서는 사람의 개입이 전혀 없는 상태에서도 모든 상황에 대응할 수 있어야 한다. 그렇기 때문에 본 프로젝트에서 제안되는 기술을 통해 젖은 노면이라는 구체적인 상황에 대응하는 모습을 보여준다면 소비자들의 신뢰를 얻을 수 있고 이는 기업의 이익 창출에 도움이 될 것이다.

2.2. 작품 목표
2.2.1. 우천 시 교통사고 예방 효과를 높인다
노면 상태가 불량할 시 운전자에게 경고를 하여 주의하여 주행 하도록 유도할 수 있다.

2.2.2. 특수 노면 상태에 대한 라벨링된 데이터셋을 가공하여 자율주행 머신러닝과 관련 기업에 제공할 수 있다.
머신러닝 기반의 자율주행 시스템의 완성도를 높이기 위해서는 잘 정제된 데이터셋이 필수적이다. 검출된 노면 상태와 그에 대응하는 도로 이미지와 위치정보, 날씨 등을 하나의 데이터셋으로 가공하여 더욱 정교한 자율주행 시스템 개발에 도움을 줄 수 있다. 또한 도로 상태 정보를 자동차보험회사나 도로교통공단 등에 제공하여 이윤 창출이 가능하다.

2.2.3. 일반 차량에 설치하여 대중화를 목표로 한다.
머신러닝 기반의 자율주행 시스템에는 데이터셋의 질 뿐만 아니라 양도 중요하다. 적은 부품으로 다양한 기능이 구현된 블랙박스로 구성하여 제품에 대한 접근성을 높이고, 그에 따라 더 많은 다양한 차량과 상황에 대한 데이터셋 수집이 가능하다.

2.2.4. 자율주행차량의 특수 노면 상태에 대한 인식률을 높인다.
현재 시장의 자율주행 시스템은 우천이나 결빙 등의 특수 노면 상태에 대한 대처가 미숙한 상황이기 때문에, 이를 보강할 수 있다.

2.2.5. 블랙박스 영상의 정확도를 높인다.
기존의 블랙박스에도 역광 또는 반사광 보정 기능이 있지만, 소프트웨어상에서의 보정이기 때문에 한계가 있다. 편광 필터에 의한 반사광 제거를 통해 더욱 정확한 영상 녹화가 가능하다.
3. 작품 설명
3.1. 전체 동작 및 특징
3.1.1. 편광 필터 카메라를 통한 노면 상태 검출 시스템 제작
편광 필터가 부착된 웹캠을 이용하여 노면 상태를 검출한다. 본 시스템은 젖은 도로의 노면 부위를 검출하기 위해 각각 수평, 수직 편광 필터가 부착된 2개의 USB 카메라에서 이미지 정보를 습득한 뒤에, 임계값 기법 알고리즘(Threshold)를 통해 습득된 이미지의 상호 유사도를 추정한다. 웹캠의 영상을 실시간으로 분석하여 편광 필터에 의해 반사광이 필터링 된 영상과 그렇지 않은 영상을 비교하여 젖은 노면이 검출됨이 판단될 시 차량에 대한 직접적인 제어 및 알람을 사용자에게 전달한다.

3.1.2. 차량 실제 적용 방법을 고려한 외부 상황 인지
본 시스템은 본래 블랙박스 형태의 제품이지만, 개발 과정에서는 실제 차량으로 시험하는 것이 여러 가지 제약 조건이 있어 RC카 차체를 이용하여 프로토타입을 제작하였다. 실제 차량에 적용될 시 OBD단자를 통해 얻을 대기 온/습도 등의 데이터는 따로 센서를 연결하여 프로토타입에 구현하였다. 프로토 타입에서는 주의가 필요한 노면 상태가 검출될 때, 외장 되는 온/습도 센서를 통해 대기의 온습도, 적외선 센서를 통한 노면의 온도, GPS 모듈을 이용해 위도와 경도를 획득하여 관련 데이터베이스에 보고한다.

3.1.3. 서버구축 및 데이터 저장
노면 상태 검출 시스템을 통해 젖은 노면이 검출된 경우, 관련된 정보(젖은 노면의 지리적 정보, 대기 온/습도, 노면 온도)를 온라인 웹 서버에 보고해 DB에 실시간 Data set을 만든다. DB에 생성되는 Data set은 해당 노면의 상태 사진이고, 해당 사진에 위치/시간/대기상태 등의 정보가 Labeling 된 상태이다. 이를 이용해 특수 노면 상태가 자주 검출되는 위치와 대기, 날씨 등의 실시간 정보를 축적할 수 있는 데이터베이스와 서버를 구축하고 공유하여 3차 사고방지를 위해 사용한다.

3.2. 전체 시스템 구성
3.2.1. 하드웨어 아키텍쳐
TWO EYES 프로젝트는 2개의 카메라를 통해 도로 노면의 정보를 획득하고, 관련된 영상처리를 통해 도로 노면의 젖음을 인식하는 프로젝트이다. 2개의 카메라는 차량에 장착되어 도로 노면의 상태를 ‘실시간’으로 추정하고 / 만일 도로 젖음이 인지되는 경우 주변 차량에 해당 정보를 통보 (V2V)를 하는 동시에 (젖은 도로의 위치 정보_위도/경도, 대기 온도, 대기 습도, 노면 온도)의 센서 데이터 정보를 외부의 온라인서버에 연동하는 것을 특징으로 한다. 본 시스템에서 지향해야 하는 내용은 다음과 같다.

Low latency
단말기 내부에서만 센서데이터의 습득 및 처리가 이뤄지는 것이 아닌, 여러개의 연산장치 및 외부 온라인 서버와 연동되어야 하는 동시에 저지연 (low_latency) 의 기술적 목표를 성취해 ‘실시간 시스템(real time)’ 을 구현해야 한다.

Fail Safe
차량 내 설치되어 실시간 노면의 상태를 추정하는 동시에, 도로가 젖음을 인지하게 되는 경우 자동차의 속력을 낮추는 등의 ‘자동차 제어’기능을 구현하였다. 단순 모니터링 장치가 아닌, 차량의 ‘제어’부분까지 개입하게 되는 경우, System Failure로 인한 오작동은 상당히 위험하기 때문에, 해당 부분에 관련 솔루션을 제시할 수 있는 Fail Safe를 구현해야 한다.
상기의 2가지 목표를 수행하기 위해서는 특정 MCU 또는 연산 장치에 집중적(high density)이거나 의존적(high dependency)인 경우에는 외부에 위협 요인에 취약한 System이 구현되게 된다. 해당 문제를 해결하기 위해 설계 단계에서 부터, 각 MCU 및 연산 장치의 한계성능 및 안정성능을 검증한 다음, 적절히 연산을 분배해 전체 하드웨어 아키텍쳐의 구성을 진행한다.
상기의 2가지 목표를 수행하기 위해서 연산을 분할하고 서로 다른 MCU 또는 연산장치에 부여하게 되는 경우, Logic level voltage가 달라 회로적(Circuit problem)인 문제가 발생할 수 있다. 역시, 각각의 회로적인 문제도 구상단계에서 최대한 고려해 하드웨어 아키텍쳐에 반영해야 한다.

상기의 내용과 같이 자동차 내부의 구조(영상 습득 및 영상 처리)부분을 <그림 1>과 같이 나타낸다면, 단말단(자동차)과 외부의 온라인 연동은 <그림 2>과 같이 구성된다.
<그림 2> 도로의 노면 젖은 상태를 인지하게 되면 Local(단말단)에서 센서처리를 한 뒤에, Online에 해당 센서 데이터를 보고해, 데이터베이스에 노면이 젖은 위치와 그 당시의 환경 상황이 저장될 수 있도록 구성한다.
<그림 3>은 Hardware Level에서의 전체 시스템 작동 예시를 Flow chart로 나타낸 그림이다. 전술된 구현 하고자 하는 지향점을 반영하기 위해 연산량을 각 MCU 또는 연산장치에 분할한 동시에 각각의 장치들이 어떻게 연동되는지 나타낸 그림이다.
저성능 연산장치(라즈베리파이) 및 고성능 연산장치(노트북)은 영상습득 및 처리/온라인 서버 연동의 역할을 담당하고, MCU(Arduino)에서는 관련된 센서데이터의 취득을 한다. 동시에 취득된 데이터 중 유효한 정보 및 주변 자동차에서 발생한 경고 신호(블루투스)의 유무를 판단해 해당 정보를 저성능 연산장치(라즈베리파이)에 전송하는 형태로 각 연산장치들의 통신이 구성된다.

3.2.2. 소프트웨어 아키텍쳐
TWO EYES 프로젝트는 두 개의 카메라 렌즈에 편광필름을 각각 수평과 수직으로 부착하여 받아온 영상 촬영을 기반으로 한다. 판별 이후 언제나 제약 없이 가능한 서비스화를 위해 AWS EC2 인스턴스를 할당받아 우리 서비스의 관제소 역할을 담당하는 Web Server를 구축한다.
우리 소프트웨어 아키텍처는 HTTP 통신을 기반으로 하며, 이하 기술할 작업을 수행하기 위해서는 AWS 콘솔 내에서 MySQL, SMTP 등에 대한 인바운드 규칙을 적절히 설정해야 한다.
Web Server에서는 디스플레이 및 센서처리를 담당하는 라즈베리파이에서 GPS 정보 및 각종 센서 데이터를 GET 방식으로 받아와 데이터베이스에 저장한다. 그 후 서버 단에서 데이터베이스로부터 Fetch 하여 가져온 Data row 값을 적절히 가공한다.
사전에 준비한 Google Map API를 활용하여 젖은 노면 발생 위치의 위,경도를 지도에 매핑한다. 또한, GPS를 포함한 각종 센서데이터 정보를 브라우저 위에 차트 형식으로 표현하여 사용자가 원하는 방식으로 데이터를 얻을 수 있도록 한다.
우리 서비스는 추후 상업화를 대비한 AI 데이터셋 제공을 목적으로 한다. 상태 정보가 Wet으로 판별되면 해당 젖은 노면 이미지를 초당 POST 방식으로 Web Server에 보내도록 한다. 이는 Web Server 내의 디렉토리에 JPG 형식으로 저장한다. (그림4)
정식 서비스화를 가정하여 DataSet 구매 및 서비스에 대한 문의를 위한 e-mail 전송 기능을 구축했다. SMTP 프로토콜 사용을 위해 Port 번호 587을 할당하며, AWS 클라우드 서버에서 이를 구현하기 위해 해당 인스턴스를 Amazon SES sand box 밖으로 빼내는 작업이 필요하다.

3.3.개발 환경
3.3.1. 개발언어 및 Tool

3.3.2. System Element

4. 단계별 제작 과정
4.1. 웹캠 이미지 분석 알고리즘
본 시스템은 각각 수평, 수직 편광 필터가 부착된 두 개의 웹캠에서 받아온 이미지를 분석하여 노면의 상태를 확인한다. 이미지 분석에는 Python3.0 기반의 opencv와 numpy를 주로 사용하였다.

4.1.1. 수면 검출을 위한 편광 현상 연구
빛이 굴절률이 다른 두 매질 사이를 지날 때, 보통 그 경계면에서 반사가 일어난다. 하지만, 어떤 편광상태의 빛이 특정한 입사각으로 입사되면 경계면에서 반사되지 않는데, 이 특정한 입사각을 브루스터 각(Brewster Angle)이라 한다. 이 각도에서는 편광된 빛의 전기장이 입사되는 평면과 나란하기 때문에 반사되지 않는다. 이 편광상태의 빛은 p-편광(p-polarized) 상태라고 하며, 빛이 입사된 평면과 수직한 상태로 편광되어 있다면 s-편광(s-polarized) 상태라고 한다. 따라서 무편광 상태의 빛이 브루스터각으로 입사되면, 반사된 빛은 항상 s-편광 상태가 된다.
위의 이론에 따르면, 브루스터각으로 입사한 자연광의 반사광은 s-편광 상태이므로 수직편광 필터는 통과하지만 수평편광 필터는 통과하지 못한다. 따라서 각각 수평편광 필터와 수직편광 필터를 부착한 웹캠을 통해 반사면을 촬영하면 수평편광 필터가 부착된 웹캠의 반사면이 수직편광 필터가 부착된 웹캠의 반사면보다 어둡게 나타난다. 편광필터로 촬영된 이미지는 필터가 없는 상태에서 촬영된 이미지와 투사되는 빛의 양이 차이가 크므로 반사광이 없을 때 두 웹캠에 투사되는 빛의 양을 동일하게 하기 위해 양 쪽 모두 편광필터를 부착해야한다. 빛의 반사는 모든 매질에서 발생하지만 물과 얼음의 반사율은 주로 아스팔트로 이루어져 있는 도로의 반사율보다 현저하게 높으므로 수평편광 필터를 통과한 물에 젖은 구간과 결빙 구간의 이미지는 다른 구간에 비해 밝기 차이가 크게 난다. 아래는 영상 분석에 사용된 편광필터로 촬영한 도로 위의 수면 이미지이다. 수직편광 필터로 촬영하여 반사광이 그대로 통과된 왼쪽 이미지와 수평편광 필터로 인해 반사광이 통과하지 못한 오른쪽 이미지의 수면 밝기 차이가 큰 것을 확인할 수 있다.

본 프로젝트의 목표는 노면의 젖은 구간과 결빙 구간을 검출해내는 것에 있음으로, 공기에 대한 물과 얼음의 반사광을 분석해야 한다. 프레넬 방정식(Fresnel equations)에 의해 유도되는 브루스터각의 유도식은 다음과 같다.
공기에 대한 물과 얼음의 상대 굴절률은 각각 약 1.33, 1.31이므로, 위의 유도식에 의해 각각의 브루스터 각은 53.1도, 52.6도이다. 본 프로젝트에서는 웹캠의 세밀한 각도 조정은 불가능하여서 지면에서 반사되는 빛의 각도를 약 53도로 설정하여 설계하였다.

4.1.2. 이미지 전처리
Threshold Method는 OpenCV의 이미지 처리 기능 중 하나이다. 이미지를 Grayscale로 읽어오면 픽셀의 요소는 명암 한가지만 남는데, 0(검은색)부터 255(흰색)까지의 값을 갖는다. Threshold 함수는 0부터 255 사이의 설정한 값을 기준으로 이미지에서 기준값보다 큰 픽셀 값은 255로, 기준값보다 작은 픽셀 값은 0으로 이진화 시킨다. 반사광의 이미지는 다른 부분과 밝기 차이가 크므로 Threshold 과정을 거치면 두 편광 이미지의 차이가 극명하게 나타난다. [그림 5.4, 5.5]는 실제로 편광필터로 촬영한 이미지를 Threshold 과정을 거쳐 변환한 결과이다. 수평 편광 필터를 통과한 수면의 이미지만 두드러지게 어둡게 변환되어 수직 편광 필터의 이미지와 큰 차이를 보여 수면을 쉽게 구분할 수 있음을 알 수 있다.

4.1.3. 영상 구역 분할

두 개의 웹캠의 이미지가 완전히 같을 수 없으므로 이미지에서 최대한 구역을 ROI(Region Of Interesting)을 설정 하였다. 상기의 코드 내용은 후의 코드문서에 첨부한다. 그 후의 과정으로 영상 구역을 분할하였다. 수평 편광 필터에 의해 반사광이 흡수된 이미지는 상대적으로 어두운 픽셀이 많다. 그에 따라 threshold로 이진화 처리된 이미지의 검은색이나 하얀색 픽셀의 개수 차이를 분석하여 젖은 노면을 검출할 수 있다. 본 시스템에서는 pixel ratio라는 변수로 이를 표현하였다. pixel ratio는 다음과 같이 이미지의 흰색 픽셀 수의 차이를 전체 픽셀 수로 나눈 비율로 표현하였다. 실험 결과 이미지에 반사면이 있는 경우에는 pixel ratio 값이 0.7 이하로 검출되고, 그렇지 않은 경우에는 0.85 이상의 값을 보여주었다. 하지만 전체 이미지에 대해 pixel ratio를 구하면 다른 요소에 의해 픽셀 수의 변화가 생기는 경우도 있기 때문에 더 정확한 반사면 검출을 위해 이미지의 구역을 분할하여 구역별로 pixel_ratio를 분석하였다. 한 구역의 길이를 unit으로 정의하여 unit*unit 크기의 구역으로 이미지를 분할하여 각 unit마다 pixel ratio를 계산 후, numpy array의 형태로 구역별 값을 저장하였다. unit의 값을 조절하여 resolution의 정도를 조절할 수 있다.
아래는 이미지를 분할하는 함수의 소스코드다.

4.1.4. 구역별 Wet Point 추출
전처리된 이미지를 통해 검출할 수 있는 반사면의 특징은 다음과 같다.
1) 반사면과 반사면이 아닌 곳의 상대적인 pixel ratio 값의 차이가 크다.
2) 반사면의 절대적인 pixel ratio 값이 평균 픽셀 값보다 작다.
1)의 특징점으로 반사면의 경계를 추출할 수 있고 2)의 특징점으로 반사면 경계 내부를 추출할 수 있다. 다음과 같이 각각의 unit에 접근해 1), 2)의 조건을 만족하는 unit의 좌표를 unit array와 같은 크기의 array 형태로 이진화된 값으로 저장하였다. 그 후 wet point를 검출하기 위해 filtering 작업을 하였다. 그 결과<그림 10>과 같이 wet point를 잘 검출한다.

아래는 젖은 부분을 인식하여 표시하는 함수의 소스코드이다.

4.2. 외부 환경 상황인지 센서 구현

자동차가 영상 습득 후, 고성능 연산 장치에서 연산한 연산 결과가 ‘젖은 노면’임을 검출한 경우, Arduino에서 실시간 외부 상황을 인지 후, 인지된 데이터는 온라인 서버에 보고되어 데이터 베이스에 각각의 센서데이터가 저장된다. Arduino에서 습득되고 온라인에 보고되는 데이터의 종류는 ‘대기 온도, 대기 습도, 노면 온도, 위도, 경도’이다. 하기의 사진은 본 팀이 구현한 자동차에 내장된 센서의 모습이다.

1 : 전방 노면 온도 인지용 적외선 온도 센서 2 : 실시간 위치 정보를 검출하기 위한 GPS 모듈
3 : 실시간 대기 온/습도 추출을 위한 DHT11 온습도 센서

4.2.1. 온습도센서, 적외선 센서를 통한 주변환경 온도검출
‘젖은 노면 상황’을 인지하게 되면 Arduino에 외기 온도 상황을 검출하라는 명령이 라즈베리파이로 부터 USB Serial을 통해 명령이 하달된다. 해당 상황에서 Arduino에서 DHT11 및 적외선 온도센서를 통해 대기 온/습도 및 노면 온도를 추출한다.

대기 온/습도 의 추출 방법
Arduino (Atmega 2560)과 DHT11온/습도 센서는 One-Wire 통신을 이용해 실시간 온/습도를 검출한다. DHT11 센서의 경우, Arduino에서 잦은 센서 정보 갱신(update)를 요구하게 되는 경우 Arduino에서의 실행시간 ( 1 loop cycle time )이 길어지는 단점이 있기 때문에, 도로 노면이 ‘젖은 상태’임을 검출한 당시에만 DHT11로부터 온/습도 정보를 갱신받도록 하였다.

노면 온도의 추출방법

DHT11 온/습도 센서로부터의 온도 및 습도의 검출이 끝난 경우에는 적외선 온도센서를 이용해 노면 표면의 온도를 검출한다. Arduino 와 SPI 통신을 하는 본 센서를 통해 노면의 온도를 검출하고, 비접촉 방식의 온도 검출이 가능한 것이 특징이다.

상기의 그림은 본 센서의 Data sheet에서 제시하는 검출 가능한 영역에 대한 내용이다. 적외선 온도 센서의 설치 높이 및 노면 지향각도에 따라 센서가 검출할 수 있는 온도의 영역 넓이가 달라진다. 그렇기 때문에 본 팀은 센서 고정 마운트를 독자 설계 해, 센서의 끝 부분에서 노면 끝 부분까지 250mm 가 될 수 있도록 설계하였다. 설계 결과 검출하고자 하는 노면을 영역을 대략 장축길이 기준 37.93mm 의 타원 형태로 검출할 수 있도록 했다.

4.2.2. GPS를 통한 위치파악

NMEA 형태로 GPS 데이터를 송출하는 GPS 모듈로부터 Serial 통신 방법을 이용해 Atmega 328p(Arduino UNO)에서 정보를 수신한다. Arduino에 수신된 데이터는 상위 프로세서(SBC_라즈베리파이 3B+)로 송신된다. 본 프로젝트에서 GPS 모듈을 이용해 추출하고자 하는 데이터는 ‘위도’ 및 ‘경도’ 정보이기 때문에 수신된 데이터에서 “GPRMC” 문자를 찾아 해당 ‘열(row)’ 에서 특정 위치에 있는 반점 (‘,’) 인근의 데이터를 추출해 실시간 자동차의 위도 및 경도 정보를 Python의 find 및 split을 이용해 추출한다.
추출된 데이터의 형태는 DMM 형태로, 일반적인 GPS 좌표 형태 (DD)방식이 아니다. 그렇기 때문에 DMM 형태의 위도 및 경도를 DD형태로 변환(conversion) 후 외부의 서버에 전송된다.
변환된 좌표의 형태이기 때문에 기존 지도 api에서 바로 사용이 가능하다.
DD = d + (min/60) + (sec/3600)
상기의 식을 이용해 DMM 기준의 식을 DD 형태로 좌표변환을 한다.

4.2.3. 습득된 센서 데이터 전송

습득된 <대기 온/습도 및 위치정보(DD 형태의 위도 및 경도), 노면 온도>의 데이터를 상위 컨트롤러 (라즈베리파이)에 데이터 손실없이 빠르게 전송해야 한다. 그렇기에 Arduino에서 상위컨트롤러로 9600 보드레이트 속도의 Serial 기법으로 센서데이터를 ‘한 줄 (1 line)’ 보내는 형태로 전송한다. 보내는 데이터의 형태는 상기의 사진과 같다.
데이터의 시작을 알리는 선행 문자 ‘A’를 Start token으로 지정해 데이터의 시작을 알리는 동시에, 반점 (‘,’)으로 구분된 다양한 데이터가 전송된다. Arduino에서 전송되는 데이터의 끝은 New line(‘\n’)으로 종결되기 때문에 센서 데이터를 수신하는 수신단에서는 개행문자가 ‘A’인 경우 센서데이터 수신을 대기하며 ‘\n’이 검출되는 경우 수신을 종결하면 센서데이터의 수신을 수행할 수 있다.

4.3. 서버 구축
4.3.1. 웹 서버구축 및 데이터 저장

TWO EYES 프로젝트는 상황에 제약 받지 않는 웹 서버 구축을 위해 AWS EC2 인스턴스를 사용한다. EC2는 가상서버를 클라우드에 빠르게 올릴 수 있게 해주며 OS를 포함한 Application 계층 전체를 관리할 수 있는 컴퓨팅자원(인스턴스)를 제공하는 서비스이다. AWS 서버에서 사용하기 위한 인스턴스로 Ubuntu Server 18.04 LTS (HVM), SSD Volume Type을 채택했다.
인스턴스 발행 후 Ubuntu 내에서 Python 기반의 웹 프레임워크 Flask를 통해 웹 서버를 구축한다. 또한 전송받은 데이터는 MySQL을 통해 이를 관리하며 pymysql 모듈로 웹 서버 내에서 데이터베이스에 접근하도록 한다.
다음은 data 테이블의 스키마를 출력한 내용이다.

Field를 내림차순으로 봤을 때 각각 위도, 경도, 대기온도, 노면온도, 습도, 날짜, 시간을 Server로부터 GET 방식으로 받아온다. 받아온 데이터는 pymysql 모듈을 통해 데이터베이스를 업데이트 한다. 또한, 데이터베이스 내의 내용은 필요 시 fetch하여 웹 서버로 가져와 가공한다.

4.3.2. 소켓통신

고성능 컴퓨팅 장치(노트북)에 비해 연산 능력이 적은 장치(라즈베리파이)에서 영상을 습득하는 동시에 영상처리를 통해 젖은 부분을 검출하는 것은 많은 지연(latency)이 발생하기 때문에, 저성능 컴퓨팅 장치에서 2개의 영상을 습득 후, 고성능 컴퓨팅 장치에서 영상처리를 진행하는 것으로 본 시스템이 구성되어 있다. 서로 다른 컴퓨팅 장치간 영상 공유는 Streaming 형태로 영상이 전송되는 것을 특징으로, 각각의 컴퓨팅 장치는 무선 온라인 망(Local WiFi)를 통해 연결되며, 연결방식은 “TCP Sokcet” 방식으로 진행된다.
TCP Socket의 경우 연결 이후 데이터의 전송되며 및 데이터의 전달 안정성 및 데이터 전송 순서를 보장하기 때문에 실시간으로 2개 종류의 영상을 Streaming 하기에 적합한 통신방식이다. 통신 속도 및 통신 트래픽의 과도한 증가를 방지하기 위해 영상 정보를 습득한 저성능 컴퓨팅 장치는 ‘흑백’ 이미지 정보를 고성능 컴퓨팅 장치 에 String 형태로 전송한다. 이때의 인코딩 형태는 일반적인 방식인 ‘utf-8’을 준수한다.
단순하게 영상 정보의 공유를 제외한, 영상처리 결과(노면의 젖음 유무) 또한 고성능 연산장치에서 저성능 연산장치로 소켓통신을 통해 통보한다. 해당 결과를 수신한 저성능 컴퓨팅 장치는 외부 서버 연동 및 센서데이터 취득을 위한 일련의 과정을 거쳐 자동차의 속도 제어 또는 서버/데이터베이스에 센서데이터 전송 등을 수행하게 된다.
저성능 컴퓨팅 장치에서 영상 정보를 습득해 Streaming 하는 Server의 역할을 수행하고, 고성능 컴퓨팅 장치에서 해당 영상 정보를 요청하는 Client 형태로 작동하며, 고성능 컴퓨팅 장치는 저성능 컴퓨팅 장치와 연결이 수행된 뒤에 다음과 같은 순서로 데이터의 전송 및 수신이 이뤄진다.
① 고성능 장치(노트북) -> 저성능 장치(라즈베리파이) / 메시지 ‘1’
○ 영상 요청 (1번 카메라 영상 요청)
② 저성능 장치(라즈베리파이) -> 고성능 장치(노트북)
○ 습득 영상 정보 송신 (1번 카메라 영상)
③ 고성능 장치(노트북) -> 저성능 장치(라즈베리파이) / 메시지 ‘2’
○ 영상 요청 (2번 카메라 영상 요청)
④ 저성능 장치(라즈베리파이) -> 고성능 장치(노트북)
○ 습득 영상 정보 송신(2번 카메라 영상)
⑤ 고성능 장치(노트북)에서 영상처리 수행 후 노면 젖은 판단
⑥ 고성능 장치(노트북) -> 저성능 장치(라즈베리파이)
○ 영상 판독 결과 통보 => 노면 젖음 : 메시지 ‘3’
○ 영상 판독 결과 통보 => 노면 마름 : 메시지 ‘4’
저성능 컴퓨팅 장치는 단순 영상 습득 및 Streaming 하는 Server 역할을 하고, 고성능 컴퓨팅 장치의 해당 영상을 습득 후 영상처리를 하는 시스템적 구조로 인해, ‘영상 습득 + 영상 처리 + 영상처리 통보’의 일련의 과정을 5Hz에 수행할 수 있다.
저성능 컴퓨팅 장치(Server)에서 고성능 컴퓨팅 장치(Client)로 영상을 전송하는 경우, 직접적으로 사진 데이터를 전송하는 것이 아닌, 전송하고자 하는 사진 데이터의 길이를 우선적으로 송신한 다음, 이미지 Raw 데이터를 전송하는 형태로 통신이 진행된다. 전송하고자 하는 데이터를 우선적으로 전송하기 때문에 수신측이 데이터를 보다 안정적으로 손실 없이 수신할 수 있다는 장점이 있다.
Socket 통신에서 데이터의 손실을 방지하고 / 데이터를 수신하는 수신측의 데이터 미수신으로 인한 무한 대기 상태(System Down)을 방지하기 위해, 본 시스템이 운용되는 Socket 통신에서 송신측은 수신측에 바로 인코딩(encoding)된 데이터를 송신하는 것이 아닌, 송신하고자 하는 데이터의 길이를 우선으로 송신한 다음, 원본데이터를 수신하는 형태로 구성되어 있다. 그렇기 때문에 수신측은, 수신될 데이터 길이를 수신한 다음, 해당 데이터 크기로 버퍼(Buffer)를 할당해 데이터를 수신하도록 구성되어 있다. 이는 System 의 안정성 증가 및 데이터 손실을 방지할 수 있는 장점이 있다.

4.3.3. 웹 서비스

향후 상업화를 가정하여 AWS EC2 인스턴스를 통한 웹 서비스를 구축하였다. 해당 서비스는 TWO EYES 프로젝트의 ‘관제소’ 역할을 담당하며, 그 역할에 맞게 브라우저 상에서 지도 상 GPS 매핑 조회, 각종 센서 데이터 현황 조회가 가능하다. 또한, 브라우저로는 드러나지 않으나 웹 서버 내에서 젖은 노면 촬영 이미지 값을 받아와 클라우드 서버 내에 저장하여 데이터셋을 적재한다. 이는 향후 AI 데이터 셋으로 활용하는 것을 목적으로 한다. 추가적으로, 실제 서비스 상용화를 가정하여 관리자에게 데이터셋 또는 서비스 문의를 위한 e-mail 샌딩 기능이 있다.

센서 처리를 담당하는 라즈베리파이로부터 젖은 노면 검출 시 GET방식으로 위,경도 값을 받아온다. 이를 웹 서버 내에서 적절한 형태로 가공하여 List로 받아온 후 Google Map을 브라우저 상에 표현한다. 이를 통해 서비스 사용자는 젖은 노면 위험 지역을 가시적으로 파악이 가능하다.

전적으로 Back-end 내에서 이루어지는 해당 서비스는 젖은 노면 검출 시 알고리즘 연산 고성능 컴퓨터로부터 클라우드 서버로 촬영 중인 이미지를 전송한다. 그  후 웹 서버는 이를 특정 디렉터리에 JPG 형식 파일로 저장한다. 우리 클라우드 서버는 촬영 이미지를 약 2초 당 한 프레임으로 받아올 수 있으며, 이는 클라우드 서버의 성능에 따라 속도가 좌우된다. 모든 데이터셋은 클라우드 서버 내에 내장되며, 브라우저에서는 가장 최근에 업로드 된 이미지의 날짜 및 시간 확인이 가능하다.

5. 연구결과
젖은 노면 검출 결과

상기의 사진은 젖은 도로 노면의 위치에 빨간 Box 가 Image overlay 가 되며 도로가 젖음을 경고하는 것을 알 수 있다. (촬영 시간 4pm)

6. 기타
6.1. 소스코드
자동차 구동 하드웨어에서 센서데이터 처리를 위한 코드이다. 

LAST_PI_ARDUION_GPS 소스코드

[PYTHON]VIDEO_CLIENT

[PYTHON]VIDEO_HOST