NTREXGO - 디바이스마트, 엔티렉스 컨텐츠 통합 사이트 » featrue

[43호]Guardian Angel (Babycare)

디바이스마트 매거진 — Tue, 25 Jul 2017 00:00:42 +0000

2017

ICT 융합 프로젝트 공모전우수상

: Guardian Angel (Babycare)

글 | 단국대학교 양지현, 우경은, 박건주

심사평
칩센 육아와 관련된 IT 기술은 언제나 hot item입니다. 특히 ‘만에 하나 라도’ 라는 것에 불안해 하는 영유아를 둔 부모에게 잘 와닿을 수 있는, 즉 상품적인 가치가 있을법해 보인다는 느낌을 받았고, 작품 제작에 있어서도 전반적으로 시스템 구성이 잘 되어 있고, 각 파트별 구성 요소에 대한 이해도도 높아 여러가지 면에서 기획이 잘 되어 있는 작품이라는 생각이 듭니다. 세부적으로 각 파트에 적절한 하드웨어 선정을 고민한 흔적과 함께 신호 및 시그널 처리 부분에 대한 명확성이 눈에 띄었습니다. 밴드 부분에 있어서 무선 전파의 감쇄를 저하시키지 않는 재질을 고려하는 부분은 필요할 것으로 보이네요. 개인적으로는 실제 완성품의 가격부분 등이 문제가 아니라면, 하나쯤 구비해 놓을 수도 있겠다는 생각이 듭니다.

뉴티씨 이 작품은 완성도가 뛰어나서 당장 상품으로 만들수도 있을 것 같습니다. 매우 좋은 아이디어입니다. 다만, 디자인과 경량화 관련 고민을 해야할 것입니다.

위드로봇 유사한 상용 제품과의 차별성 부분을 추가로 설명할 수 있으면 훌륭한 작품이 될 것 같습니다.

작품 개요
한 아기의 아빠가 아기와 함께 있다가 화장실이 급해 아기를 앉혀 놓고 잠시 자리를 비운 동안 아기가 심장마비로 사망했다는 뉴스를 본 적이 있습니다. 또한 아기는 돌연사하는 경우도 많고, 부모가 제 때 알아 차리지 못해 조치를 취하지 못한 경우도 많습니다. 이를 보고 아기의 상태를 실시간으로 알려주고 확인할 수 있다면 이런 상황을 피할 수 있지 않을까? 라는 생각을 하였습니다. 그래서 아기 모니터링 밴드를 만들게 되었습니다. 이 작품을 만들 때 고려 한 점은 다음과 같습니다.
1. 아기의 사망 원인 중 가장 큰 비중을 차지하는 부분은 아기의 갑작스러운 심정지와 무호흡 상태인 돌연사입니다. 심장박동수를 통해 숨을 쉬는지 안 쉬는지를 판단할 수 있으므로 심장박동 센서를 제작하여 측정해야 합니다.
2. 아기의 저체온방지를 위해 온도 센서를 달아 체온을 측정해야 합니다.
3. 아이의 모습을 실시간으로 볼 수 있도록 아기 옆에 인형을 두고 아기를 촬영하며 서버에 넘겨주는 방식으로 부모의 스마트폰 애플리케이션으로 볼 수 있게 합니다.
4. 아기가 뒤집었을 경우 그 상태로 오래 있게 되면 폐에 무리가 가서 숨을 못 쉬게 됩니다. 이를 방지하기 위해 아기가 뒤집힌 상태인지 파악해야 합니다.
5. 아기가 울 경우, 부모가 알게 된다면 적절한 조치를 취할 수 있으므로 아기의 울음소리를 파악하여 알려줍니다.
이 5가지의 사항을 중점으로 아기 상태를 측정할 수 있는 발찌와 부모의 팔찌, 스마트폰 어플리케이션을 만들었습니다.

작품 설명
주요 동작 및 특징
이 작품은 아기의 심박수, 체온, 울음, 상태를 모니터링 할 수 있는 웨어러블 디바이스입니다. 이 작품은 밴드형 하드웨어, 아기 인형 하드웨어, 안드로이드 어플리케이션, 서버로 나누어 살펴 볼 수 있습니다.

구성
① Band (bracelet)
· CPU
· 센서부(심박동 센서, 적외선 온도 센서, 가속도 센서)
· 통신부(bluetooth)
· 배터리
· 프레임

② 아기 인형
· CPU
· 센서부(마이크센서)
· 통신부(bluetooth)
· 배터리

③ 안드로이드 어플리케이션

④ 서버

하드웨어-소프트웨어
① 밴드 – 심박동센서

심장박동 센서의 기본원리는 PPG 측정과 같습니다. 아래 사진과 같이 LED를 사용하여 빛을 발산하면 손가락에 흐르는 혈류량에 따라 반사되는 양이 다릅니다. 적혈구가 많을수록 빛이 흡수되므로 반사되는 빛의 양이 감소합니다. Photo diode가 반사되는 빛을 전기신호로 바꾸어 줍니다. Photo diode로부터 출력되는 전기신호의 세기를 증폭시켜 ADC를 이용해서 디지털 값으로 변화시킵니다. 이를 심장박동수로 계산하면 됩니다. OPAMP와 2.34Hz를 cuf off 주파수로 가지는 low pass filter를 2개 구현하여 직렬로 연결하였습니다. 2.34Hz를 cuf off 주파수로 결정한 것은 최대 심장박동수를 150bpm(beat per minute)를 고려한 것입니다. 2.5Hz= 150beat/60sec이기 때문입니다.

다음은 소스 부분 설명입니다. 위 그림에서 보듯이, 60초에서 x를 나누면 심장박동수입니다. 따라서 이를 구하는 소스로는 pulse의 상승 부를 파악하기 위해 pulse의 부분을 나눕니다. pulse 값이 30 ~ 1000 사이의 값일 경우, 상승 시점으로 간주합니다. 그때의 시간을 알아 nowtime이라는 변수에 저장합니다. 정확도를 위해 sampling을 하는데 상승 시점일 때 총 아홉 번으로 나누어 샘플링을 합니다. 샘플링 할 때의 시간을 lasttime 변수에 저장합니다. 아홉 번 샘플링 한 값들의 평균을 구하고 60초로 이를 나누면 심박 수를 구하게 됩니다.

② 아기 인형 – 마이크 센서
인터럽트를 써서 센서 ADC 값을 받아들이고, FIR 필터를 사용하여 주변 소리를 제거하여 아기 울음소리만 추출합니다. Filtering은 신호처리의 핵심적인 과정으로 어떤 신호에 대한 스펙트럼을 원하는 주파수 대역만큼 제한시키는 주파수 선택 회로입니다. 여기서 원하는 주파수 대역은 통과 대역(passband)이 되고 원치 않는 대역은 차단 대역(stopband)이 됩니다. FIR 필터 소스는 ‘디지털 신호 처리 공학’이라는 수업에서 배운 이론을 바탕으로 짰습니다. FIR 필터는 입력신호의 유한한(Finite) 값들만을 가지고 필터를 하는 디지털 필터입니다.

먼저 Matlab을 이용하여 소스를 구현했습니다. 몇 개의 아기 울음소리파일을 Matlab으로 분석해 본 결과, 잡음을 제거하기 위해서는 저주파 영역을 통과시키고 고주파를 차단하는 Low Pass Filter를 설계해야 한다는 것을 알 수 있었습니다. 주파수 spectrum을 확대해 본 결과, 0.12π까지 거의 90%의 음성신호가 분포되어 있다는 것을 알 수 있었습니다. 따라서 Pass band = 0.12π 로 설계했습니다. 마찬가지로 0.54π~0.6π 사이에 진폭이 큰 잡음이 시작되는 것을 보아 stop band는 0.54π로 설계했습니다. 필터의 차수를 결정하여 주파수 대역폭을 설정해 주어야 하는데, pass band(0.12π)에서 통과되는 음성신호 90% 제외한 나머지 10%가 주파수 대역폭 안으로 포함될 수 있도록 설계합니다. 따라서 약 0.3π로 주파수 대역폭을 설정했습니다. FIR 필터 중 창 함수 법을 사용했습니다. Non-causal infinite impulse response의 특성을 가진 적당한 이상적 주파수 선택적 필터를 고르고 선형 위상 인과적 FIR 필터를 얻기 위해, 임펄스 응답을 잘라내는 방식입니다. 이 방식을 이용하여 잡신호를 제거하고 원래 음성신호를 복원해 아기 울음소리를 구분하였습니다.
전체적인 신호처리 과정은 다음과 같습니다. MIC 센서를 사용하여 아날로그 값을 받습니다. 그다음, ADC 변환 소자를 사용하여 디지털 값으로 변환시킵니다. 변환된 값을 FIR 필터 처리를 하여 주변 잡음을 잡아내어 아기 울음소리인지 판단합니다. 아기 울음소리라면 부모에게 알리게 됩니다.
아직 모든 상황에서의 완벽한 잡음처리는 되지 않지만, 제가 여태 테스트해 본 음성들은 아기 울음소리만 파악할 수 있었습니다. 그래서 현재, 여러 상황에서 테스트하고 있습니다.

소프트웨어
안드로이드 APP
BPM , Temperature, Camera/album 총 세부분으로 나눌 수 있습니다.
■ BPM : 먼저 서버에서 심박 수를 받아와야 하기 때문에 JSON parsing을 합니다. 파싱이란, 컴퓨터에서 컴파일러 또는 번역기가 원시 부호를 기계어로 번역하는 과정의 한 단계로, 즉 원시 프로그램에서 나타난 토큰(token)의 열을 받아들여 이를 그 언어의 문법에 맞게 구문 분석 트리(parse tree)로 구성해 내는 일입니다. 그 중 저는 JSON이라는 파싱을 사용하였습니다. 전달받은 데이터가 없다면, 정보조회를 진행할 필요가 없으므로 doinBackground 함수를 사용하여 정보조회를 진행할 데이터가 넘어왔는지 검증했습니다. JSON 형태로 받은 데이터를 보관할 String을 선언해주고, JSON Format의 정보를 받아서 모바일 앱에서 필요한 정보만 꺼내옵니다. 생성자가 JSON String을 받아들여서 우리가 처리하기 쉽게 Object hierarchy에 넣어 주어 설정해 놓은 변수에서 불러오면 됩니다.

시각적으로 표현하기 위하여 progress bar를 구현하여 최대 150bpm에서 몇을 차지하였는지 보여 주었습니다. 또한, 막대 그래프와 꺾은선 그래프를 이용하여 현재까지 측정했던 데이터들과 평균을 보여줬습니다.
현재까지의 측정 기록을 볼 수 있도록 DB를 구축했습니다.

SQL을 사용하여 table을 생성하고 날짜, bpm를 저장하여 보여줍니다. 이 db를 사용하여 list array로 보여주며, graph를 보여줄 때도 사용됩니다.

■ Temperature : 체온을 온도계 그림으로 애니메이션 효과를 주기 위하여 Canvas 함수를 이용하여 온도계를 그려주었습니다. 체온도 bpm과 마찬가지로 서버에서 JSON parsing을 해와서 정보를 보여줬습니다.
위의 소스는 tem(Json 파싱해온 값)의 값을 온도계의 전체 범위로부터 빼서 온도가 올라가는 애니메이션 부분 알고리즘입니다.

서버
라즈베리파이를 이용하여 서버 구축을 하였습니다. mysql을 이용하여 db를 구축하였고 php언어를 사용해 html 홈서버를 구축하였습니다.
안드로이드에서 json 파싱을 해주어야 하기 때문에 json 언어로 바꾸어 주었습니다. 아기가 울 때, 뒤집었을 때 부모의 핸드폰에 카카오톡 같은 알림 메시지가 보내지게 하기 위하여 FCM을 구축하여 사용했습니다.

카메라 (라즈베리파이)
라즈베리파이 카메라를 사용하여 스트리밍을 통해 어플에서 보여줍니다. mjpg-streamer를 이용하여 url을 통하여 어플에서 불러와서 보여줍니다.

전체 시스템 구성

개발 환경(개발언어, Tool, 사용시스템 등)
개발언어 – C언어 /java
개발 Tool에서 쓰이는 언어가 C언어이기 때문에 자연스레 C언어를 이용하여 코딩 및 소스구현을 하게 되었습니다.
안드로이드 스튜디오에서 쓰이는 언어는 java이기 때문에 java 공부를 하고 이용했습니다.

개발 Tool – 아두이노 개발툴(IDE), 안드로이드 스튜디오, 라즈베리파이 Linux
아두이노 프로미니를 사용하였기 때문에 아두이노 개발툴을 사용했고, 안드로이드 어플을 만들기위해 안드로이드 스튜디오를 사용했습니다. 또한 서버와 인형 하드웨어에 라즈베리파이를 사용하여 Linux 개발 tool을 사용했습니다.

사용 시스템 – Arduino pro mini
아두이노 프로 미니를 선정하게 된 이유는 첫째, 가능한 작은 mcu를 찾고 있었기 때문입니다. 또한 처리속도에 고속이 필요하지 않기 때문입니다. 아두이노는 알고리즘 코딩만 하면 쉽게 사용할 수 있으므로 여러 mcu 중 가장 적합하다고 생각하여 메인 mcu로 사용하였습니다.

사용 시스템 – 라즈베리파이3
라즈베리파이를 선정하게 된 이유는 서버를 구축하기 위해서입니다. 리눅스 환경의 OS를 가지고 있고 MYSQL 등 db 구축도 쉽기 때문에 선택하게 되었습니다. 또한, 인형 하드웨어에서 쓰인 라즈베리파이를 선택한 이유는 900MHz의 빠른 속도와 1GB의 넉넉한 램 용량, 저렴한 가격 및 많은 GPIO 핀을 보유하고 있어서입니다. ADC 핀이 따로 존재하지 않다는 불편한 점이 있지만, 신호처리도 유용하고 아두이노와 블루투스 통신을 통해 데이터를 주고받아야 했기 때문에 라즈베리파이를 선택했습니다.

단계별 제작 과정
계획 세우기 및 사전조사(2017.01.02 ~ 2017.01.09)
프로젝트 주제를 정하고 그에 대한 사전조사를 인터넷 및 관련 사람들을 대상으로 조사하여 문제점, 주요특징, 앞으로의 전망 등을 충분히 조사를 하였습니다.

해당 작품 공부 및 제작 준비(2017.01.10 ~ 2017.01.30)
안드로이드 어플을 만들기 위해 사용한 언어는 java였습니다. 이를 위해 java 공부를 하였고, 리눅스 용어 공부도 하였습니다.
심장박동 센서 회로설계 공부를 하고 mic 센서를 통한 fir 필터 처리를 위해 matlab 문법 공부와 fir 필터에 대해 다시 공부했습니다.

하드웨어 제작(2017.01.31. ~ 2017.02.06)
심장박동센서 회로를 토대로 하드웨어를 제작하였고, 3D프린터와 아크릴 제작등을 이용하여 팔찌의 형태를 갖췄습니다. 또한 인형부분 마이크 센서와 카메라 부분도 제작하였습니다.

마이크센서와 라즈베리파이의 신호처리(2017.02.07. ~ 2017.02.15)
소리의 값을 받아와 라즈베리파이의 adc핀(adc변환소자 이용)에 연결 및 디지털 데이터를 뽑아내어 FIR 필터 알고리즘을 거친 변환 데이터를 걸러낸 후 안드로이드 FCM을 구축하여 안드로이드에 알림메시지를 띄웠습니다.

안드로이드 제작 , 서버제작 (2017.02.15. ~ 2017.03.25)
라즈베리파이를 이용하여 서버를 구축하고, db table을 만들어 아두이노와 라즈베리파이로부터 센서 값을 받아와 저장합니다. 안드로이드의 UI와 서버로부터 Json parsing을 통해 값을 받아와 보여줍니다. FCM 테스트를 통해서 안드로이드에 값이 전달되는 것을 확인할 수 있었습니다.

전체적인 연동 및 테스트 (2017.03.25. ~ 2017.04.30)
아두이노 + 라즈베리파이 + 서버(라즈베리파이) + 안드로이드를 연동시켜서 테스트를 하고 있습니다. 아직 아기에게 직접 착용하여 테스트는 하지 못하였지만, 많은 사람들에게 테스트를 해본 결과, 잘 작동하고 있습니다. 앞으로 아기들에게도 테스트하여 계속해서 디버깅하고 좋은 착용감을 위해 하드웨어 부분도 다시 고려하려 합니다.

기타(회로도, 소스코드, 참고문헌 등)
회로도

소스코드
심장박동센서 코드

#include “Heartrate.h”

int num[sample_num] = { 0 };

int getnum(int pin)
{
numcnt++;
if (numcnt >= sample_num){
numcnt = 0
}
num[numcnt] = analogRead(pin);
return(num[numcnt]);

}

int getCnt(void)
{
return(numcnt);
}

int GetRate(void)
{

static int flag
static unsigned long sampleTime[10];
unsigned long numTime_
int cnt

if (numcnt){
cnt = numcnt – 1
}
else{
cnt = sample_num – 1
}
if ((num[numcnt]>1000) && (num[cnt]<70)){
nowTim = millis();
int time = nowTim – lastTim
lastTim = nowTim

if (time>300 && time<2000){
sampleTime[flag++] = time
if (flag > 9)flag = 0
}
int array[10] = { 0 };
for (int i = 0 i<10 i++){
array[i] = sampleTime[i];
}
int array_ = 0
for (int i = 9 i>0 i–){
for (int j = 0 j if (array[j] > array[j + 1]){
array_ = array[j];
array[j] = array[j + 1];
array[j + 1] = array_
}
}
}

array_ = 0
for (int i =3 i <= 7 i++){
array_ += array[i];
}

numTime_ = 300000 / array_///<60*1000*
return((int)numTime_);
}
return(0);

}
int getRate(void)
{
return(GetRate());

}

안드로이드 코드

FIR필터 소스

voice_noise1(rectangular)

% 음성 파일 불러오기
[y,Fs]=wavread(‘C:\Users\jihyunyang\Desktop\voice\voice_noise1′);

% t 설정
t=(0:length(y)-1)/Fs;
figure(1)
subplot(5,1,1),plot(t,y);
xlabel(‘t’),ylabel(‘x’),title(‘Voice’);

% 음성파일의 fft
f=Fs*t;
y2= fft(y);
S_n=fft(y2,512);
w=(0:255)/256*(Fs/2);
subplot(5,1,2),plot(w,abs([S_n(1:256)'])),xlabel(‘Voice fft’);
% Rectangular filter의 특성결정
fp=100;
fs=500;
wp=2*fp/Fs;
ws=2*fs/Fs;
o_pass=2*pi*fp/Fs;
o_stop=2*pi*fs/Fs;
o_total=o_stop-o_pass;
n=8*pi/o_total
n=256;
n1=257;

% Rectangular filter 사용
y1=rectwin(n1);
wn=[wp ws];
[b,a]=fir1(n,wn,y1);
[H,w]= freqz(b,a,512);
% Rectangular Filter 그래프 출력
subplot(5,1,3),plot(w,abs(H)),xlabel(‘Lowpass Filter’);
grid

% 필터링 후 신호출력
sf = filter(b,a,y);
sound(sf,Fs)
subplot(5,1,4)
plot(f,abs(sf)),xlabel(‘FILTERLING 후 신호’);
title(‘Soundfile(Freq)’);
grid

% 필터링 후 wave 파일 저장
wavwrite(sf,Fs,’C:\Users\son ju young\Desktop\FIR\voice_noise1_LPF(rectangular).wav’);
% 필터링 후 신호 fft 변환 후 출력
y3 = fft(sf);
subplot(5,1,5)
plot(f,abs(y3));
xlabel(‘FILTERLING WAVE fft 변환’);
grid

% 필터링 후 fft변환 wave 파일 저장
bits=16;
wavwrite(sf,Fs,bits,’C:\Users\jihyunyang\Desktop\FIR\voice_noise1_fft(rectangular).wav’);
voice_noise1(blackman window)

% 음성 파일 불러오기
[y,Fs]=wavread(‘C:\Users\jihyunyang\Desktop\voice\voice_noise1′);

% t 설정
t=(0:length(y)-1)/Fs;
figure(1)
subplot(5,1,1),plot(t,y);
xlabel(‘t’),ylabel(‘x’),title(‘Voice’);

% 음성파일의 fft
f=Fs*t;
y2= fft(y);
S_n=fft(y2,512);
w=(0:255)/256*(Fs/2);
subplot(5,1,2),plot(w,abs([S_n(1:256)'])),xlabel(‘Voice fft’);
% blackman filter의 특성결정
fp=100;
fs=500;
wp=2*fp/Fs;
ws=2*fs/Fs;
o_pass=2*pi*fp/Fs;
o_stop=2*pi*fs/Fs;
o_total=o_stop-o_pass;
n=8*pi/o_total
n=256;
n1=257;

% blackman filter 사용
y1=blackman(n1);
wn=[wp ws];
[b,a]=fir1(n,wn,y1);
[H,w]= freqz(b,a,512);

% blackman Filter 그래프 출력
subplot(5,1,3),plot(w,abs(H)),xlabel(‘Lowpass Filter’);
grid

% 필터링 후 신호출력
sf = filter(b,a,y);
sound(sf,Fs)
subplot(5,1,4)
plot(f,abs(sf)),xlabel(‘FILTERLING 후 신호’);
title(‘Soundfile(Freq)’);
grid

% 필터링 후 wave 파일 저장
wavwrite(sf,Fs,’C:\Users\jihyunyang\Desktop\FIR\voice_noise1_LPF(blackman).wav’);

% 필터링 후 신호 fft 변환 후 출력
y3 = fft(sf);
subplot(5,1,5)
plot(f,abs(y3));
xlabel(‘FILTERLING WAVE fft 변환’);
grid

% 필터링 후 fft변환 wave 파일 저장
bits=16;
wavwrite(sf,Fs,bits,’C:\Users\jihyunyang\Desktop\FIR\voice_noise1_fft(blackman).wav’);

참고문헌 등
· 프로젝트로 배우는 라즈베리파이, 도날드 노리스 지음, 한빛미디어
· 200개의 단계별 예제로 배우는 안드로이드, 한동호, 제이펍
· 안드로이드 UI & GUI 디자인, 박수레, 에이콘 출판
· http://paulbourke.net/miscellaneous//dft/, written by paul bourke
· 네이버 지식인, 네이버 카페 “당근이의 AVR 갖구 놀기”, “전자공작소”, “임베디드공작소”

[38호]아두이노를 활용한 지하철 잔여 좌석 알림이

디바이스마트 매거진 — Sun, 25 Sep 2016 00:26:42 +0000

2016 ICT 융합 프로젝트 공모전 참가상

아두이노를 활용한 지하철 잔여 좌석 알림이

글 | 부경대학교 김준태, 김중권, 오다희

심사평

뉴티씨 평상시에 필요했던 기능을 구현해 본 작품으로 생활 속의 지혜를 발견할 수 있다. 평상시 이러한 호기심이 때로는 좋은 작품으로 많은 사람들이 편리하게 사용할 수 있는 제품으로 탄생하기도 한다. 여기에는 엔지니어의 궁금증에 노력이라는 점과 끝까지 참을성 있게 구현해내는 끈기도 필요하다. 아이디어를 구현가능한지 확인한 수준까지만 된 점이 좀 아쉽지만, 모든 부분을 좀 더 확장하여 만든다면 원래 취지처럼 구현할 수 있을 것으로 생각된다. 다만, 경제적인 구현 등을 위한 노력해야 할 점 등이 매우 많이 남아 있는 것으로 보여 높은 점수를 받지는 못하였다.

칩센 지하철의 소음에 초음파 센서가 오동작을 하지 않을까 염려된다.

위드로봇 지하철 잔여석을 알려주자는 아이디어가 재미있다. 이를 실현하기 위해 초음파 센서를 사용하였는데, 같은 공간에서 초음파 센서를 여러 개 사용하였을 때 발생하는 문제에 대한 대비책이 없는 점이 아쉽다. 실제 상황에서 발생할 수 있는 문제를 좀 더 깊이 고민하여 그 부분의 해결책이 보고서에 설명되면 좋을 것 같다.

작품 개요

지하철을 타다 보면 종종 빈 좌석이 많은 칸과 사람이 붐비어서 좌석이 꽉 찬 칸 볼 수 있는데, 주로 지상으로 통하는 계단이 있는 곳의 칸이 붐비는 것을 알 수 있다. 그리고 사람이 많이 붐비는 칸에 탄 사람들은 지하철 칸 별로 이동하며 빈 좌석을 찾고는 한다. 만약 지하철의 빈 좌석이 많은 칸을 미리 알려준다면 불필요한 이동을 줄일 수 있고, 한쪽 칸에 사람이 몰리는 현상도 줄일 수 있다. 물론 제일 중요한 것은 지하철을 이용하는 사람들의 편리성일 것이다. 빈 좌석은 파란색, 사람이 앉아 있는 자리는 빨간색으로 표현되고 지하철에 스크린도어 및 영상으로 화면을 전송하여 사람들이 쉽게 확인할 수 있다.

작품 설명
주요 동작 및 특징
지금까지 있는 알림이 시스템 중엔 도착시간까지의 잔여 시간을 알려주는 시스템은 있지만, 우리가 생각한 지하철 잔여좌석 알림이는 아직까지 만들어지지 않았다. 그래서 이 시스템은 희소성이 큰게 특징이며 초음파를 이용하여 좌석 확인 및 인식이 가능하다. 초음파 중에서도 저렴한 아두이노 초음파센서(HC-SR04는 초음파센서)를 통하여 지하철 좌석 별로 거리 감지를 한다. 여기서 사용하는 장치는 시중에서 저렴하게 판매되는 HC-SR04 초음파센서로, 거리측정을 통해 가까운 거리에 있는 물체 혹은 사람의 유·무, 속도 측정 등에 사용할 수 있다.

그림 1. 초음파센서(HC-SR04)

여기서 초음파란 인간이 들을 수 있는 가청 최대 한계 범위를 넘어서는 주파수를 갖는 주기적인 음압을 의미한다. 초음파는 매개체를 관통시키거나 여러 가지 값을 측정 또는 집중된 에너지를 공급하는 등 여러 분야에서 사용되고 있다. 밑에 그림에서 볼 수 있듯이 초음파를 만들어 보내주면 어떠한 물체에 닿게 되었을 때 초음파는 다시 튕겨서 돌아온다. 센서가 다시 돌아온 초음파를 통해 걸리는 시간을 계산하여 거리를 측정한다. 단순한 공식인 ‘거리 = 속력×시간’을 이용한다.

그림 2. 초음파 응답 방식

단순하게 가까운 거리에 물체가 있을 때는 ‘빨간색’, 아무 물체가 없을 때는 ‘파란색’으로 표시해준다. 이 방식을 활용하여 지하철 좌석의 사람 유무를 확인 할 수 있다. 지하철이 도착할 때쯤에 광고 알림이 판에 그 지하철의 빈 좌석과 꽉 찬 좌석들이 다른 색으로 표시되어 사람들이 빈 좌석을 알 수 있다.

그림 3. 온도센서(LM35)

아두이노를 사용하게 되면 비용이 크게 절감이 되지만 센서의 품질 상 고가의 장비보단 성능이 떨어지기 마련인데, 이를 위해서 거리 감지센서로 정확성이 떨어지게 된다면 온도센서를 추가해서 정확성을 높이는 것도 하나의 방법이다. 만약 어떤 사람이 자신의 옆자리에 짐을 올린 상황에서는 가까워진 거리 때문에 짐을 사람으로 인식할 것이다. 하지만 온도 감지 센서를 이용하여 이 문제를 해결 할 수 있다. 사람의 평균온도가 36.5도 이므로 30도 이상의 온도는 사람으로 인지하고 ‘빨간색’ 불을 켠다

그림 4 . 아두이노 UNO R3 회로도

전체 시스템 구성

그림 5 . 아두이노 UNO R3 회로도

좌석 별로 초음파 거리 감지 센서를 장착하여, 각각의 좌석을 시리얼 넘버로 구별한다. 중앙 PC를 이용하여 시리얼 넘버를 받아들이고 OpenGL로 지하철 화면을 구현하여 빈 좌석과 자리가 있는 좌석을 색으로 표시한다.

개발환경(개발언어, tool, 사용시스템)
물리적인 세계를 감지하고 제어할 수 있는 객체들과 디지털 장치를 만들기 위한 도구로, 간단한 마이크로컨트롤러 보드를 기반으로 한 오픈 소스 컴퓨팅 플랫폼과 소프트웨어 개발 환경을 말하는 아두이노를 이용하고자 한다. 아두이노는 가격이 저렴해 프로젝트 실패시의 Risk가 적으며 기계어에 가까운 언어로의 코딩이 가능하기 때문에 이식성이 좋다. 또한 IDE로는 Microsoft Visual Studio를 활용하여 OpenGL을 이용해 좌석의 도식화를 할 것이다.
프로그램의 구동환경으로는 마이크로소프트의 윈도우 시리즈로 개인용 컴퓨터, 태블릿, 스마트폰 및 임베디드 시스템용 운영체제인 Windows 10을 이용할 것이다.

단계별 제작 과정
초음파 거리감지 센서를 이용해 거리별로 다른 값을 출력시킨다.
이 값들은 아두이노와 PC간의 시리얼 통신을 도와주는 Sketch라는 프로그램을 이용하여 Serial Port를 연결하여 아두이노로부터 값을 넘겨받는 역할을 한다.
아두이노를 이용하여 거리 감지센서의 작동을 확인한 후, LED를 이용하여 임시적으로나마 거리에 따른 전광판의 빈 좌석의 유무를 점등으로 표현한다. 여기까지 확인이 되면 거리에 따른 빈 좌석의 유무를 판별 가능한 소스코드가 완성되어진 것이다.

그림 6. 거리 감지센서를 연결한 아두이노

그림 7. 감지센서가 출력한 결과 값

그림 6의 아두이노 Uno R3 보드와 시리얼 통신을 통해 컴퓨터로부터 소스코드가 하드웨어에 저장된 이후부터는 전원이 공급될 경우 지속적으로 감지센서가 작동하게 된다. 그림7 은 아두이노 Sketch 프로그램으로 모니터링한 감지센서의 출력 값이다.

거리 별 색깔 변화(빨간색, 파란색)
거리별 색깔의 변화는 전광판에 나타날 빈 좌석인지 아닌지를 구별해주는 일종의 구분자이다. 실사용 이전에 전광판의 좌석이 비어있는지의 유무를 임시적으로 LED로 나타낸다.

그림 8. LED가 추가된 회로도

그림 9. 거리에 따른 LED의 표시

온도 별 색깔 표시(빨간색, 파란색)
아두이노용 센서 모듈에 대한 신뢰도가 떨어진다면, 온도센서 IC를 추가함으로써 신뢰도를 높일 수 있다. 거리 감지센서에서 일정거리 이하인 경우, 의자와 센서의 사이에 물체가 존재하게 되고, 물체의 존재유무만으로는 옆 사람이 잠시 올려둔 물체인지 아닌지를 모를 수도 있다. 이럴 때에 온도감지 센서를 통해서 한 번 더 감지하여 확실하게 빈자리의 유무를 확인한다.

그림 10. 온도센서 회로도

그림 11. LED를 추가한 온도센서 회로도

지하철 빈좌석 표시

그림 12. OpenGL로 구현한 지하철 좌석 배치도

앞서 설명한 모듈들을 하나로 구현하여 각각의 센서들에 대해 시리얼 번호를 지정하여 중앙 PC에 송신한다. 중앙PC는 받아들인 시리얼 통신을 OpenGL로 도식화 하여 빈 좌석(초록)과 그렇지 않은 좌석(빨강)을 색으로 표시한다.

참고문헌
[1] 심재창, 고주영, 이영화, 정욱진, “재미삼아 아두이노” pp 97~113

소스코드

Opengl.cpp
#include
#include
#include
#include
#include

#pragma comment(linker, “/SUBSYSTEM:WINDOWS”)
#pragma comment(linker, “/ENTRY:mainCRTStartup”)

GLsizei winWidth = 500, winHeight = 200;
GLuint dlHEX;
int arrr[32];
int distance = 20;

void init(void)
{
glClearColor(1.0, 1.0, 1.0, 0.0); //윈도 색 지정

glMatrixMode(GL_PROJECTION); // 투명행렬 선택
glLoadIdentity();
//원점 위치 지정
}
//x축 y축
void DrawMetro(){
int Left = -215;
int Right = Left + 19;
int Up = 45;
int Down = Up – 19;

glClear(GL_COLOR_BUFFER_BIT); // 창 초기화 및 컬러설정

glColor3f(0.39, 0.58, 0.93);
glBegin(GL_POLYGON);
glVertex2i(-220, -50);
glVertex2i(-220, 50);
glVertex2i(220, 50);
glVertex2i(220, -50);
glEnd();
glColor3f(0, 0, 0);
glBegin(GL_LINE_LOOP);
glVertex2i(-220, -50);
glVertex2i(-220, 50);
glVertex2i(220, 50);
glVertex2i(220, -50);
glEnd();

for (int i = 0; i < 2; i++){
for (int j = 0; j < 4; j++){
if (distance < 40) {
glColor3f(1, 0, 0);
}
else {
glColor3f(0.3, 0.95, 0.04);
}
glBegin(GL_POLYGON);
glVertex2i(Left, Up);
glVertex2i(Right, Up);
glVertex2i(Right, Down);
glVertex2i(Left, Down);
glEnd();
Left += 20;
Right += 20;

}
Up = -40 + 19;
Down = -40;
Left = -215;
Right = -215 + 19;
}
Up = 45;
Down = Up – 19;
Left = -215 + 80 + 30 + 25;
Right = Left + 19;
for (int i = 0; i < 2; i++){
for (int j = 0; j < 8; j++){
if (distance < 40) {
glColor3f(1, 0, 0);
}
else {
glColor3f(0.3, 0.95, 0.04);
}
glColor3f(0.3, 0.95, 0.04);
glBegin(GL_POLYGON);
glVertex2i(Left, Up);
glVertex2i(Right, Up);
glVertex2i(Right, Down);
glVertex2i(Left, Down);
glEnd();
Left += 20;
Right += 20;
}
Up = -40 + 19;
Down = -40;
Left = -215 + 80 + 30 + 25;
Right = Left + 19;
}

Left = -215 + 80 + 55 + 80 + 80 + 55;
Right = Left + 19;
Up = 45;
Down = Up – 19;
for (int i = 0; i < 2; i++){
for (int j = 0; j < 4; j++){
if (distance < 40) {
glColor3f(1, 0, 0);
}
else {
glColor3f(0.3, 0.95, 0.04);
}
glColor3f(0.3, 0.95, 0.04);
glBegin(GL_POLYGON);
glVertex2i(Left, Up);
glVertex2i(Right, Up);
glVertex2i(Right, Down);
glVertex2i(Left, Down);
glEnd();
Left += 20;
Right += 20;
}
Up = -40 + 19;
Down = -40;
Left = -215 + 80 + 55 + 80 + 80 + 55;
Right = Left + 19;
}
glFlush();//버퍼지우기
}

void reshapeFcn(GLint w, GLint h)
{
glMatrixMode(GL_PROJECTION);
glLoadIdentity();
gluOrtho2D(w / -2.0, w / 2.0, h / -2.0, h / 2.0);
glViewport(0, 0, w, h);
}

int main(int argc, char **argv)
{
glutInit(&argc, argv);
glutInitDisplayMode(GLUT_SINGLE | GLUT_RGB);
glutInitWindowPosition(100, 100);
glutInitWindowSize(winWidth, winHeight);
glutCreateWindow(“지하철 좌석배치도”);

init();
glutDisplayFunc(DrawMetro);
glutReshapeFunc(reshapeFcn);
glutMainLoop();

return 0;
}

main.cpp

#include
#include
#include “SerialClass.h”
#include
#pragma warning (disable:4996) //fopen 제거

int main(int argc, _TCHAR* argv[])
{
printf(“아두이노와의 시리얼 통신을 시작합니다\n\n”);

Serial* SP = new Serial(“\\\\.\\COM3”);//시리얼포트는 com3

if (SP->IsConnected())
printf(“연결되었습니다.”);

char incomingData[256] = “”;
//printf(“%s\n”,incomingData);
int dataLength = 256;
int readResult = 0;
FILE *f;
f = fopen(“TempData.txt”, “w”);
int distance = 0;
char dis = 0;
while (SP->IsConnected())
{
readResult = SP->ReadData(incomingData, dataLength);
std::string test(incomingData);

printf(“%s”, incomingData);

char* token = strtok(incomingData, “ “);
int distance = 0;
while (token != NULL) {
fprintf(f, “\t%s”, token);
int distance = atoi(token);
token = strtok(NULL, “ “);
}

// strtok // token
test = “”;

Sleep(2000);

}
fclose(f);
return 0;
}

SerialClass.cpp
#include “SerialClass.h”

Serial::Serial(char *portName)
{
this->connected = false;

this->hSerial = CreateFile(portName,
GENERIC_READ,
0,
NULL,
OPEN_EXISTING,
FILE_ATTRIBUTE_NORMAL,
NULL);

if (this->hSerial == INVALID_HANDLE_VALUE)
{
if (GetLastError() == ERROR_FILE_NOT_FOUND){

printf(“ERROR: Handle was not attached. Reason: %s not available.\n”, portName);

}
else
{
printf(“ERROR!!!”);
}
}
else
{
DCB dcbSerialParams = { 0 };

if (!GetCommState(this->hSerial, &dcbSerialParams)) {
printf(“failed to get current serial parameters!”);
}
else{
dcbSerialParams.BaudRate = CBR_9600;
dcbSerialParams.ByteSize = 8;
dcbSerialParams.StopBits = ONESTOPBIT;
dcbSerialParams.Parity = NOPARITY;

if (!SetCommState(hSerial, &dcbSerialParams)){
printf(“ALERT: Could not set Serial Port parameters”);
}
else{

this->connected = true;
Sleep(ARDUINO_WAIT_TIME);
}
}
}

}

Serial::~Serial(){ // 연결 끊기 전에 연결되어있으면
if (this->connected){
this->connected = false;
CloseHandle(this->hSerial);//통신종료
}
}

int Serial::ReadData(char *buffer, unsigned int nbChar){
DWORD bytesRead;//읽은 바이트수
unsigned int toRead;

ClearCommError(this->hSerial, &this->errors, &this->status);

if (this->status.cbInQue > 0) {
if (this->status.cbInQue > nbChar){
toRead = nbChar;
}
else{
toRead = this->status.cbInQue;
}

if (ReadFile(this->hSerial, buffer, toRead, &bytesRead, NULL) && bytesRead != 0)
{
return bytesRead;
}
}

return -1;

}

bool Serial::WriteData(char *buffer, unsigned int nbChar){
DWORD bytesSend;

if (!WriteFile(this->hSerial, (void *)buffer, nbChar, &bytesSend, 0)){
ClearCommError(this->hSerial, &this->errors, &this->status);
return false;
}
else
return true;
}

bool Serial::IsConnected(){
return this->connected;
}

Serial.h
#ifndef SERIALCLASS_H_INCLUDED
#define SERIALCLASS_H_INCLUDED
#define ARDUINO_WAIT_TIME 2000

#include
#include
#include

class Serial
{
private:
HANDLE hSerial;
bool connected;
COMSTAT status;
DWORD errors;

public:
Serial(char *portName);//포트번호로 통신
~Serial();
int ReadData(char *buffer, unsigned int nbChar);//버퍼로부터
bool WriteData(char *buffer, unsigned int nbChar);
bool IsConnected();
};

#endif

Arduino.ino
int trigPin = 8; // trigPin을 13번에 저장
int echoPin = 7; // echPin을 12번에 저장

void setup()
{
Serial.begin (9600); //시리얼 통신을, 9600속도로 받습니다. (숫자 조정은 자유)
pinMode(trigPin, OUTPUT); //trigPic을 출력모드로
pinMode(echoPin, INPUT); //echoPin을 입력모드로
}

void loop()
{
long duration, distance; //시간과 거리를 설정합니다
digitalWrite(trigPin, LOW); // trigPin이 low 신호를 주면
delayMicroseconds(2); // 2 만큼 지연합니다
digitalWrite(trigPin, HIGH); // trigPin이 high 신호를 주면
delayMicroseconds(10); // 10 만큼 지연합니다
digitalWrite(trigPin, LOW);
duration = pulseIn(echoPin, HIGH); // duration에 밑의 공식을 대입합니다
distance = (duration/2) / 29.1; // 초음파가 갔다가 돌아오기 때문에 2배의 값을 얻습니다 그렇기에 거리/2를 합니다.

if (distance >= 200 ) // 거리가 200cm가 넘어가면
{
Serial.println(“Out of range.”); // 시리얼 모니터에 Out of range.라는 문구가 나옵니다
}
else
{
Serial.print(distance); // 시리얼 모니터에 diseance를 표기
}
delay(2000); // 작동을 500 동안 지연합니다.
}