스마트 산업, 손쉬운 터치환경 솔루션

JUTF 시리즈

글 | 티앤원 채은철

영화 혹은 상상 속에서 있었던 IoT기술은 점차 현실화되어 이제 우리의 삶 속 곳곳에서 찾아볼 수 있다. IoT는 Internet of Things의 약자로 인터넷에 연결된 네트워크 연결장치를 비롯한 산업 장비 등과 같이 데이터를 공유할 수 있는 수많은 사물들을 일컬어 말한다.
스마트 팜 혹은 스마트 팩토리와 같은 산업현장에서 현재 적용되는 IoT기술을 보자면 센서를 통해 외부 환경에 대한 센싱을 하고, 그 데이터를 네트워크를 통해 수집하고 사용자의 목적에 맞게 사용할 수 있다.
또, 외부 냉난방이나 조명, 수위 등 여러 산업 장비를 모니터링할 수 있고 제어할 수 있어 다양한 분야에서 활용된다.

관련 IoT관련 산업장비 또한 다양한데, 그중에서도 디스플레이를 활용한 모니터링 시스템이 계속해서 주목받고 있다. IoT의 발달로 사물은 계속해서 똑똑해지지만 스스로 생각할 수 없는 기계엔 사람의 조작이 필요하다. 때문에 사람이 장비의 상황을 확인 할 수 있는 눈에 보이는 디스플레이를 통한 모니터링 시스템은 우리의 일상뿐만 아니라 산업 현장에서도 보편화 되고 있다.

IoT 시대에 모니터링 시스템 및 다양한 분야에서 디스플레이가 중요한 핵심요소가 될 것으로 판단하여 티앤원에서는 제품 업그레이드 및 품질을 높이고자 지속해서 노력하고 있다.
현재 다양한 분야의 스마트 산업에서 터치디스플레이 환경이 적용되어 관련 업체들과의 커뮤니케이션을 진행하면서 끊임없이 새로운 필드에서의 적응 테스트를 진행하고 있다.
이미 개발 완료된 제품이나 일반 MICOM을 적용하는 제품 개발자들의 입장에서 기기에 새로운 LCD 환경을 구축하고 개발해야 한다는 것은 시간과 비용적인 면에서 상당한 스트레스일 것이다. 또한, 개발 기한을 맞추는 일도 여간 까다로운 일이 아닐 것이다.
이러한 부분에서 JUTF 시리즈는 손쉬운 터치환경 솔루션을 제시한다. 일반 유저나 전문 지식이 없는 입문자라도 시리얼 인터페이스를 통해 쉽게 이미지를 로딩할 수 있게 도와주고, 기존의 시스템에 쉽게 동화될 수 있는 환경을 구축해 줄 수 있기 때문이다.
TFT LCD를 위한 H/W자원과 2D GRAPHIC 및 이미지 출력을 위한 충분한 메모리 자원이 불가능한 MCU에서도 UART 통신만으로 풍부한 GUI 환경 구현이 가능하기 때문에 기존 장비의 교체없이 최단기간 내에 사용자의 시스템에 GUI 환경을 구축할 수 있다.

이렇게 JUTF M-A가 GUI 환경을 쉽게 구현하고 제어할 수 있는 이유는 아두이노를 비롯한 8bit 또는 16bit 등의 저사양 MCU와 5V TTL Level UART통신 방식이 가능하기 때문이다.
JUTF M-A 모델은 시중에서 가장 많은 수요가 있는 480×272해상도의 4.3인치 TFT LCD와 800×480해상도의 7.0인치 TFT LCD 2가지 모델을 지원하고 있으며 감압식 터치 판넬 적용이 기본으로 되어있다. 정전식 적용 및 기타는 커스터마이징 타입으로 가능하다.
실제 산업 현장에서는 작업하다가 이물질이 묻은 손으로 LCD에 터치하며 제어하고, 모니터링을 해야 할 수 있어야 한다. 때문에 산업 현장에서 오류가 잦은 정전식 터치는 잘 사용하지 않는다. 그리고 현장에서 작업 시 장갑도 착용한 상태에서 터치 조작을 해야 하기에 감압식 터치를 지원하는 제품을 사용하는 것이 더욱 편리하다.
또 JUTF M-A는 LCD 컨트롤러를 내장한 32비트 MCU를 적용했으며, 1Gbit의 NAND FLASH를 내장하고 있어 이미지 및 사운드 파일을 넉넉하게 넣어 사용할 수 있다.
해외 제품보다 수요자와 공급자간의 커뮤니케이션이 원활하고 숙련된 임베디드 기술을 보유하여 어떤 프로젝트에도 대응이 가능한 점이 큰 장점이다. 또한 보드를 보호하는 커버와 기구물 장착을 위한 브라켓까지 제공되고 인증작업까지 마무리되어 필요한 업체에게 다양한 메리트를 제공해준다.

JUST USE, JUTF M-A 간편 사용법

1. 먼저, USB 외장 저장장치 모드이다. 보드에서 DB버튼을 누른 상태로 USB Cable을 커넥터에 연결해준다. (5초간 누름)
2. DB버튼을 떼면, PC에서 USB 드라이브가 인식되어 있고 이 기능으로 쉽게 이미지를 저장하거나, 수정할 수 있다.
3. 다음으로 일반모드를 실행한다. 일반 모드는 스피커, LCD를 연결 해주고 Power, TTL UART 커넥터에 Serial 케이블을 연결해 PC와 연결한다.
4. PC로 전원 공급시 전류가 부족하다면, Mini USB 케이블로 전원을 추가 공급한다.
5. 단, 정상적인 일반 동작모드의 부팅이 이루어지기 위해서는, NAND 메모리에 “config.txt” 파일과 “boot.bmp” 파일이 있어야 한다. (해당 파일 확인은 1번의 usb 외장 저장장치 모드에서 확인할 수 있다) config.txt” 파일의 내용은 RS232통신 통신속도(Baud Rate)와 LCD 해상도가 명시되어 있다.
6. 반드시, 파일명과 파일내 영문자는 소문자가 되어야 하며, 아래와 같이 한 라인에 하나의 정보만 기록 저장되어야 한다.
7. 다음은 USB 외장 저장장치 모드이다. 보드에서 DB버튼을 누른 상태로 USB Cable을 커넥터에 연결해준다. (5초간 누름)
8. DB버튼을 떼면, PC에서 USB 드라이브가 인식되어 있고 이 기능으로 쉽게 이미지를 저장하거나, 수정할 수 있다.

간단실습

아두이노, 라즈베리파이와 손쉬운 연결이 가능!
JUTF와 아두이노를 활용하여 간단하게 제품을 사용해봅시다.
먼저 아래와 같이 보드와 아두이노, LCD를 연결한다.
디바이스마트 해당 제품 상세페이지 아래에 자료목록을 통해 JUTF M-A에 대한 가이드 매뉴얼을 다운로드 받으면 아두이노 IDE를 통해서 다음과 같은 코딩이 가능하다.
아래의 예시는 선과 도형 그리기에 대한 코딩 소스 예시이다.

소스코드를 업로드 하면 아래와 같은 이미지를 얻을 수 있다.
이외에도 이미지, 사운드 삽입 및 출력 등으로 여러 GUI 환경 구축이 가능하기에 활용범위는 다음과 같다.

JUTF M-A, Application
JUTF M-A는 다양한 규모의 산업현장 외에도 소규모의 영세한 기업에 이르기까지 단말기의 기기 상태나 라인의 공정 상태를 보고 싶은 모든 작업자와 환경을 대상으로 하기에 적용범위가 넓다. 기존에 의료기기, 미용기기, 3D 프린터 등에 적용되었고 현재 스마트 산업 현장과 무인 체크인 시스템 및 시제품 테스트 등 다양한 분야의 산업 군에서 활용되고 있다.

JUTF70 M-A를 적용한 ㈜티앤원의 SDC 제품은 스마트 팜 및 스마트 팩토리 등의 스마트 모니터링 및 제어 시스템에 적용이 가능하고 현재 아쿠아포닉스 및 스마트 관련 산업 다수에 적용되어 업체와 함께 프로젝트를 진행하고 있으며, 2020년 연말에는 고해상도가 지원되는 JUTF High performance 제품이 출시될 예정이다.

코코아팹

나만의 회로를 직접 그리고 설계하는 ‘무한 상상 키트’

코딩 및 전기회로 교육용 키트를 연구하는 ‘코코아팹’은 전도성 펜으로 원하는 회로를 직접 그리고 설계할 수 있는 ‘무한 상상 키트’ 를 출시하였다. ‘무한 상상 키트’는 무지 종이, 부품, 전도성 펜으로 구성되어 있으며, 특징으로는 펜으로 글씨를 쓰거나 선을 그리는 것만으로도 전기 회로가 완성되어 자신이 원하는 대로 제작이 가능하다는 것이다. 정해진 가이드 없이 아 이들이 직접 설계하고 제작할 수 있어 상상 력을 마음껏 펼쳐볼 수 있다. 또한 1개 제품 이 5인용 기준이며 최소 3~4개의 결과물을 만들어내어 합리적인 비용과 풍성한 구성을 모두 갖추었다. ‘무한 상상 키트’는 교육 목적에 따라 크게 3가지 활용 방법으로 나뉘는데, 첫 번째로는 수업 시간 과학/실과/미술/도덕과 연계된 교 과연계 수업 도구로 활용하는 것이다. 과학 시간에는 전기 관련 수업을 하면서 학생들이 직접 전기가 통하는 회로를 그려보면서 이해 를 쉽게 할 수 있으며 미술 시간에는 내가 원 하는 모양으로 결과물을 창작하도록 유도할 수 있다. 두 번째로는 3D 펜이나 3D프린터와 융합하여 창의적 체험 활동 및 발명 활동을 하는 것이다. 무한 상상 키트에 3D 펜과 프린 터를 같이 사용하여 프로젝트를 진행하면 결 과물이 더 뛰어나며 장식품으로 액자에 넣어 오래 보존하며 간직할 수 있다. 마지막으로는 코딩 수업을 진행할 때 프로젝트의 소프트웨 어 기초 교육 도구로 활용할 수 있다. 아두이 노 기초 수업에서 다양한 센서 제품들과 함 께 무한 상상 키트를 적용하면 더 높은 교육 효과를 기대해볼 수 있다.

제품 바로 확인하기

Adafruit

주변 공기의 질을 추적 감지하는 Adafruit PMSA003I 출시

Adafruit에서는 주변 공기의 질을 추적하고 감지할 수 있는 PMSA003I 대기질 브레이크 아웃을 출시하였다. 이 센서는 소형 플로그인 형식으로 공기질 모니터링에 탁월하며 무엇보다도 UART 인터페이스인 거의 모든 다른 센서와 달리 이 제 품은 I2C 인터페이스가 있어 Raspberry Pi와 같은 단일 보드, Linux 컴퓨터 또는 Arduino UNO와 사용하는데 적합하다. SparkFun Qwiic 호환 STEMMA QT 커넥터 2개가 포함되어 있어 추가 납땜이 필요하지 않고, 다양한 QT보드 및 센서에 공기질 감지 기능을 추가시킬 수 있어 손쉽게 사용이 가능 하다. 또한, 이 센서는 레이저 산란을 사용하여 공 기 중에 현탁 입자를 방출한 다음 산란광을 수집하여 시간에 따른 산란광 변화 곡선을 얻 고, 마이크로 프로세서는 등가 입자 직경과 단위 부피당 직경이 다른 입자 수를 계산 할 수 있다. I2C 데이터 스트림은 1초에 한 번씩 업데이 트되며 표준 및 환경 단위 모두에서 PM1.0, PM2.5 및 PM10.0 농도, 0.1L 공기 당 입자상 물질, 0.3um, 0.5um, 1.0um, 2.5um, 5.0um 및 10um 크기 빈으로 분류한 데이터를 얻을 수 있다. 브레이크 아웃 보드에는 5V 미니 부스트 회 로가 있어 3.3V 및 5V에서 전원을 공급할 수 있다. 이 밖에 자세한 기술적 세부 사항은 디바이 스마트 해당 제품의 상세페이지를 통해 확인 할 수 있다.

제품 바로 확인하기

KAMCAP

글로벌 슈퍼 캐패시터 시장을 선도하는 KAMCAP

슈퍼캐패시터는 에너지를 모아두었다가 필 요에 따라 높은 에너지를 발산하는 에너지 저장 장치이다. 일반 배터리보다 거의 10배 높은 전력을 즉시 방출할 수 있으며 이 과정에서 손상되 지 않고 고온에서도 안정적인 성능과 반영구 적인 수명을 자랑한다. KAMCAP은 중국에서 가장 전문적인 슈퍼 캐패시터 제조업체로, 슈퍼캐패시터의 개발 부터 생산 및 판매까지 담당하고 있다. 또한 연구 개발센터를 따로 두고 있어 모든 제품은 독립적으로 개발되고 슈퍼 캐패시터 생산에 대한 지적 재산권 또한 KAMCAP에 서 보유하고 있다. KAMCAP 슈퍼 커패시터의 주요 연구 및 개발 방향에는 극성 필름 연구 및 개발, 제조 공정 개발, 전해질 개발, 전문 장비 개발, 제 품 구조 설계, 모듈 통합 연구 및 개발 모두 포함한다. 뿐만 아니라 IS09001 품질 경영 시스템 인증, ISO14001 환경 경영 시스템 인증, ISO / TS 16949 자동차 산업 품질 경영 시스템 인 증을 통과해 공신력을 인정받았다. KAMCAP 슈퍼 커패시터 제품은 국제적으 로 광범위한 응용 분야에 활용되며 특히 전 기 계량기, 수도 계량기 및 기타 스마트 계량 기 분야에서 시장 점유율은 90% 이상을 차 지하고 있다. 강력한 기술 R&D 및 생산팀을 보유하여 고객에게 완벽한 제품을 제공할 수 있는 시 스템을 기반으로 경쟁력 있는 슈퍼 캐패시터 전문 제조업체로 자리매김하고 있다. 현재 디바이스마트에서 신규 입고된 총 60 여 종의 KAMCAP 슈퍼 캐패시터를 만나볼 수 있으며 자세한 제품 사양은 상세페이지를 통해 확인 할 수 있다.

KAMCAP 바로 확인하기

SparkFun

강력한 FPGA 개발보드 Alchitry Au 공개

오픈 소스 하드웨어 부문의 선두주자 SparkFun은 FPGA 지식 및 경험이 많은 Alchitry과 파트너십 체결하여 Alchitry의 차세 대 FPGA 보드 라인을 제조 및 배포하고 있다. Alchitry의 제품은 견고한 하드웨어 엔지니 어링, 완벽한 소프트웨어 지원 및 고객 성공에 필요한 필수 콘텐츠로 시장의 요구를 충족시 키며 이와 더불어 SparkFun Qwiic 커넥터가 장착되어 사용자가 I2C 연결을 통해 100개 이 상의 개발 기판, 센서 및 릴레이와 쉽게 인터 페이스 할 수 있다. FPGA (Field-Programmable Gate Arrays)는 엔지니어와 애호가 모두 전자 공학 프로그 래밍의 다음 단계를 경험할 수 있는 고급 개발 보드 유형으로 Alchitry Au FPGA 개발보드는 시장에서 가장 강력한 보드 중 하나일 수 있 다. Alchitry Au는 33,000개 이상의 로직 셀 과 256MB의 DDR3 RAM을 제공하며 Xilinx Artix 7 XC7A35T-1C FPGA를 갖추고 있다. 또한, 102개의 3.3V 로직 레벨 IO 핀을 제공 하며 그중 20개는 1.8V로 전환 할 수 있는 특 징을 갖는다. 전원을 공급하는 USB-C 커넥터와 데이터 전송을 위한 USB- 직렬 인터페이스로 더 쉽 게 시작할 수 있도록 모든 Alchitry 보드에는 완벽한 Lucid 지원, 프로젝트에서 사용할 유 용한 구성 요소의 내장 라이브러리 및 디버거 가 있다. 매년 더 저렴하고 강력해지는 FPGA 보드의 추세를 이어가는 Sparkfun과 Alchitry 의 FPGA 보드 및 사용 방법은 디바이스마트 에서 자세하게 확인할 수 있다.

제품 특징

· Artix 7 XC7A35T-1C – 33,280 logic cells

· 256MB DDR3 RAM

· 102 IO pins (3.3V logic level, 20 of then can be switched to 1.8V for LVDS)

· Nine differential analog inputs (One dedicated, Eight mixed with digital IO)

· USB-C to configure and power the board

· Eight general purpose LEDs

· One button (typically used as a reset)

· 100MHz on-board clock (can be multiplied internally by the FPGA)

· Powered with 5V through USB-C port, 0.1″ holes, or headers

· USB to serial interface for data transfer (up to 12Mbaud)

· Qwiic Connector

· Dimensions of 65mm x 45mm

제품 바로 확인하기

MXCHIP

WiFi 듀얼 밴드 + 블루투스 5.0 IoT 콤보 모듈, EMC3380

MXCHIP은 중국에서 입지가 단단한 IoT전 문 개발 업체이다. 이제는 한국에서도 모르 는 사람이 없는 중국 최대 온라인 마켓인 알 리바바와 징동은 물론 구글, SK스마트홈 등 다양한 글로벌 IoT 플랫폼 및 서버와 연동을 지원하고 있으며 기본적으로 제공되고 있는 SDK를 이용하면 기타 특화 서버들과도 손쉽 게 연동할 수 있는 특징을 가지고 있다. 특히 알리바바에서 판매되는 IoT 제품에 대해서는 70% 이상의 제품이 MXCHIP의 솔루션을 사용하고 있다. 그중에서도 MXCHIP의 와이파이 듀얼 밴 드 모듈 시리즈는 IoT 애플리케이션에 최적화 되어있는 임베디드 모듈로 MXOS 플랫폼을 적재하여 사용한다. EMC3380은 ARM Trust Zone-M, HW 암 호화 액셀레이터, RNG를 내장해 보안이 한 층 강화되었으며, ARM v8-M 구조의 고성 능 MCU가 내장되어 있다. 하여 모듈이 내장 하고 있는 MCU를 사용해 IoT 디바이스의 기 본 입출력을 구현할 수 있어 IoT 디바이스 시 스템 설계에서 별도의 MCU를 사용할 필요 가 없다. 또한 무선 통신 표준으로 와이파이 듀얼 밴 드 규격인 802.11a/b/g/n과 블루투스 5.0 이 지원되는 고성능의 콤보 모듈이다. 특히 EMC3380은 2.4GHz 대역에서 여러 무선장 치에 의해 발생하는 간섭 노이즈가 심한 환 경에서 와이파이 5GHz 무선랜을 사용할 수 있어 다양한 환경에 최적화 되어있다. 이러한 MXCHIP의 제품들은 디바이스마트에서 만나볼 수 있다.

제품 바로 확인하기

     [Tinker Board S]                                                   [Tinker Edge T]

ASUS

DIY AIOT를 위한 싱글 보드 컴퓨터 Tinker 보드

사물의 특성에 맞게 지능을 개발하고 탑 재하여 활용하는 융합 기술인 AIOT를 개 발자들이 더욱 더 편리하게 DIY 할 수 있 는 Tinker 보드 제품들이 주목받고 있다. 제 품은 ARM 기반 쿼드 프로세서인 ‘Tinker Edge T’와 ‘Tinker Board’,‘Tinker Board S’ 및 알루미늄 케이스로 총 4종이 판매 중이 다. ‘Tinker Edge T’는 쿼드코어 ARM 기반 NXP i.MX 8M 프로세서가 장착되어 그래픽, 머신 비전, 비디오 등 중요한 응용 프로그램 에 필요한 강력한 솔루션을 제공해주는 단 일 보드 컴퓨터이다. 처리 속도를 높이고 전 력 요구량을 낮추면서 연결된 장치 및 지능 형 응용 프로그램을 보다 쉽게 구축할 수 있 는 머신 러닝 가속기인 Google Edge TPU 가 특징이며 1GB LPDDR4 듀얼 채널 메모 리, 4세대 저 전력 DDR DRAM 기술을 갖추 고 있어 시스템 성능과 효율성을 향상시켜주 지만 낮은 전력 소비를 제공한다. ‘Tinker Board’,‘Tinker Board S’는 다양한 빌드 및 프로젝트에 필요한 유연성을 제공하 기 위해 2GB LPDDR3 듀얼 채널 메모리를 갖추고 있으며, 응용 프로그램 및 파일 저 장에 사용되는 확장 가능한 microSD 카드 에 대해 빠른 읽기 및 쓰기 속도를 제공하는 SD 3.0 인터페이스를 지원한다. 가장 큰 장점으로는 제작자 친화적인 IoT 연결성과 우수한 사용자 경험을 제공할 수 있도록 개발에 최적화된 설계이다. GPIO API를 통해 버튼, 스위치, 센서, LED 등의 다양한 입력을 활용할 수 있으며 디스 플레이 및 터치스크린을 위한 DSI MIPI 연결 또한 지원한다. GPIO 헤더는 색상으로 구분 되어 각각의 핀 헤더를 쉽게 인식할 수 있으 며, PCB는 연결 시인성을 높이기 위해 헤더 및 위치 가이드라인이 기판에 그려져 있다. Tinker 보드는 신용카드 크기로 작지만 뛰 어난 효율을 자랑하는 컴퓨터이며, AIOT 분 야에서 DIY 제작자들이 다양한 아이디어 개발을 위해 사용할 수 있을 뿐만 아니라 상업 용 제품으로도 활용될 수 있다.

제품 바로 확인하기

신콘

지금은 4D시대! 신콘 4D 레이저 레벨기 출시

3D를 넘어 이제는 모든게 4D로 나오는 4D 시대이다. 이러한 시대 변화에 발맞춰 측량 장비 전문 브랜드 신콘에서 4D 레이저 레벨 기를 출시했다. 신콘 4D 레이저 레벨기는 바닥 열선 작업, 프레임 선반 작업, 창틀 혹은 유리 시공, 대 형 액자 걸기, 천장 조명 설치 등 수평 작업 이 필요한 모든 곳에 편리하게 사용된다. 트 렌지스터 다이오드와 일본 샤프 LD 다이오 드를 사용했으며 레드빔보다 가시성이 좋은 그린빔을 채택하여 조명이 많거나 밝은 현장 에서 용이하게 사용 가능하다. 작업범위는 직경 30M로 수광기 사용시에는 100M까지 늘어나며 정밀도는 7m에 1mm이다. 또한 레 이저 라인 높이가 낮고 다각도에서 동시 표 시되어 바닥 몰딩 및 시공 등 DIY 작업이나 셀프 인테리어도 쉽게 할 수 있다. 셀프 레벨링 해제 기능이 있어 레벨기가 자 동 보정 범위 ±3.5˚를 벗어나면 작동되며 레이저 라인이 표시되고 필요에 따라 홀딩도 가능하다. 본체 헤드 부분에 클램프를 장착 하여 철재 구조물에 사용 가능케 하였으며 스틸 플레이트를 사용하여 일반 구조물에도 부착할 수 있다. 그뿐만 아니라 엘리베이션 베이스를 활용 해 최소 2.5cm에서 최대 9cm까지 본체를 위, 아래로 이동할 수 있다. 7.3V 2,600mAh 충전식 리튬 배터리를 사용하여 C타입 케이 블로 충전 가능하며 완전 방전 후 6시간이면 완충이 된다. 이때 장시간 사용하지 않을 시 에는 배터리함의 부식 방지를 위하여 배터리 분리를 권장한다. 방수 등급 IP54로 생활 방수 기능이 있어 먼지가 많고 습도가 높은 환경에서도 문제없 이 사용할 수 있다. 이외에도 더 자세한 사양 과 사용 방법을 디바이스마트에서 확인해보자.

제품 바로 확인하기

2020 ICT 융합 프로젝트 공모전 우수상

180도 방향을 한번에 탐지하여interaction한

반응형 스마트 지팡이

글 | 한국과학기술원 김동주

1. 심사평
칩센 손잡이에 모터를 이용한 햅틱 기능을 포함한 것이 매우 인상적입니다. 단순히 장애물의 유무만을 진동을 통해 알려주는 것이 아닌, 거리와 방향 등도 함께 알려준다는 것이 참신한 아이디어로 와닿습니다. 다만 제품으로 생각하였을 때 모터부가 많이 포함됨에 따른 전류 소모와 무게 등이 조금 걱정입니다. 향후 추가 적용 가능한 기능들( TTS, 사우드, 디스플레이등)을 적용하면 더 열악한 요소가 될 소지가 있어 보여, 위의 사용성에 저해가 될만한 부분을 잘 해결해 나가는 것이 관건일듯 합니다.
펌테크 작품의 아이디어와 실용성 창의성이 돋보이는 작품으로 생각됩니다. 6개의 서보모터를 사용해 촉각피드백을 제공하는 내용은 신선했으며 전체척으로 기획 의도에 맞게 시스템을 안정적이고 완성도 높게 구현하였고 제출된 보고서 구성 내용도 명확하고, 충실했다고 생각이 듭니다. 전체적으로 기획의도, 기술 구현도, 완성도 등에서 상당히 우수한 작품으로 생각됩니다.
위드로봇 작품의 완성도는 높습니다만, 화이트케인 프로젝트는 과거에 매우 많은 팀들이 시도했던 전력이 있습니다. 기존 사례 연구를 진행한 뒤 보완점을 찾아 진행했으면 창의성에서 더 높은 점수를 받을 수 있습니다.

2. 작품 개요
작품은 기존의 굉장히 좁은 방향각도(15도)로 물체를 탐지하는 스마트 지팡이의 단점을 개선하고 다양한 햅틱 반응을 통해 사용자가 물체의 위치와 방향을 인식할 수 있도록 하는 시스템을 스마트 지팡이에 구현하고자 한다.
- 장애물 위치, 방향에 따른 햅틱 반응 (점자와 비슷한)
- 거리에 따른 손잡이 진동 반응
- 블루투스 통신을 통한 스마트폰의 음성 안내 및 진동

3. 작품 설명
3.1. 기존 제품의 문제점
일반 보조 지팡이의 경우 보행자의 감각에 의존하여 스스로 위험 수준을 판단하고 대처해야 하는 단점이 있다. 이러한 단점을 개선하고자 많은 사람이 노력해왔고 최근 들어 점점 센서의 가격이 낮아지고 있고 IOT가 넓은 영역에 적용할 수 있게 되자 스마트 지팡이라는 것을 만들게 되었다. 현재 잘 알려진 지팡이로는 we-walk라는 지팡이이다. 이 지팡이는 2015년에 등장하였고 초음파 센서와 진동센서, 스피커, 터치패드가 내장되어 있다. 주요 기능은 전방에 장애물이 있는 것을 진동과 사운드를 통해 경고 해주는 장점이 있다. 하지만 단점으로는 초음파센서의 물체 탐지하는 각도가 최대 15~30도로 굉장히 좁아 지팡이가 향하는 곳만 탐지가 가능하다.
시각장애인이 일반 사람과 달리 거리를 다닐 때 가장 크게 느낄 수 있는 불편한 점은 일반사람은 자신이 가는 길 부분 외에 범위도 볼 수 있어(넓은 화각) 쉽게 장애물 회피가 가능하다. 하지만 시각장애인은 지팡이에 의존하여 자신이 가는 길 좁은 부분에만 장애물의 존재를 알 수가 있다. 그래서 기존의 스마트 지팡이는 이러한 근본적 문제를 해결하지는 못하였다.
이러한 근본적인 문제를 해결하기 위해 새로운 지팡이를 설계하고자 하였고, 현재 자율주행기술에서 보면 자동차 천장상단에 보면 레이더가 360도로 매우 빠르게 도는 것을 볼 수가 있는데 이러한 원리를 지팡이에 도입하여 기존 방식에서 진화하여 사용자의 전방 180도 방향의 물체를 탐지하여 어느 곳에 위치( 거리, 방향에 따라 )가 있는지 알아내어 햅틱이나 진동 소리 등 다양한 감각으로 표현하고자 하였다.

3.2. 주요 동작 및 특징 및 전체 시스템 구성
3.2.1. 초음파 센서 동작

지팡이 하단에 있는 초음파 센서는 서보 모터와 연결되어 있어 150도를 움직일 수 있다. 1.5초의 시간동안 150도를 회전하게 되는데 이는 우리의 눈으로 봤을 때이고 프로그램에서는 사실은 서보모터는 0.15초마다 10도씩 움직이고 멈추고, 멈추었을 때 해당각도에서 초음파를 보내게 되고 반사되는 시간을 측정하여 거리로 환산한다. 이때 해당 각도와 거리에 따라 3*3 Array에 물체가 탐지되었으면 1로, 물체가 탐지되지 않으면 0으로 하여 매 순간 정보를 업데이트 한다. 근데 이때 이미 배열에 1이 저장되어 있는데 순식간에 0으로 탐지 된다고 하면, 0으로 바꾸지 않는다. 즉 한번 전방을 훑는 과정에서 그 위치에 무언가 탐지되어 1로 바뀌면, 그 훑는 과정에서는 계속 1로 저장된다. 그래야 순식간에 지나가는 장애물도 1.5초 동안 인식했다고 하여, 만의 하나의 위험을 막을 수 있게 된다.

이런 방식으로 동작을 하게 되면 1.5초 간격마다는 사용자 앞의 중심으로 150도 각도로 탐지되어 대략 몇 도 방향에 몇 cm 거리에 해당하는 배열을 통해 장애물이 어디에 있는지 정보를 인지 할 수 있게 된다.

초음파 센서를 2개 쓰는 이유는 각 초음파 센서의 위아래 탐지 각도가 15도 이내이므로 2개를 사용함으로써 총 30도이상의 각도가 탐지가 가능하게 하였고 한 센서의 탐지가 잘못되어 일어나지 않는다면 다른 센서가 이를 탐지 할 수 있게 하기 위함이다.

3.2.2. 6개의 서보모터
3.2.1 초음파 센서 동작에서 얻은 초음파센서의 3*3 array 정보 중 가까운 거리의 2*3 array만을 이용하여 6개의 서보모터를 통해서 촉각 피드백을 제공한다.
아래 표와 그림3과 같이 해당 array에 0의 값이 있으면 서보모터의 각도를 1이 있으면 90도로 설정한다. 그렇게 되면 바깥쪽으로 component가 튀어나오게 되어 촉각적인 정보를 제공할 수 있게 된다.

즉 사용자의 입장에서 1.5초 동안 좌측 0~50도 방향에만 15~70cm 거리 부근에 장애물이 탐지되었다면 배열은 다음과 같이 정보를 저장하고, 서보 모터는 그 배열의 정보를 바탕으로 (점자 비슷하게) 1인 부분만 돌아간다.

3.2.3. 블루투스 모듈
서보 모터와 마찬가지로 초음파 센서가 update시킨 3*3 array 0,1 정보를 바탕으로 블루투스 모듈이 해당 거리 정보를 폰으로 송신하여, 스마트폰에서 그 정보를 읽을 수 있도록 해준다.

3.2.4 스마트 기기
블루투스로 수신된 데이터를 바탕으로 스마트폰 디스플레이에 정보를 표시하고 진동 피드백과 Google의 text to speech를 이용하여 청각적인 정보로도 명확히 알 수 있게 한다.

탐지 거리에 따른 앱 인터페이스 속 표시되는 이미지

4. 개발과정 및 기타
4.1. 하드웨어 구성
다음은 회로 구성도이다.

사용된 부품은 a. 7개의 servo motor b. 2개의 초음파 센서(HC-SR04) c. 스위치 d. 블루투스 모듈 (HC-06) e. Servo motor 6개의 제어를 위한 pca9685 chip f. Vibration motor g. AAA 건전지 4개 h. 아두이노 이다.

4.2. 외형도 (모델링 과정 및 햅틱을 위한 부품 제작)
외형은 다음과 같이 AUTOCAD사의 fusion360 프로그램으로 설계하고 SINDOH 3D프린터로 외형을 제작했다.

시각장애인을 촉각을 느끼게 할 수 있는 햅틱을 위한 서보모터에 부착하는 COMPONENT는 illustrator로 제작을 하여 레이저 컷팅기로 아크릴 5T를 잘라 만들었다. 그리고 로고를 MDF 3T를 레이저 컷팅기로 음각을 새겨내 손잡이 전면부 동그란 부분에 끼워 붙였다.
모델을 다 뽑았으면, 아두이노와 서보모터, 기타 센서들을 회로와 같이 만들 모델 케이스 안에 부착한다.

그 후 지름 2cm 길이 90cm의 나무 막대기를 모델하단부에 붙여준다.

4.3. 완성된 모델의 랜더링

랜더링은 keyshot을 이용했다.

4.4. 코딩 작업
4.4.1. Arduino coding

4.4.2. App inventor coding (안드로이드 앱 구현)
A. 앱 및 인터페이스 디자인

시각장애인 안내견의 이미지를 지팡이로 표현하여 친숙한 이미지를 나타내고자 하였다.

B. 변수 및 함수 선언

C. Screen1에 대한 설정

D. Clock (반복문)에 대한 설정

E. 여러 컴포넌트에 대한 설정

4.5. 테스트 작업

수많은 테스트를 통해, 초음파 센서 최대각도 중 150을 얼만큼의 단위 각도로 나누어서 돌릴지, 그 단위 각도를 몇 초 동안 움직이게 할 것인지, 초음파 센서위치와 각도를 어떻게 하면 수직으로 더 넓은 범위의 물체를 탐지할 수 있는지, 진동모터의 세기는 얼마로 할 것인지, 얼마나 먼 거리의 물체부터 탐지해야 되는지에 대한 값을 구하고자 하였다.

5. 기대효과

매우 좁은 범위의 상황만 인지할 수 있는 시각장애인들의 근본적인 불편한 점을 자율주행자동차의 전방향의 도로 상황을 탐지하는 원리를 이용하여 해결함으로써 시각장애인들이 앞에 놓여진 상황에 대한 다양한 물체 정보과 피드백을 제공할 수 있게 된다. 스마트폰의 블루투스 기능을 연동하여 TTS기능, 사운드, 진동, 디스플레이 등의 더욱 확장성 있는 사용과 시각, 촉각, 청각 등 다양한 피드백 제공이 가능해진다. 처음에만 페어링하면 블루투스 주소를 계속 저장하고 있어 에어팟과 같이 지팡이와 스마트폰의 각각의 블루투스 기능만 켜져 있으면 자동으로 연결하여 매번 연결하는 불편한 점을 해소한다.

6. 추후 연구
초음파 센서가 달린 서보모터의 경우 계속 움직여야 하기 때문에 전력소모가 매우 심하고 소음도 살짝 존재한다. 이러한 문제를 해결하기 위해서 딥러닝의 영상처리능력을 이용하여 전방의 물체와 배경을 잘 구분하여 대략적인 거리를 유추하여 가까이 있다고 판단되면 그 때 서보 모터를 움직여 초음파 센서나 혹은 Tof 센서로 정확한 거리를 측정하게 되면 이러한 전력 문제와 소음 문제도 해결가능 할 것으로 보인다.
현재의 작품의 경우 0~50도, 50~100도, 100~150도 범위0 안의 물체가 있다라는 것을 인지 할 수 있지만 더욱 세분화하여 각도를 나누어 전방의 정보를 완벽히 인식하여 사용자의 앞 상황을 촉각적인 증강현실로 구현함으로써 시각장애인의 보행 중 문제 뿐만 아니라 전반적인 삶의 질 향상에 기여 할 수 있게 될 것 이다.

7. 참고 문헌
가. https://www.youtube.com/watch?v=y8X9X10Tn1k
나. https://learn.adafruit.com/16-channel-pwm-servo-driver/hooking-it-up
다. 함수사용 
라. https://blog.naver.com/roboholic84/10186975566
마. https://cafe.naver.com/mechawiki/104
바. https://kocoafab.cc/tutorial/view/704

2020 ICT 융합 프로젝트 공모전 우수상

Mindwave mobile 2를 이용한 뇌파 기반 응급호출 시스템

글 | 숭실대학교 최영림, 최지웅, 이하영, 김수희

1. 심사평
칩센 측정한 뇌파가 유사한 상황에 대하여 모든 사람이 동일한 혹은 비슷하게 출력되는지가 궁금합니다. 만약 그렇다면 시스템 및 DB구축이 충분히 가능할 듯 합니다만, 그렇지 않다면 이미 의사표현과 거동이 불편한 노약자들이 각각의 DB를 구축하기는 쉽지 않을듯 합니다. 의료기기 또는 의료 보조기의 경우 critical한 정보를 해석하거나 판정을 위한 데이터를 제공해야 하므로 신중하게 접근할 필요가 있어 보입니다.
펌테크 아이디어와 창의성을 갖춘 작품이라고 생각이 듭니다. 단 제출된 보고서 내용을 고려하면 작품에 대한 기획의도는 우수하다고 생각되지만 계획에 대비해서 출품작의 일부 진행 과정은 확인이 되나 최종적인 완성도를 구체적으로 확인할 수가 없었습니다.
위드로봇 수집한 데이터 양이 작은 점이 문제이지만 학부생 연구에서는 더 이상을 요구하는 것도 무리라 생각이 듭니다.

2. 서론
SWEEG 팀이 개발한 ‘뇌파 기반 응급호출 시스템’은 의사 표현이 힘든 노약자나 어린아이를 위하여 BCI기술과 machine learning(AI)을 접목해 간병인에게 환자의 상태를(응급/평상시) 알려주는 도구이다.

과학기술이 발전하면서 인간의 평균 수명은 그림1과 같이 높아졌고, 다양한 질병의 규명이 가능해지게 되었으며, 그러한 질병에서 오는 불편함을 해소하고자 하는 개선 욕구 또한 증가하는 추세가 되었다. 시대적 흐름에 맞춰 인간의 삶의 질에 대한 중요성이 점차 높아짐에 따라 특히 바이오산업이 주목을 받게 되었다.
한편, 현재 사람들이 살아가는 시대는 업종별 구분이 무의미해지는 변화의 시기이다. ‘4차 산업혁명’이라고 흔히 부르는 이러한 변화는 AI의 발전을 기반으로 자동차, 가전, 의료기기 등 여러 분야의 구분을 무너뜨리고 모든 것이 연결되는 세상을 만들고 있다.
바이오 산업은 최근 IT 기술과 접목하면서 큰 성장을 이루며 점차 복잡-세분화되고 있다. 그중 인간과 컴퓨터 간의 상호 작용을 연구하는 학문 분야인 HCI(Human-Computer Interface)에 대한 수요가 증가하고 있다. 특히, BCI(Brain-Computer Interface)는 미국 MIT 대학과 세계 경제포럼 등에서 10대 유망기술로 선정되기도 하였다.
BCI 기술이란 사람의 뇌 활동을 측정해 생각, 의도, 감정 등을 분석하고 이러한 정보를 명령으로 변환해 다양한 외부기기를 제어하거나 사용자의 의사, 의도를 외부에 전달하는 기술을 말한다. [1] 오랫동안 수많은 연구자들이 뇌파를 분석해왔고 그 결과 최근 과학자들이 뇌 속 신호체계를 컴퓨터로 표현하는 방법을 개발하게 되면서 BCI기술이 본격적으로 발전할 수 있게 되었다. 지난 수십 년간의 연구에서 인간이 말을 할 때나 뭔가를 생각할 때 인간의 두뇌는 뚜렷한 활동 패턴이 나타나는 것으로 밝혀지고 있다. 또한, 누군가의 말을 들을 때, 혹은 듣는 것을 상상할 때에도 뇌가 인식 가능한 신호 패턴이 나타나는 것으로 밝혀졌다. [2] 이는 BCI를 통해 뇌파를 갖고 실제 의사소통이 가능하다는 것을 보여준다.
본 프로젝트에서는 딥러닝을 이용한 실시간 뇌파 기반 호출 시스템의 모델과 결과물을 제공하고자 한다. 환자들의 의사 혹은 응급 시 호출 상황을 말이나 몸짓이 아닌 뇌파로 표현할 수 있도록 컴퓨터 알고리즘과 인공지능을 이용하여 분석하고 이를 간병인 혹은 의사에게도 적용할 수 있을 것이다.

3. 제품 설명
3.1. BCI 시스템
BCI 시스템은 측정 방법에 따라 침습식 혹은 비침습식 방식이 있다. 침습식은 두개강내뇌파, 국소장전위, 마이크로 전극, 마이크로 전극배열 등을 이용하고 비침습식은 뇌전도, 뇌자도, 양전자 단층촬영, 근적외선분광, 기능적 자기공명영상을 이용한다. 두 방식은 각기 장단점을 가지고 있다. 침습식은 두피를 뚫고 뇌 피질 혹은 뇌 안에서 직접 신호를 측정하기 때문에 센서의 생체적합성 이 중요한 사항이 된다. 이는 신호의 질과 시간/공간 해상도가 뛰어나다는 장점이 있기는 하지만, 센서의 생체적합성 및 장기간 이식되어도 문제가 되지 않는 디자인과 재질 그리고 신경조직을 상하지 않으면서 저 전력과 무선으로 동작할 수 있는 전극에 대한 연구가 요구된다. 이에 반해, 비침습식은 잡음 문제가 있어 신호의 질이 떨어지지만, 인체에 무해하고 준비과정이 복잡하지 않기 때문에 선호되고 있다[3].
BCI 시스템은 기본적으로 학습 과정과 피드백과정으로 구성된다. 학습 과정은 전처리 단계, 특징 정보 추출 단계와 분류 단계로 나뉜다.

· 전처리 단계
뇌파는 측정 시 전극을 부착하는 위치와 방법, 실험 환경, 피험자의 움직임 등에 의하여 잡음이 발생하기 쉬우며, 잡음이 포함된 뇌파는 BCI 시스템에 사용하기 부적절하다. 따라서 효율적인 BCI시스템을 구성하기 위해서는 전처리 과정을 수행하여 신뢰성 있는 뇌파를 수집하여야 한다.

· 특징 정보 추출 단계
특징추출은 주어진 입력자료보다 적은 차원을 가지면서 동시에 자료를 분류하기 위한 특징을 충분히 포함하는 입력신호의 특징을 찾아내는 과정이다. 이러한 특징을 이용하면 분류를 위한 계산량을 감소시킬 수 있을 뿐만 아니라 불필요한 특징을 제거함으로써 분류성능을 향상시킬 수 있다.

· 분류 단계
특징추출을 거친 뇌파 신호는 실질적인 기기 제어 등을 위한 분석 및 분류 과정을 거치게 된다. 다양한 감각 기관을 통하여 전달되는 정보를 처리, 분석, 종합하여 미리 정의된 특정 패턴들 중 어떤 부류에 속하는지 판별하는 기술이다. 생체 인식의 한 분야인 BCI 분야에서 활용되어지는 기법으로는 은닉마르코프모델(HMM: Hidden Markov Models), Kalman Filter Model, 다층신경회로망(Multi Layer Perceptron)등이 있다.
이후 피드백과정은 마우스커서 컨트롤, 휠체어 운전, 로봇팔의 제어 등의 구체적 응용에 적용한다.

3.2. 주요 동작 및 특징
먼저 Mindwave Mobile2(이하 측정기)와 연결된 클라이언트가 실행되면 호출 서버에 대한 Post Request를 통해 해당 기기의 등록 여부를 확인하고 아닐 경우 등록한다. 그 후 측정기와 현재 블루투스 통신을 하고 있는지 확인하고 정상적으로 수행됨을 확인한 후 측정기로부터 사용자의 뇌파 데이터를 수신받는다. 수신받은 뇌파 데이터는 곧바로 미리 학습된 딥러닝 모델에 의해 호출 상황인지 예측하는 작업을 수행한다.
해당 뇌파가 응급 시 호출 상황일 경우 측정기의 MAC address와 함께 서버로 Get Request를 보내 호출 요청을 전송하게 된다.
호출 요청을 받은 서버는 DB의 ‘call’ 테이블을 확인하여 해당 기기와 호출 관계인 피호출자가 존재하는지 확인한다. 존재하는 경우에는 ‘callee’ 테이블로부터 해당 피호출자의 토큰을 읽어오고 이를 기반으로 Firebase의 FCM을 이용하여 피호출자 모바일 어플리케이션에 호출을 요청한 유저의 이름이 담긴 푸시 메시지를 전송하게 된다.

3.3. 전체 시스템 구성도
3.3.1. 순서도
본 작품의 순서도는 다음과 같다.

3.3.2. 시스템 구성도

측정기를 이용한 뇌파 기반 호출 시스템의 구성도는 다음과 같다. 상황에 따라 측정기와 호출 서버 사이에 존재하는 라즈베리파이는 일반 사용자 컴퓨터로 대체할 수 있다.
라즈베리파이와 사용자가 착용한 측정기는 블루투스 통신을 통해 연결되며 연결이 완료되었을 시 측정기는 사용자의 전두엽으로부터 나오는 EEG 신호를 측정하여 연결된 기기로 송신한다. 본 데이터를 수신받은 라즈베리파이 기기는 딥러닝 모델 중 가장 정확도가 높은 MLP 기반으로 학습된 모델에 의해 해당 EEG 신호를 판별(예측)하게 되며 해당 신호가 호출 상황(응급)인 경우 AWS EC2에 올라가 있는 뇌파 호출 서버로 Http Request를 전송한다.
AWS EC2에는 Django Framework 기반 뇌파 호출 서버와 데이터를 관리하는 MySQL로 이루어져 있다. MySQL에는 피호출자 클라이언트(어플리케이션)의 정보와 호출자 클라이언트(측정기)의 정보가 저장된다.
본 서버는 어플리케이션에 푸시 방식의 알람 메시지를 전송하기 위해 Google Firebase 클라우드를 이용한다. 따라서 서버가 호출자의 호출 요청을 수신받았을 때 연결된 Firebase 클라우드로 피호출자의 토큰 값을 전송해 해당 어플리케이션에 푸시 알람을 전송한다.

3.3.3. DB 다이어그램
호출에 필요한 호출자의 정보(기기 MAC address 및 이름)과 피호출자의 정보(토큰, 이름)을 효율적으로 관리하고 관계성을 정의하기 위해 데이터베이스는 MySQL을 사용한다. 각 테이블의 세부 역할은 다음과 같다.

ⅰ) EEG 테이블
호출을 지시할 측정기 기기의 MAC 주소와 사용자의 이름을 등록 및 관리

ⅱ) callee 테이블
피호출자의 어플리케이션 정보 및 FCM 토큰을 저장

ⅲ) call 테이블
EEG 테이블과 callee 테이블 간 호출 관계성을 정의

3.4. 개발 환경
OS : 라즈베리파이3(라즈비안), 우분투(AWS EC2), 윈도우
개발 언어 : python 3.6, java
개발 툴 : jupyter notebook, android studio, pycharm, git, MySQL
오픈소스 : OpenCV, Firebase, Keras, Tensorflow, Django
디바이스 : Neurosky사 Mindwave Mobile2

4. 단계별 제작 과정
4.1. 측정기와 블루투스 통신을 이용한 사용자 뇌파(EEG) 탐지
본 프로젝트의 뇌파(EEG) 탐지 방법은 다음과 같다.

측정기의 데이터 전송방식은 BLE 4.0을 이용하기 때문에, 측정기와 서버를 중계할 Ubuntu와 Python Bluetooth 연결을 시도한다. 측정기의 블루투스가 Advertising(외부에 자신의 존재를 알리는 기능)은 안정적이지만 Connection(두 블루투스 장치 간 연결을 하는 것)은 불안정한 편이라 연결이 성공할 때까지 그림9와 같이 대략 3~4번의 재시도가 발생한다. 성공하면 측정기와 Ubuntu Linux를 페어링(Pairing)하여 측정된 뇌파를 파형의 종류에 따라 분류하는 결과로 나타난다. 뇌파 수신이 안정적이라면 이후부터 응급호출 상황과 평소 상황을 가정하여 각각 데이터를 측정, 수집한다.

4.2. 뇌파 데이터 수집 및 BCI 알고리즘을 이용한 뇌파 분석
· 데이터 수집
두피에 전극을 배치하기 위한 다양한 시스템이 있다. 연구 목적으로 가장 널리 사용되는 시스템은 21개의 전극으로 구성된 10/20 시스템이다. 눈과 코 사이의 영역은 nasion 영역이고, 머리 뒤에서 두개골의 가장 낮은 지점의 영역은 inion 영역이다. Fig. 10은 10/20 시스템에서 전극의 위치를 보여준다[4]. 해당 프로젝트에서 이용한 측정기기는 위에서 언급한 Mindwave Mobile2이다. 해당 기기는 머리에 헤드셋처럼 낀 뒤에 전극이 붙은 날개 부분을 이마 위에 대고, 그 뒤에 걸린 집게를 귀에 집는 형식으로 되어있다. 이는 그림10과 같이 10/20 시스템에 따라 Fp1, A1 위치의 전극을 이용하여 뇌파를 비침습형 방식(non-invasive)으로 측정한다.

데이터의 수집을 위해 23, 24세의 성인 남성 2명이 프로젝트의 실험자로 진행되었다. 실험자들이 실험에 자발적으로 참여했으며 그들 각자의 동의하에 진행되었다. 응급 상황을 위해, 실험자 2명은 약 1분간 여러 번 기록한 영상이나 공포영화를 보거나 응급 상황을 상상하면서 응급 시 호출 뇌파를 측정하였다. 평상시 상황을 위해, 실험자 2명은 약 10분간 여러 번 게임, 수면, 음식물 섭취 등의 위급하지 않은 상황에서 뇌파를 측정하였다. 측정된 응급상황 뇌파와 평상시 뇌파의 수는 기계학습의 정확도를 위하여 만개 이상이 되도록 하였다.

· 전처리 단계
위에서 언급한 비침습형 방식은 간편하지만 수집한 데이터의 정확도가 떨어지는 단점이 있다. 하지만, 이 문제는 측정기 내부의 알고리즘으로 불필요한 신호를 높은 수준으로 걸러낼 수 있게 되었다. 측정기로 뇌파를 측정한 후 더 정확한 데이터의 수집을 위해 해당 프로젝트에서는 유효한 뇌파만 검출하여 데이터 형식을 csv로 가공하였다. 측정기에서 측정된 rawdata는 각 delta, theta, lowAlpha, highAlpha, lowBeta, highBeta, lowGamma, midGamma, meditation, 그리고 Attention 총 10개의 column으로 구분되어 매 초마다 출력된다. 추가적으로 눈 깜박임도 측정되지만, 이를 기록했을 경우 rawdata가 1초가 아닌 3초마다 출력되기 때문에 정확도가 오히려 낮아질 수 있다고 판단되어 측정에 고려하지 않았다. 이때 응급상황일 경우 meditation과 attention이 0일 때를 모두 제거하고 0이 아닌 데이터만 csv로 받아와 train, test data를 생성했다. 측정하고 전처리 된 평상시 데이터와 응급상황 데이터는 다음과 같다.

· 특징정보 추출 단계

특징을 추출하기 위해 몇 가지 통계 도구를 사용했다. 코드에서 이들을 구현하기 위해 scikit-learn, tensorflow 등의 python 라이브러리를 사용하여 분류를 위해 10개의 column으로 이루어진 데이터셋을 가공하였다. 다음 Scaler는 뇌파신호의 통계적 특징을 계산하는 데 사용된다.

RobustScaler

10개의 column을 가진 각각의 데이터들이 같은 scale을 갖게 되지만, 평균과 분산 대신 중앙값(median absolute deviation)과 사분위 값(interquartile range)을 사용한다. 따라서 기존 평균, 표준편차를 이용한 scaler와 달리 측정 에러(이상값)의 영향을 받지 않는다. 즉, 중앙값(MAD)이 0, 사분위 값(IQR)이 1이 되도록 변환한다[5].

i ) Interquartile Range(IQR)
IQR은 은 데이터 세트를 사분위수로 나누는 것을 기반으로 하는 변수 측정 방법이다. 사분위수는 정렬된 데이터셋을 4개의 동일한 부분으로 나눈다. 분리된 분위 값을 각각 1사분위, 2사분위, 3사분위라고 한다. 그것들은 각각 Q1, Q2 및 Q3으로 표시된다. 75 분위수와 25 분위수 사이의 차이 또는 상한과 하한 사이의 차이와 같다. 식은 다음과 같다[6].

IQR = Q3 – Q1

ii ) Median(MAD)
중앙값은 상위 절반을 데이터 샘플의 하위 절반, 모집단 또는 확률 분포와 구분하는 값이다. 즉, 어떤 주어진 값들을 크기의 순서대로 정렬했을 때 가장 중앙에 위치하는 값을 의미한다. 확률 분포에서, 실수 m이 다음 식을 만족할 경우 그 값을 확률분포 P의 중앙값이라고 정의한다. 식은 다음과 같다[7].

· 분류 단계
해당 프로젝트에서는 MLP(DNN), SVM, CNN 세 종류 방식의 머신러닝 알고리즘을 이용하여 뇌파를 훈련했다. 각 머신러닝 알고리즘을 이용한 데이터의 정확도는 다음과 같다. 3가지 머신러닝 알고리즘을 사용한 이유는 더 정확도가 높은 머신러닝 알고리즘을 프로젝트에 적용하기 위함이다.

초기 SVM 알고리즘을 이용한 데이터를 실험했을 때 60%정도로 정확도가 낮았으나 이후 함수에 대한 다양한 변수값의 변화를 줌으로써 80%대까지 끌어올릴 수 있었다. 그러나 더 정확한 테스트를 위해 CNN, MLP 알고리즘을 추가 적용하였다. 그 결과 MLP가 약 95%의 정확도를 선보여 최종적으로 해당 프로젝트에 MLP 알고리즘을 적용할 수 있게 되었다. 추후 응급 상황뿐만이 아닌 다양한 상태의 뇌파를 판단할 때 이외의 알고리즘도 적용할 수 있다는 여지를 남겨두었다.

·피드백 과정

이후 csv로 저장된 뇌파를 훈련한 알고리즘을 h5 형태의 파일로 저장하여 Ubuntu에서 받아오는 뇌파에 즉석으로 적용할 수 있도록 하였다. 훈련된 데이터를 측정한 동일한 실험자에게 먼저 이 알고리즘을 적용한 결과, 정확도 높은 응급호출을 할 수 있었다. 데이터를 측정하지 않은 다른 실험자에게도 알고리즘을 적용해 응급호출상황을 가정해 실험해보았더니 이 또한 높은 정확도로 결과를 도출해낼 수 있었다.

4.3. Django 서버 프레임워크와 MySQL을 이용한 뇌파 호출 (메세징) API 서버 구현

높은 생산성과 머신러닝 라이브러리와의 지원과 같은 이유로 서버는 파이썬 Django 프레임워크를 선택하여 개발하였다. 측정기기의 MAC 주소와 피호출자 어플리케이션의 FCM 토큰값을 저장하기 위한 데이터베이스로는 MySQL을 사용하여 구현하였다.
만약 사용자의 특정 뇌파 패턴(호출 상황)이 감지된 경우 서버에 호출 요청을 하게 되고 서버는 해당 기기의 MAC주소와 연결되어있는 모든 클라이언트에게 FCM(Firebase Clout Message)를 통해 푸시 알람을 보내주게 된다.

4.4. 안드로이드 어플리케이션과 Firebase Cloud Message를 이용한 푸시 알람

사용자 어플리케이션의 효과적인 푸시 알람을 구현하기 위해 구글 Firebase를 이용하였다. 안드로이드 어플리케이션 구동 시 사용자는 Firebase로부터 토큰값을 할당받는다. 해당 토큰값을 뇌파 호출 서버에 등록하기 위해 어플리케이션 첫 실행 시 사용자는 개인의 식별 ID와 함께 토큰값을 서버에 전달하게 된다.
서버가 정상적으로 토큰을 DB에 저장했을 경우 사용자의 어플리케이션 로컬 스토리지(SharedPreference)에 해당 값을 기록하여 토큰이 서버에 저장되어 있음을 명시한다.
안드로이드 서비스 컴포넌트를 이용하여 어플리케이션은 Firebase로 부터 백그라운드 상황에서 푸시 알람을 받을 수 있으며 해당 경우 호출자의 이름과 함께 “호출하였습니다.” 메시지를 출력하게 된다.

5. 기타
5.1. 결론

본 프로젝트를 통해 응급 뇌파 호출을 위한 서버 시스템 및 통신 호출 관계를 정의하고 구축하였으며 뇌파 분석을 위한 알고리즘을 설계하였다. 실험 결과, 응급 상황 시에는 Meditation 및 Attention 수치가 일정 수준의 값을 보이는 것을 확인하였으며 이를 이용하여 정확한 알고리즘을 설계할 수 있었다. 이와 같은 뇌파 분석결과를 이용하여 의료분야뿐 아니라 게임 및 산업체 등 다양한 방면으로 뇌파 분석 시스템을 활용할 수 있다. 향후 연구 방향으로 더욱 다양한 상태의 뇌파 형태를 분석, 가공하여 4차 산업혁명의 시대에 맞는 다양한 뇌파 서비스를 제공하고자 한다.

5.2. 소스코드
https://github.com/Below0/EEG-Communication에서 확인할 수 있다.

5.3. 참고 문헌
[1] 조용환(2019.3.19.). 브레인 Vol.74, 10대 유망기술 BCI, 핵심은 ‘뇌파’. Retrieved from https://www.brainmedia.co.kr/BrainEducation/20968
[2] 김들풀(2019.2.6.). it뉴스, 뇌파를 음성으로 변환…BCI기술 구현. Retrieved from. http://www.itnews.or.kr/?p=29994
[3] 김귀정, 한정수 (2015). 뇌파를 이용한 BCI 게임 동향 고찰, 디지털융복합연구, 13:6, 178-179, 잠재적 사용자 대상 뇌-기계 인터페이스 (Brain-Machine Interface, BMI) 기술 개발을 위한 수요조사 (한국직업재활학회, 2014), 5-25에서 재인용.
[4] Max Roser, Esteban Ortiz-Ospina, Hannah Ritchie (2019). Life Expectancy. Retrieved from https://ourworldindata.org/life-expectancy
[5] Omid Bazgir, Zeynab Mohammadi, Seyed Amir Hassan Habibi (2018). “Emotion Recognition with Machine Learning Using EEG Signals.” 2018 National and 3rd International Iranian Conference on Biomedical Engineering (ICBME). IEEE 25: 1-5. Retrieved from https://arxiv.org/abs/1903.07272.
[6] V. Jurcak, D. Tsuzuki, and I. Dan. (2007) “10/20, 10/10, and 10/5 systems revisited: their validity as relative head-surface-based positioningsystems.”Neuroimage34(4): 1600-1611.
[7] 데이터 사이언스 스쿨(2016). scikit-learn의 전처리 기능. Retrieved from https://datascienceschool.net/view-notebook/f43be7d6515b48c0beb909826993c856/
[8] Wikipedia. Interquartile Range(IQR), Retrieved from, https://en.wikipedia.org/wiki/Interquartile_range
[9] Wikipedia, Median(MAD), Retrieved from, https://en.wikipedia.org/wiki/Median
[10] 한국콘텐츠진흥원(2011.3.). 문화기술(ICT) 심층리포트 12호:BCI 기술동향, Retrieved from https://www.kocca.kr/knowledge/publication/ct/__icsFiles/afieldfile/2011/03/24/HrswSxQXZXsO.pdf
[11] Akbari, H., Khalighinejad, B., Herrero, J.L. et al. Towards reconstructing intelligible speech from the human auditory cortex. Sci Rep 9, 874 (2019). https://doi.org/10.1038/s41598-018-37359-z
[12] “SVM using Scikit-Learn in Python.” learn opencv. n.d. 수정, Retrieved from https://www.learnopencv.com/svm-using-scikit-learn-in-python/.Scikit-learn: Machine Learning in Python, Pedregosa et al., JMLR 12, pp. 2825-2830, 2011.