생각을 문자로 바꿔주는 ‘마음 글씨’ 탄생

뇌 활동에서 개인 손글씨 동작 패턴 읽어내

가상 키보드 클릭해 쓰는 것보다 속도 2배

 

     사지마비 환자가 마음 속으로 쓴 글자를 컴퓨터가 읽어 화면에 썼다. 스탠퍼드대 제공

 

손가락이 아닌 마음으로 손글씨를 쓴다.

사지가 마비된 사람이 일반인의 스마트폰 문자메시지 입력에 필적하는 속도로 문자로 의사소통할 수 있는 기술이 개발됐다. 생각의 힘과 첨단 기술력이 결합해 이룬 성과다.

머릿 속으로 글자를 쓰면, 뇌에 심어놓은 센서가 이 신호를 받아 인공지능에 전해주고, 이를 접수한 인공지능이 신호를 해석해 컴퓨터 화면에 글자를 띄워준다.

 

미국 스탠퍼드대를 비롯한 뇌-컴퓨터 인터페이스(BCI) 공동연구팀 ‘브레인게이트2’는 13일 국제 학술지 `네이처' 표지논문으로 발표한 이번 연구에서 이 기술로 사지마비 환자가 분당 최고 90자(영어 알파벳 기준)까지 글씨를 쓸 수 있는 것으로 나타났다고 밝혔다. 연구진은 이런 방식의 글씨 쓰기에 `마음글씨'(mindwriting)라는 이름을 붙였다.

 

이는 척수 손상, 뇌졸중 등으로 손을 움직이거나 말을 할 수 없는 사람들도 일상적인 대화가 가능한 속도라고 연구진은 평가했다. 연구진은 정확도도 94%로 매우 높고, 자동 수정 장치와 함께 사용하면 정확도를 99%까지 높일 수 있다고 밝혔다.

 

환자의 뇌에는 아스피린 알약 크기에 100개의 전극이 달린 칩이 있다. 브레인게이트 제공

_______
알파벳 기준 1분에 90자...일반인 속도와 비슷

연구진은 뇌 신호를 컴퓨터 화면에 문자로 변환할 수 있는 새로운 알고리즘을 개발한 뒤, 이 장치를 2007년 척수를 다쳐 사지가 마비된 한 환자를 대상으로 실험했다. T5로 명명된 이 실험참가자(65)는 이미 2015년 오른쪽 팔과 손의 움직임과 관련된 뇌 부위에 작은 아스피린 알약 크기만한 2개의 칩을 이식한 상태였다. 각 칩에는 손의 움직임을 제어하는 뉴런 신호를 포착할 수 있는 전극 100개가 심어져 있다.

연구진은 우선 이 환자에게 종이 위에서 손으로 펜을 쥐고 있다고 상상할 것을 주문했다. 그런 다음 마음 속으로 문자, 단어, 그리고 문장을 써보라고 요구했다. 알고리즘 개발자인 스탠퍼드대 프랭크 윌렛 박사는 "이렇게 하면 이런 동작을 시도하는 뇌의 운동 영역에서 뇌의 활동이 활성화한다"고 말했다. 연구진은 이 뇌의 활동을 뇌에 심은 칩에 기록했다. T5 환자는 마음 속으로 각 문자(알파벳)를 10번씩 반복해 쓰는 방식으로 소프트웨어가 자신의 글씨 패턴을 익힐 수 있도록 가르쳤다.

 

인공신경망 훈련을 마친 연구진은 두 가지 방식으로 알고리즘의 성능을 시험했다. 하나는 프롬프터 화면의 문장을 그대로 베껴 쓰는 것, 다른 하나는 개방형 질문에 자유롭게 대답하는 방식이었다. 그 결과 둘다 90%가 넘는 정확도로 각각 1분당 90개, 73.8개 문자를 변환했다.

 

문자 90개는 이 환자와 같은 연령대인 일반인의 스마트폰 문자 입력 속도 평균(1분당 115개 문자)와 큰 차이가 없는 속도다. 단어 수로는 각각 18개, 23개에 해당한다. 연구진에 따르면 이 환자는 마음속 글자를 작게 하면 더 빨리 쓸 수 있는 것처럼 느꼈다고 한다.

 

   마음글씨를 쓰는 훈련을 하고 있는 모습. 동영상 갈무리

_______
10년 넘게 쓰지 않은 손 동작을 기억하는 뇌

이번 연구의 또다른 성과는 손을 쓰지 못한 지 10년이 넘었음에도 여전히 뇌가 예전 손동작 패턴을 기억하고 있다는 걸 확인한 점이다.

연구진은 "컴퓨터 마우스 커서까지 팔을 뻗어서 손에 쥐고 움직이는 것과 같은 커다란 동작 기술과 관련한 신경 활동이 마비 후에도 피질에 남아 있는 것은 확인했지만, 손글씨처럼 빠르고 정교한 동작 기술이 필요한 신경이 손상되지 않고 남아 있는지는 이제껏 알지 못했던 것"이라고 밝혔다.

 

현재 뇌-컴퓨터 인터페이스 기술은 주로 휠체어를 제어하거나 물건을 쥐는 등 커다란 동작을 구현하는 데 집중돼 있다. 문자 의사소통도 가능하기는 하다. 다만 지금까지는 컴퓨터 화면에 가상 키보드를 띄워 놓고 생각만으로 마우스 커서를 이동해 클릭하는 방식으로 문자를 써서 소통하는 방식이었다. 2017년 실험에서 T5 환자는 이런 방식으로 1분에 최고 40개 문자까지 쓸 수 있었다. 이번에 개발한 기술은 이 속도를 단숨에 2배 이상 뛰어넘었다.

_______
단순한 마우스 동작보다 복잡한 손 동작이 식별 더 쉬워

마우스를 클릭하는 것보다 더 복잡해 보이는 손글씨 방식이 어떻게 속도가 더 빠르게 나왔을까?

연구진은 손으로 글씨를 쓸 때는 훨씬 다양한 형태의 신경 활동을 유발하기 때문으로 해석했다. 즉 손으로 글씨를 쓸 때는 신경 활동의 시공간 패턴이 매우 다양해서, 직선으로 움직이는 마우스 클릭 방식보다 인공지능이 식별하기가 쉽다는 것이다. 다만 알파벳 중 r, h, n은 구별하기가 상대적으로 어려웠다고 한다.

                 뇌-컴퓨터 인터페이스 작동 구조도. 브라운대 제공

 

연구진은 그러나 이번에 개발한 기술은 개념증명 단계이기 때문에, 곧바로 사람한테 적용할 수는 없다고 밝혔다. 실제 환자들이 이용하려면 소프트웨어를 사용하기 쉽게 더 개선해야 한다. 예컨대 이번 연구에서 컴퓨터 알고리즘은 T5 환자의 마음글씨 패턴을 인식하는 데 상당한 시간을 필요로 했다. 실생활에 쓸 수 있으려면 훈련시간이 크게 단축돼야 한다. 또 잘못 쓴 경우 삭제하거나 편집할 수 있는 기능도 추가돼야 한다. 하지만 과학자들은 이번 연구를 통해 사람의 마음속 세계의 한 부분을 컴퓨터 화면으로 끌어내 정확한 의사소통을 가능하게 했다는 점에서 큰 기대를 걸고 있다.

 

또 한가지 확인해야 할 것은 알파벳을 쓰지 않는 언어에서도 이 시스템이 제대로 작동할지 여부다. 예컨대 한국어처럼 초성과 중성, 종성으로 구분돼 있는 언어나 한자처럼 매우 복잡하고 종류가 많은 문자 언어, 아랍어처럼 문자 모양이 크게 다르지 않은 언어에서도 통할 수 있을지는 추후 확인해 봐야 할 과제다.

 

이번 연구를 수행한 ‘브레인게이트2’ 연구팀은 브라운대, 스탠퍼드대, 매사추세츠종합병원, 케이스웨스턴리저브대, 프로비던스VA메디컬센터 연구진으로 구성돼 있다. 뇌-컴퓨터 인터페이스 기술 개발을 위해 2009년 출범한 이 연구팀은 2012년 사지가 마비된 사람이 생각만으로 로봇팔을 움직여 병에 든 커피를 들고 마시는 실험에 성공했다. 올해 4월에는 뇌에서 무선으로 컴퓨터에 명령을 내릴 수 있는 기술을 개발했다. 곽노필 기자