Colete de Comunicação Alternativa (CoCoA)

Participantes:

Mauro Carlos Pichiliani
Talita Pagani

Resumo do projeto:

O Colete de Comunicação Alternativa (CoCoA) consiste em um colete vestível (weareable) conectado à internet que permite o acoplamento de símbolos táteis de comunicação alternativa para auxiliar pessoas com deficiência de fala ou não verbais.

Descrição do projeto:

Deficiências de fala afetam pessoas com autismo, afasia, paralisia cerebral, surdez parcial ou total, entre outros transtornos. Em pessoas com autismo, por exemplo, é frequente a presença de não verbalização ou atraso de fala. A ausência de fala pode também ser uma deficiência temporária devido a alguma enfermidade.

O comprometimento de fala, permanente ou temporário, necessita de atenção e tratamento, pois esta habilidade é importante para a socialização e para que a pessoa que apresente outra condição ou deficiência possa ser melhor compreendida em suas necessidades.

Recursos assistivos de comunicação alternativa (CA) são usados para auxiliar as pessoas com deficiência de fala a se comunicar com seus familiares, terapeutas e demais pessoas. Pictogramas são uma das formas mais frequentes de recurso de CA, onde a pessoa pode apontar para os símbolos fixados em pontos estratégicos da casa ou então usar aplicativos que vocalizam estes símbolos, como o Proloquo2Go.

Porém, os pictogramas físicos só podem ser utilizados para a pessoa se comunicar com outras pessoas no mesmo ambiente, o que dificulta a comunicação com seus cuidadores caso ela tenha uma necessidade urgente e eles estejam em outros ambientes.

O Colete de Comunicação Alternativa (CoCoA) consiste em um colete vestível (weareable) conectado à internet que permite o acoplamento de símbolos táteis de comunicação alternativa para auxiliar pessoas com deficiência de fala ou não verbais a expressar suas necessidades aos cuidadores, terapeutas, professores e outros profissionais de saúde, sem que eles estejam sempre presentes no mesmo ambiente da pessoa com deficiência, facilitando o monitoramento.

O CoCoA possibilitará ao usuário incluir até seis símbolos de CA, realizando diferentes combinações, os quais serão sensores (botões) que, ao serem pressionados, tomam duas ações:

  1. Emitir o som das ações escolhidas por meio de um alto falante acoplado ao colete;
  2. Envio das ações escolhidas em formato textual via internet para algum aplicativo de comunicação dos cuidados, terapeutas ou professores, possibilitando que eles possam ser comunicados da necessidade da pessoa caso não estejam no mesmo recinto. Para dar um feedback à pessoa com deficiência, os botões pressionados também piscaram um LED para indicar as ações escolhidas.

Assim, é proposta uma solução de interface vestível, conectada, não intrusiva, portável e de fácil utilização para auxiliar pessoas com deficiência de fala a comunicar suas necessidades in loco ou remotamente. O colete não requerer esforço físico para utilização, pode ser usado em diferentes locais e facilita a assistência à pessoa com deficiência para atender suas necessidades, potencialmente impedindo que elas fiquem desconfortáveis ou estressadas.

O link para o vídeo que mostra o projeto em funcionamento:

O link para o projeto no site instructrables:

https://www.instructables.com/id/Projeto-CoCoa-Um-Colete-De-Comunica%C3%A7%C3%A3o-Alternativa

Histórico do desenvolvimento:

Semana de 8/5/2017 a 12/05/2017

Esta semana ficamos aguardando a chegadas dos seguintes materiais:

  1. A placa da Arrow (DragonBoad)
  2. O kit da 96 boards
  3. O conjunto de 10 tags RFID na forma de um chaveiro (CHEGOU)

 

4. O sensor de leitura de tags RFID

Também fizemos alguns testes com fios de cobre presos por fita adesiva. Esta alternativa vai facilitar o uso das conexões entre os push buttons, leds e a placa. O resultado foi promissor e provavelmente vamos utilizar estes fios de cobre no lugar da fita condutiva, pois isso vai evitar ter que costurar todas as trilhas no colete.

 

Também fizemos estudos para ver qual o tipo de colete vamos utilizar. Abaixo mostramos alguns sugestões iniciais.

 

Semana de 15/5/2017 a 19/05/2017

Todas as placas e sensores chegaram!

Já instalamos o SO Linux na placa DragonBoard e vamos realizar testes com as portas GPIO para verificar como fazer para acender os leds e os push buttons. Infelizmente o kit da 96 boards  possui somente um LED e um botão tipo push button e, por isso, vamos ter que utilizar cabos tipo jumper wire macho e fêmea.

Outro recurso super importante encontrado nesta semana foi a figura com o pinout da placa GragonBoard. Como não existe nenhuma identificação na placa e o datasheet é meio complicado, a figura abaixo tem ajudado muito!

Também estamos realizando testes com as tags RFID e a caixa de som bluetooth.

Semana de 22/5/2017 a 26/05/2017

Esta semana teve muito trabalho de software, especialmente para controlar diretamente por python as portas GPIO da placa. Decidimos não utilizar a placa Linker e sim acessar diretamente as portas da placa. Também fizemos testes com os últimos componentes que faltavam chegar: os push buttons e os leds.

 

 

Semana de 29/5/2017 a 02/06/2017

Esta semana foi de muito trabalho em duas frentes. Na parte do colete já recortamos o tecido de acordo com o molde e colocamos as posições dos seus botões de comunicação alternativa.

 

De acordo com o nosso planejamento vamos colocar seus botões que vão representar as seguintes ações:

 

  • Estou com fome
  • Estou com sede
  • Estou com dor
  • Estou com sono
  • Quero ir ao banheiro
  • Preciso de ajuda

 

Cada uma destas ações vai disparar um áudio que será tocado por uma caixa de som pequena conectada a um dongle ligado na porta USB. Infelizmente tivemos problemas com a conexão bluetooth e por isso optamos por usar a saída de áudio pelo USB.

Na parte da placa montamos as conexões com os push buttons de acordo com a figura abaixo:

A tabela de ligação do esqueça acima é a seguinte:

 

Ainda estamos decidindo se vamos ligar os Leds diretamente na placa DragonBoard ou se vamos utilizar um arduino. Também estamos analisando as opções para ligar a placa DragonBoard  a uma bateria sem fio de 12V e 2000 miliàmpere, ou algo equivalente. Por fim, também estamos trabalhando para integrar o leitor de RFID que provavelmente vai ser ligado a um Arduino ou a um Raspberry PI devido à falta de portas disponíveis na placa DragonBoard.

Optamos por um arduino do tipo NodeMCU pela quantidade de pinos GPIO com PWM disponíveis. Este arduino será conectado em uma porta USB da DragonBord e enviaremos comandos e leremos resultados pela conexão serial (/dev/ttyUSB0). O diagrama de conexão do NodeMCU com o módulo leitor RFID RC522 é mostrado abaixo:

 

 

A tabela para conexão das portas do leitor RFID RC522 com o arduino NodeMCU é a seguinte:

O diagrama de ligações de 4 leds no NodeMCU é apresentado na figura abaixo:

A tabela mostrando as portas utilizadas no NodeMCU para conectar os leds é apresentada abaixo:

 

 

Semana de 5/6/2017 a 09/06/2017

Esta semana está sendo bem atarefada! Trabalhamos muito no código e já temos um repositório no GitHub onde estamos subindo os códigos fontes do projeto:

https://github.com/pichiliani/CoCoa

Também tomamos algumas decisões importantes no projeto: vamos utilizar a placa DragonBoard junto com um arduino do tipo NodeMCU ESP 8266. Este Arduino vai se comunicar com a DragonBoard diretamente por WiFi e vai ser responsável por acender os leds e ler os cartões. RFID. A decisão por esta nova placa foi devido à falta de portas suficientes na DragonBoard.

Na figura abaixo podemos ver a placa DragonBoard com os botões e a caixa de som USB. Também é possível ver o NodeMCU de costas conectado na USB e com os leds na BreadBoard

 

Semana de 12/6/2017 a 16/06/2017

Esta semana fizemos as ligações das tiras com os cabos no colete. Também melhoramos o código para conectar o Arduino NodeMCU diretamente na porta serial da DragonBoard, evitando assim utilizar a rede WiFi. Ainda falta a ligação final dos cabos e a programação do bot do Telegram, mas estamos super adiantados no projeto.

Abaixo segue uma foto das seis almofadas “padrão” com os comandos de voz do colete

 

Semana de 19/6/2017 a 26/06/2017

Esta semana foi complicada. Tivemos um problema com a placa após tentar adicionar as libs para acessar o GPS. Este problema fez a placa parecer que estava queimada, pois ela não ligava mais. Felizmente conseguimos com a organização do concurso uma placa reserva e tudo deu certo.

Também criamos um novo bot no telegram chamado ProjectCocoaBot. Basta adicionar este bot para receber notificações quando um botão é pressionado.

Também definimos a arquitetura final do projeto, que é mostrada na figura abaixo:

VIDEO FINAL DO PROJETO

Link para o vídeo: https://youtu.be/-DxK2O-LcAA

 

Link para o projeto no instructables:

https://www.instructables.com/id/Projeto-CoCoa-Um-Colete-De-Comunica%C3%A7%C3%A3o-Alternativa/

Hardware:

Hardware

  • 1 placa DragonBoard 410C
  • 1 Linker Mezzanine Card Starter Kit
  • 1 Shield com leitor de tags RFID
  • 10 Tags RFID
  • 10 components tipo push button
  • 10 LEDs de diversas cores
  • 1 Colete
  • 1 metro de tira de velcro
  • 10 Imagens de símbolos impressos em papel
  • 1 alto falante bluetooth
  • 1 microfone USB estilo dongle
  • 1 Cartão de memória miniSD
  • 1 Pack de pilhas como fonte de alimentação (2000 mAPH e 12 V de output)
  • Ferramentas gerais (alicate, chave de fenda, ferro de solda, etc)
  • Fios e fita isolante

Software/Firmware:

Software

  • Linux Debian
  • Linguagem Python
  • Google Cloud
  • SDK do aplicativo Telegram (em Python – pacote twx.botapi )

Fluxogramas dos modos de funcionamento

Referências:

Aplicativo de vocalização de símbolos Proloquo2Go – http://www.assistiveware.com/product/proloquo2go

Saba M.P., Filippo D., Pereira F.R., de Souza P.L.P. (2011) Hey yaa: A Haptic Warning Wearable to Support Deaf People Communication. In: Vivacqua A.S., Gutwin C., Borges M.R.S. (eds) Collaboration and Technology. CRIWG 2011. Lecture Notes in Computer Science, vol 6969. Springer, Berlin, Heidelberg. DOI 10.1007/978-3-642-23801-7_17