Um novo estudo realizado por pesquisadores do MIT e da Empirical Health usou 3 milhões de pessoas-dia de dados do Apple Watch para desenvolver um modelo básico que prevê condições médicas com precisão impressionante. Aqui estão os detalhes.
Um pouco de fundo
Embora Yann LeCun ainda fosse o cientista-chefe de IA da Meta, ele propôs a Joint-Embedding Predictive Architecture, ou JEPA, que essencialmente ensina uma IA a inferir o significado dos dados ausentes, em vez dos dados em si.
Por outras palavras, ao lidar com lacunas nos dados, o modelo aprende a prever o que representam as partes em falta, em vez de tentar adivinhar e reconstruir os seus valores precisos.
Para uma imagem, por exemplo, onde algumas partes estão mascaradas e outras visíveis, o JEPA incorporaria as regiões visíveis e mascaradas em um espaço compartilhado (portanto, Joint-Embedding) e faria o modelo inferir a representação da região mascarada a partir do contexto visível, em vez do conteúdo exato que estava oculto.
Veja como Meta disse quando a empresa lançou um modelo chamado I-JEPA em 2023:
No ano passado, o cientista-chefe de IA da Meta, Yann LeCun, propôs uma nova arquitetura destinada a superar as principais limitações até mesmo dos sistemas de IA mais avançados da atualidade. Sua visão é criar máquinas que possam aprender modelos internos de como o mundo funciona, para que possam aprender muito mais rapidamente, planejar como realizar tarefas complexas e se adaptar prontamente a situações desconhecidas.
Desde que o estudo JEPA original de LeCun foi publicado, esta arquitetura tornou-se a base para um campo que tem explorado “modelos mundiais”, o que é um desvio do foco de previsão de tokens de LLMs e sistemas baseados em GPT.
Na verdade, LeCun até deixou a Meta recentemente para iniciar uma empresa inteiramente focada em modelos mundiais, que ele argumenta serem o verdadeiro caminho para a AGI.
Então, 3 milhões de dias de dados do Apple Watch?
Sim, de volta ao estudo em questão. Publicado há alguns meses, o artigo JETS: A Self-Supervised Joint Embedding Time Series Foundation Model for Behavioral Data in Healthcare foi recentemente aceito em um workshop no NeurIPS.
Ele adapta a abordagem de incorporação conjunta do JEPA a séries temporais multivariadas irregulares, como dados vestíveis de longo prazo, onde frequência cardíaca, sono, atividade e outras medições aparecem de forma inconsistente ou com grandes lacunas ao longo do tempo.
Do estudo:
O estudo utiliza um conjunto de dados longitudinais que compreende dados de dispositivos vestíveis coletados de uma coorte de 16.522 indivíduos, com um total de aproximadamente 3 milhões de pessoas-dia. Para cada indivíduo, 63 métricas distintas de séries temporais foram registradas em resolução diária ou inferior. Essas métricas são categorizadas em cinco domínios fisiológicos e comportamentais: saúde cardiovascular, saúde respiratória, sono, atividade física e estatísticas gerais.
Curiosamente, apenas 15% dos participantes tinham rotulado os históricos médicos para avaliação, o que significa que 85% dos dados teriam sido inutilizáveis nas abordagens tradicionais de aprendizagem supervisionada. Em vez disso, o JETS primeiro aprendeu com o conjunto de dados completo por meio de pré-treinamento auto-supervisionado e, em seguida, ajustou o subconjunto rotulado.
Para fazer tudo funcionar, eles criaram trigêmeos de dados a partir de observações correspondentes a dia, valor e tipo de métrica.
Isso permitiu que eles convertessem cada observação em um token, que por sua vez passou por um processo de mascaramento, foi codificado e depois alimentado por um preditor (para prever a incorporação dos patches ausentes).
Feito isso, os pesquisadores compararam o JETS com outros modelos básicos (incluindo uma versão anterior do JETS, baseada na arquitetura Transformer) e os avaliaram usando AUROC e AUPRC, duas medidas padrão de quão bem uma IA discrimina entre casos positivos e negativos.
O JETS alcançou uma AUROC de 86,8% para hipertensão, 70,5% para flutter atrial, 81% para síndrome de fadiga crônica, 86,8% para síndrome do nódulo sinusal, entre outros. Claro que nem sempre venceu, mas as vantagens são bem claras, como pode ser visto abaixo:
Vale ressaltar que AUROC e AUPRC não são índices estritamente de precisão. São métricas que mostram quão bem um modelo classifica ou prioriza casos prováveis, em vez de com que frequência ele acerta as previsões.
Em suma, este estudo apresenta uma abordagem interessante para maximizar o conhecimento e o potencial de salvar vidas de dados que poderiam ser considerados incompletos ou irregulares. Em alguns casos, as métricas de saúde foram registadas apenas 0,4% das vezes, enquanto outras apareceram em 99% das leituras diárias.
O estudo também reforça a noção de que há muitas promessas em novos modelos e técnicas de treinamento para explorar os dados que já estão sendo coletados por wearables comuns, como o Apple Watch, mesmo quando não são usados 100% do tempo.
Você pode ler o estudo completo aqui.
Ofertas de acessórios na Amazon
FTC: Usamos links de afiliados automotivos para geração de renda. Mais.
