Proposta

Aluna: Carolina Feher da Silva

Supervisora: Leliane Nunes de Barros

1 Tema

Decisão binária em seres humanos e sistemas de inteligência artificial

2 Introdução

A tomada de decisão, definida como o processo que resulta na seleção de uma ação entre múltiplas alternativas, é um assunto de grande importância em várias disciplinas, como a neurociência, a economia, a estatística e as ciências da computação. O estudo deste processo pode focar-se tanto em desvendar como um organismo ou sistema toma decisões como em selecionar boa ações dado um problema de tomada de decisão.

2.1 Aprendizado por reforço

Nas ciências da computação, o estudo da tomada de decisão pode dar-se como planejamento, um ramo da inteligência artificial que se concentra em resolver o problema de calcular sequências de decisões para que um agente inteligente atinja seu objetivo. Uma abordagem importante em planejamento é o aprendizado por reforço, no qual agentes aprendem a tomar decisões que maximizam a obtenção de recompensas ao interagir com o ambiente [3].

O aprendizado por reforço foi inspirado pelo estudo da tomada de decisão em outra disciplina, a psicologia. No início do século XX, o psicólogo americano Edward Thorndike, ao estudar o aprendizado em animais, propôs a Lei do Efeito, que afirma que ações seguidas por uma recompensa têm maior probabilidade de recorrer em situações semelhantes futuras; ações que são seguidas por punições, por sua vez, têm menor probabilidade de recorrer no futuro [3]. Esta ideia inspirou, nos anos 1980, a criação de agentes computacionais que buscam descobrir quais ações resultam nas maiores recompensas executando tais ações, ou seja, eles aprendem por tentativa e erro.

Devido à sua inspiração biológica, algoritmos de aprendizado por reforço passaram a ser, por sua vez, utilizados por neurocientistas como modelos matemáticos da tomada de decisão em seres humanos e outros animais. Em particular, a atividade de neurônios dos núcleos da base, um conjunto de estruturas na base do cérebro, tem-se mostrado compatível com as previsões feitas por tais modelos [2]. Grupos distintos de neurônios dessa região codificam o valor da recompensa esperada, bem como erros positivos e negativos na previsão de recompensas, e há maior ativação quando a entrega de recompensa depende da ação do indivíduo.

2.2 Escolha binária repetida

Nosso trabalho visa desenvolver um modelo de aprendizado por reforço a fim de explicar os resultados de um experimento de tomada de decisão em seres humanos de várias idades [4]. Este experimento consiste de três tarefas de escolha binária repetida, nas quais os voluntários devem escolher repetidamente entre duas alternativas, sendo recompensados se escolherem a alternativa correta. Tarefas de escolha binária vêm sendo amplamente estudadas por apresentarem o cenário de tomada de decisão mais simples possível, em que só há duas alternativas.

Os experimentos que pretendemos modelar mostram diferentes resultados dependendo da idade do indivíduo. Outros estudos sugerem que áreas fundamentalmente envolvidas na tomada de decisão, como o córtex pré-frontal e os núcleos da base, estão entre as mais afetadas pelo envelhecimento [1]. Isso sugere que o aprendizado por reforço pode ser útil para modelar a mudança na tomada de decisão com a idade.

3 Objetivo

O objetivo do trabalho é desenvolver modelos de aprendizado por reforço em inteligência artificial a fim de estudar a tomada de decisão em seres humanos de várias idades. Os parâmetros de tais modelos serão ajustados a fim de determinar seu efeito na estratégia decisional resultante e assim tentar caracterizar as mudanças que ocorrem com a idade nas áreas do sistema nervoso associadas à tomada de decisão.

4 Atividades realizadas

1. Pesquisa bibliográfica sobre tomada de decisão em neurociência e inteligência artificial.
2. Estudo de um modelo Bayesiano de decisão binária repetida (não publicado).
3. Discussão com a supervisora deste trabalho e com professores e alunos envolvidos na realização dos experimentos de tomada de decisão com seres humanos.
4. Análise preliminar dos dados com seres humanos.

5 Cronograma

Referências