Mensagens Ciência Cognitiva

Ciência Cognitiva - http://sites.uol.com.br/luzardo

From: Marcelo Bicalho <mbicalho@planetarium.com.br>
>
> >Se alguém falar, por exemplo, que o neurônio é um mecanismo de
> >soma linear, haverá um monte de gente *provando* que ele não é.
> >
> >Sergio Navega
>
>
> Sérgio, poderia falar um pouco mais sobre este assunto?
> Você estava se referindo a algum modelo existente ou era só um exemplo
mesmo?
>
> Marcelo Bicalho

Olá, Marcelo,

Essa frase estava em um contexto que usei para mostrar o que é
cientificamente 'provável' (na verdade, suportado por evidências)
contra teorias que não tem como serem suportadas, pois não conseguem
ter poder preditivo nem serem contraditas. Mas não usei a frase
meramente em sentido figurado.

Por longo tempo, a ciência cognitiva tem se dividido entre duas
estratégias: o paradigma simbolicista e o conexionista. O simbolicista
usa manipulações simbólicas para explicar como a mente nasce do
cérebro. O conexionista não tem, em geral, ligação com símbolos
específicos e delimitados, rejeitando as idéias de representação
localizada, características dos símbolos. Eles são favoráveis a
representações distribuídas em malhas de neurônios, o que pareceria,
à primeira vista, ser mais plausível do ponto de vista biológico.
Agora vamos à sua questão.

O paradigma conexionista é frequentemente modelado em computador
através das redes neurais artificiais. São grupos de 'nós' simples
cuja função básica é a de executar uma 'soma' das ativações de
cada sinal de entrada multiplicados por um peso (posso escrever
mais sobre isto se quiser). O resultado dessa soma é em geral
passado por um nível de "thresholding", no qual é decidido se
o neurônio vai gerar um pulso de ativação ou não.

Todo esse processo é, na verdade, uma simplificação grosseira do
que ocorre com os neurônios biológicos. É tão grosseira que,
em minha opinião, não serve nem para dizer que as redes neurais
artificiais são realmente "modelos aproximados" do que ocorre.

Os neurônios biológicos são elementos não-lineares, onde há
processamento não apenas no corpo celular, mas também nos
dendritos (as 'entradas') e onde a questão temporal (timing
entre os pulsos) é extremamente importante. Modelos mais
recentes (e plausíveis) de neurônios usam estratégias bem
diferentes das idéias tradicionais (são chamadas de redes
neurais pulsadas). São matematicamente mais complexos
do que os modelos tradicionais.

A importância desse assunto é muito grande: não é um mero
detalhe que está em jogo, os neurônios biológicos possuem
propriedades tão diferentes que podem dar origem a comportamentos
que as redes artificiais nem "sonham" em poder conseguir.
E a raiz desse comportamento parece estar ligada a essa
condição não-linear, pois essa é uma das coisas que provocam
comportamento oscilatório.

Só como exemplo, cito as diversas correntes que tentam explicar
um dos mais importantes aspectos do cérebro: de que forma as
informações são "codificadas". O problema da codificação de
informação é, na minha visão, o principal ponto que precisa
ser esclarecido para que tenhamos idéia de como implementar
sistemas artificialmente inteligentes.

Tradicionalmente, há duas hipóteses: as informações são
codificadas em 'ritmo de pulsos' (a média de pulsos por tempo),
ou em temporização de pulsos individuais (onde cada pulso
pode conter informação relevante). Ambas as hipóteses dispõe
de evidências que as suportam e há décadas essas duas facções
brigam entre si para tentar obter consenso. Ainda não houve.

Só recentemente (10 ou 15 anos) uma nova hipótese apareceu
(é a que mais ocupa meu tempo de estudo): as informações estariam
codificadas em "oscilações" sincronizadas de *grupos* de neurônios.
Essa hipótese proclama que um neurônio poderia estar participando
na codificação de diversas informações diferentes (por exemplo,
a cor de uma maçã ou o formato da tromba de um elefante) e que
a real informação que estivesse sendo processada em um certo
instante não está tão relacionada à simples ativação ou não
desse neurônio específico, mas sim relacionada a um certo *grupo*
de neurônios oscilando. Há diversas evidências experimentais
interessantes suportando esse tipo de codificação (posso
escrever mais sobre isso se estiver interessado).

A beleza dessa hipótese é que ela consegue sugerir mecanismos
para coisas que a ciência cognitiva precisa muito: categorização,
indução, generalização, associação. Se há hoje em dia algo que
poderia providenciar uma ponte entre neurociência e ciência
cognitiva, isso é essa hipótese de oscilação de grupos neurais.

Até mais,

________________________________________________________________
Sergio Navega
http://www.intelliwise.com/snavega

Ciência Cognitiva - http://sites.uol.com.br/luzardo

Marcelo,

O modelo de objetos que você está usando em seus sistemas tem
realmente algo a ver com o que parece estar acontecendo em
nosso cérebro. Lá também há a presença de "agentes" autonomos
e individualizados.

Entretanto, diferentemente da maioria dos modelos computacionais,
nosso cérebro parece funcionar sem uma coordenação centralizada.
Há elementos que intermediam o fluxo de informações de forma
centralizada (como o tálamo em relação ao córtex) mas não
desempenham função de controle. No cérebro, cada "módulo" parece
rodar por si só e a comunicação entre eles se dá mais por
efeito de empatia (sincronismo) do que por força de comandos.

> E gostaria que escrevesse um pouco mais sobre os mecanismos de
> categorização,
>indução, generalização, associação

Há muita coisa a falar sobre esses assuntos, dificilmente poderia
esgotá-los em uma mensagem. Vou dar uma pequena idéia de cada um
e conforme surgirem dúvidas, podemos avançar um pouco mais.

Há uma corrente em Ciência Cognitiva que assume que a mente humana
funciona a partir de processos indutivos. Indução é concluir que
uma coisa que se repetiu bastante no passado tem grande chance
de se repetir no futuro. Exemplo: suponha que sejamos todos
"homens das cavernas" e um dia tenhamos nos atentado ao fato de
que o sol nasce sempre na mesma posição relativa a nossa
caverna, pondo-se exatamente no lado oposto. É natural supor
que no dia seguinte a mesma coisa irá acontecer. Isto é o
raciocínio indutivo em ação.

Outro exemplo: todos os corvos que vimos até hoje são pretos.
Então, podemos induzir que todos os corvos são pretos. A indução
é um processo que é impreciso e fraco, pois não garante suas
conclusões. Um dia podemos encontrar um corvo branco e aí
nossa história fica complicada.

Indução é um processo que está estreitamente ligado à repetição.
É óbvio que só conseguimos reparar em uma coisa se repetindo
se temos uma memória para comparar com o evento que estamos
observando no momento. Isto implica, também, que devemos
possuir "critérios de comparação".

Esse é outro detalhe importante: nossa mente lida com critérios
de comparação que admitem "similaridade", e não apenas igualdade
(na verdade, não existe nenhuma "igualdade" no mundo físico,
só no mundo "matemático"). Pegue duas maçãs: elas são similares,
mas não iguais. Ninguém em sã consciência diria que uma é maçã e
a outra não. Ambas são consideradas exemplos de uma "categoria":
a categoria das maçãs (também das frutas, das coisas comestíveis,
das coisas menores do que um elefante, das coisas que tem peso,
etc, etc).

Categorização é, portanto, uma "classe" de objetos (ou eventos)
que estão relacionados entre si através de critérios de
*similaridade*. As crianças montam essas categorias
progressivamente, a partir de experiências que enriquecem
cada modelo.

Agora generalização. Uma criança recebe milhares de informações
fonológicas antes de aprender a linguagem escrita. Durante
esse período, as crianças já demonstram ter capacidade para
generalizar (transformar em regras) certas construções. Um
exemplo é o passado de verbos: a criança repara no tempo
passado e "induz" uma regra:

andar      andei
falar      falei
jogar      joguei
xxxx       xxxxei

Esse processo de "fabricação de regras" é notável principalmente
quando as crianças cometem aquelas engraçadas formas incorretas,
como nos casos de verbos irregulares:

fazer      fazei
comer      comei

Com o tempo, a criança aprenderá que "fazer" vai para "fiz" como
uma exceção à regra. Mas a tendência primeira é seguir a regra.
A hipótese de muitos cientistas cognitivos (que acho razoável)
é a de que esse processo de generalização está presente em
praticamente todos os aspectos cognitivos da pessoa.

Associação é outro dos importantes aspectos cognitivos que devem
ser mantidos por um organismo inteligente. Um caso típico é
a associação entre por o dedinho no fogo e a sensação de dor.

Os behavioristas chamam a isso de condicionamento clássico.
Mas aqui também temos habilidades de generalização: uma
criança pequena que tenha tido essa "experiência ruim" pode
ter relutância em tocar o dedo em uma lanterna acesa. Até
que uma experiência transforme essa generalização em um
"caso especial".

Até mais,
Sergio Navega.

Ciência Cognitiva - http://sites.uol.com.br/luzardo

From: Joao Teixeira <jteixe@zaz.com.br>
>
>Caro Sergio, Cara Lista,
>O Sergio colocou um ponto muito interessante na mensagem do dia 6 passado,
>acerca das redes pulsadas e do fato de, nos ultimos anos, os neuronios
>serem vistos como elementos nao-lineares. Creio que isto faz uma diferenca
>fundamental, como ele aponta. Alias, Sergio, voce sugere tambem, muito
>acertadamente, estuda-se hoje o comportamento nao apenas de neuronios
>individuais mas tambem de assembleias de neuronios. A ideia de assembleia
>de neuronio e antiga na neurociencia, se nao me engano foi uma concepcao
>proposta por D. Hebb no final dos anos 40.

É verdade. Donald Hebb foi extremamente feliz em suas conjecturas. A
mais conhecida é a regra de aprendizado Hebbiano (que afirma, basicamente,
que a conexão sináptica entre dois neurônios que disparam simultaneamente
é reforçada). Isto está no centro das pesquisas que envolvem aprendizado
e parece que a LTP (Long-Term Potentiation) é o melhor candidato para
tornar a regra de Hebb realidade.

A outra importante conjectura de Hebb, como você falou, foi a das
"cell assemblies", o grupo de neurônios que desempenham tarefas
conjuntas. Até hoje Hebb é leitura obrigatória para neurocientistas,
o que indica ser ele um dos expoentes científicos deste século.

>Mais recentemente, esta nocao
>tem atraido muita atencao novamente na neurociencia, sobretudo nas
>tentativas mais recentes de se resolver problemas como o "binding problem"
>no caso da percepcao. Ha muitas disputas e concepcoes diferentes de como o
>binding ocorreria, como, pex. as propostas de Crick e Koch dos 40Mhz que
>depois e retomada e sofisticada por pesquisadores como Llinas e Ribary.
>Hoje disputa-se outros pontos de vista, como pex a ideia de que haveria
>redes neuroquimicas que seriam responsaveis pelo binding.

Esta é uma das "fronteiras" da neurociência que mais vale a pena
acompanhar. Outro nome importante é o de Wolf Singer, que recentemente
escreveu uma nota na Nature apontando evidências fortes da ocorrência
de binding quando há atividade de reconhecimento perceptual e a
relação desse reconhecimento com as oscilações gama de 40 Hz. Em
uma só tacada, abordou-se o problema da unificação perceptual (binding)
e a consciência. Singer é talvez o maior especialista nesta área, e
junto com Koch, Sejnowski, Gerstner e outros estão fazendo grandes
progressos.

>Quando olhamos a historia da neurociencia, vemos que o problema de se
>estabelecer como se da a conexao entre neuronios se arrasta desde a
>proposicao inicial da teoria dos neuronios por Waldeyer em 1891, passando
>pelas peripecias de Golgi e Ramon y Cajal. Alias este ano comemora-se os
>100 anos da publicacao do tratado de histologia de Ramon y Cajal, com um
>grande congresso na Espanha.
>O interessante e que ate hoje nao se tem uma teoria definitiva acerca da
>comunicacao entre os neuronios.
>E sem duvida, como o Sergio aponta, este seria o ponto de contato entre a
>neurociencia e a ciencia cognitiva. Quando olhamos retrospectivamente,
>vemos que propostas de modelos de neuronios como a de McCulloch e Pitts
>tornam-se verdadeiras caricaturas do cerebro. Tentativas de fazer redes
>pulsadas ainda nao me parecem que tenham sido bem sucedidas.

É verdade. Existem alguns modelos desenvolvidos, mas são matematicamente
complexos e difíceis de serem simulados. Fazem derreter qualquer Pentium.

O que já está um pouco mais desenvolvido são idéias mais "macro" desses
processos, e aqui o nome de Lokendra Shastri é importante: ele criou
um sistema conexionista baseado em "temporal synchrony" (sincronia
temporal) que consegue bons resultados com certas frases em linguagem
natural. É um trabalho promissor. Shastri é um dos principais
pesquisadores do NTL (Neural Theory of Language), um grupo que vem
desenvolvendo a idéia de sincronia temporal para explicar vários
fenômenos linguísticos.

>Veja-se so: ainda nao sabemos nem como os neuronios se comunicam, a decada
>do cerebro esta acabando e nem este problema foi resolvido. Estamos longe
>de ter uma teoria neuronal, e muito, muito longe de se conseguir uma teoria
>dos correlatos neurais da consciencia....embora alguns tenham dito que este
>seria o ultimo misterio que faltaria para a ciencia resolver...

Aposto que quando for resolvido, um outro mistério irá aparecer. Acho
que na verdade essa é a diversão do cientista: sempre há algo misterioso
para ser descoberto.

Até mais,
Sergio Navega.

Ciência Cognitiva - http://sites.uol.com.br/luzardo

Caros Alberto Magno e Marcelo Bicalho,

Parece que acendi a curiosidade de vocês sobre esse assunto!
Então vou procurar dar algumas referências que podem servir
para um aprofundamento.

Há pelo menos dois níveis de análises quando se fala em
neurônios e redes neurais. Um deles é essencialmente
neurofisiológico, e procura modelar os neurônios biológicos
com modelos matemáticos. O outro é um nível mais abstrato
e "inventivo", não se prendendo a plausibilidade biológica.
Estes últimos dispõe de uma grande variedade de estratégias
que se preocupam mais com a performance de aprendizagem
e viabilidade de implementação em computadores convencionais.
As referências que vou citar estão distribuídas de acordo com
esse critério. Vou citar apenas as referências que possuo
em minha biblioteca, mas há, obviamente, muitas outras.

Para quem quer ir realmente fundo no assunto, recomendo o
livro:

Spikes, Exploring the Neural Code
Fred Rieke et al.
MIT Press, 1998

Neste livro são discutidos os aspectos básicos de codificação
por 'pulse rate' (ritmo de pulsos ou média de disparos em
determinado tempo) e a codificação temporal (onde o intervalo
de tempo entre cada pulso é significativo). Há um capítulo sobre
teoria da informação, entropia, etc. Há discussões sobre o
processamento de movimento no sistema visual das moscas, que
é onde esses modelos conseguem ser bem sucedidos (a modelagem
por esses métodos do sistema olfativo de gafanhotos já não
consegue seguir esse sucesso). O último capítulo aborda
rapidamente estruturas com vários neurônios.

Unsupervised Learning, Foundations of Neural Computation
Geoffrey Hinton e Terrence Sejnowski
MIT Press 1999

Esta pérola recém publicada é o melhor livro que tenho sobre
o assunto 'aprendizagem não supervisionada' (aprendizagem neural
é dividida em supervisionada e não superv.; a primeira depende
de sessões de "treinamento" na qual um "professor" coloca
um padrão na entrada da rede e o padrão que deve ser aprendido
na saída da rede; um perceptron é um exemplo de rede supervisionada;
as não supervisionadas não tem um professor, sendo encarregadas
de "detetar" possíveis regularidades nos sinais de entrada fornecidos).
O livro é uma coleção de 21 ótimos papers sobre o assunto.
Não posso dizer que seja uma leitura "leve" (na verdade, pouca
coisa nesta área é realmente leve).

Neural Codes and Distributed Representations
Laurence Abbott e Terrence Sejnowski
MIT Press 1999

Também recém-publicado, é um de meus preferidos. Aborda a questão
do 'brain codes' principalmente sob o ponto de vista da representação
em populações de neurônios.

Models of Neural Networks II, Temporal aspects of coding and
information processing in biological systems
E. Domany, J.L. van Hemmen, K. Shulten (editors)
Springer-Verlag, 1994

Também coletânea de papers de diversos autores.
Fala de codificação e processamento de informação em redes neurais,
a relação entre sincronismo e plasticidade sináptica (escrito
por Wolf Singer), binding, modelos do bulbo olfativo (onde
fica claro o papel de grupos oscilantes representando informação),
a relação entre a regra de Hebb e LTP, etc.

Pulsed Neural Networks
Wolfgang Maass e Christopher M. Bishop
MIT Press, 1999

É a bíblia sobre redes pulsadas. Começa introduzindo o assunto
codificação (spikes ou rates), codificação por sincronização,
depois o 'binding temporal' e aí parte para alguns hardwares
que estão sendo planejados para tratar especificamente dessas
estratégias. Acho, entretanto, um pouco cedo para projetar
chips VLSI com essas características e essa parte do livro
me parece um pouco desnecessária.

The Handbook of Brain Theory and Neural Networks
Michael A. Arbib (editor)
MIT Press 1998

Este é um dos meus 5 livros preferidos. É um gigante de mais de
1000 páginas contendo mais de 260 artigos sobre todos os aspectos
envolvendo cérebros e redes neurais. Se eu tivesse que ir para
uma ilha deserta com apenas 1 livro, este seria ele.

An Introduction to Neural Networks
James A. Anderson
MIT Press 1997

De longe o melhor livro introdutório que possuo. James Anderson
mostra não apenas os aspectos matemáticos de diversos modelos de
redes neurais mas também explica os que tem plausibilidade
biológica. Não é, entretanto, um livro realmente para
iniciantes.

The Pattern Recognition Basis of Artificial Intelligence
Donald R. Tveter
IEEE Computer Society Press, 1998

Este é um ótimo livro para quem quer começar do zero. Donald é
didático e introduz as redes neurais de forma fácil. Há material
adicional ao livro na web:

Software for "The Pattern Recognition Basis of AI" (Donald Tveter)
http://www.dontveter.com/nnsoft/nnsoft.html

Há três capítulos adicionais ao livro também na web:

Additional Chapters for The Pattern Recognition Basis of AI
http://www.dontveter.com/basisofai/ch11.html
http://www.dontveter.com/basisofai/ch12.html
http://www.dontveter.com/basisofai/ch13.html

Donald recentemente iniciou uma FAQ para o newsgroup comp.ai.philosophy
(incluindo uma sugestão que dei):

Comp.ai.philosophy FAQ
http://www.dontveter.com/caipfaq/index.html

Para algumas referências de material disponível on-line, deem uma
olhada em:

Backpropagation Tutorial (Donald Tveter)
http://www.dontveter.com/bpr/bptutinps.zip

The Neocognitron Network
http://www.sees.bangor.ac.uk/~dbanarse/msc/neocog.html

Neural Computing Course
http://www-isis.ecs.soton.ac.uk/computing/neural/

Collective Computation Course
http://www.klab.caltech.edu/cns185/

Computational Models of Neural Systems
http://www.cs.cmu.edu/afs/cs.cmu.edu/academic/class/15880b-s95/Web/home.html

Exercises to Biophysics of Neural Computation
http://www.ini.unizh.ch/courses/ws99_00/exercises/exercises.html

Neural Java, NN Tutorial with Java Applets
http://diwww.epfl.ch/mantra/tutorial/english/index.html

Mais material on-line pode ser encontrado em minha lista de links:

http://www.intelliwise.com/links.htm

Até mais,

___________________________________________________
Sergio Navega
http://www.intelliwise.com/snavega

Ciência Cognitiva - http://sites.uol.com.br/luzardo

From: Alberto Magno Muniz Soares <alberto.soares@apis.com.br>
>
>Muito Obrigado Sergio pelas dicas.( Jah vi que minhas férias vão ser uma
>grande aventura neuronal..hehehe)
>Só aproveito a oportunidade para lhe perguntar sobre que sugestão você me
>aconselharia para quem é cientísta da computação e pretende seguir pela
>ciência cognitiva, você teria alguma dica de pós-graduação?
>Muito Obrigado!
>

Alberto,

Nao estou muito a par de pós-graduações nacionais, talvez o Prof. João
Teixeira ou o Prof. Fialho possam dar dicas interessantes.

Mas se você se dispuser a ir ao exterior, então há vários que
conheço e posso recomendar.

USC Language and Cognitive Neuroscience Lab
http://siva.usc.edu/coglab/
Esta é a terra de Mark Seidenberg. Já troquei alguns e-mails
com Morten Christiansen. São conexionistas que defendem visões
não nativistas da linguagem. Estou do lado deles em diversos
aspectos, embora também tenha minha dose de críticas.

Center for the Neural Basis of Cognition
http://www.cnbc.cmu.edu/
É o instituto de James McClelland, David Plaut, David
Touretzky e outros conhecidos nomes.

The Institute for the Learning Sciences
http://www.ils.nwu.edu/
Terra de Roger Schank.

Center for Research in Language
http://crl.ucsd.edu/
Jeff Elman, Elisabeth Bates e outros importantes nomes
em linguagem e modelos conexionistas (principalmente
as redes neurais do tipo SRN, simple recurrent networks).

Computer Science, University of Texas at Austin
http://www.cs.utexas.edu/
Tem uma grande tradição em IA clássica mas tem também
Risto Miikkulainen, que desenvolve modelos conexionistas
cognitivos e de linguagem natural. Raymond Mooney é um
outro nome bastante conhecido e respeitado.

International Computer Science Institute
http://www.icsi.berkeley.edu

Srini Narayanan e outros. Veja em especial o departamento:

Neural Theory of Language Project, em:
http://www.icsi.berkeley.edu/NTL/

Aqui você encontrará Lokendra Shastri, com inovativos modelos
baseados em sincronismo temporal (projeto SHRUTI).

Obviamente, há MUITO mais, mas dá para começar com esses.

Até mais,
Sergio Navega.

Seminários Digitais Intelliwise

Seminários Sobre Inteligência, Criatividade, Ciência Cognitiva
Assista a esses seminários via Internet, sem sair de casa!
Clique Aqui Para Saber Mais!