August 27, 2017

Продолжая тот давний спор о "мыслить словами, мыслить на языке, ergo менять свою личность, меняя язык, Сапир-Уорф and all this shit" – внезапно наткнулась на потрясающую идею (точнее даже недоказанную гипотезу, акт веры в природу, которые, мне кажется, приближаются к истине) в интервью Джоффри Хинтона, отца или даже дедушки глубоких нейронных сетей, Эндрю Ыну.

Ын спрашивает Хинтона, что тот думает о смене парадигмы в представлениях о AI. В ответ он описывает свои представления о природе мышления:

...in the early days of AI, people were completely convinced that the representations you need for intelligence were symbolic expressions of some kind. Sort of cleaned up logic, where you could do non-monotonic things, and not quite logic, but something like logic, and that the essence of intelligence was reasoning. What's happened now is, there's a completely different view, which is that what a thought is, is just a great vector of neural activity, so contrast that with a thought being a symbolic expression.

And I think the people who thought that thoughts were symbolic expressions just made a huge mistake. What comes in is a string of words, and what comes out is a string of words. And because of that, strings of words are the obvious way to represent things. So they thought what must be in between was a string of words, or something like a string of words.

And I think what's in between is nothing like a string of words. I think the idea that thoughts must be in some kind of language is as silly as the idea that understanding the layout of spatial scene must be in pixels. Pixels come in, and if we could, if we had a dot matrix printer attached to us, then pixels would come out, but what's in between isn't pixels.

And so I think thoughts are just these great big vectors, and that big vectors have causal powers. They cause other big vectors, and that's utterly unlike the standard AI view that thoughts are symbolic expressions.

Я никогда не углублялась в neuroscience за пределами того, что нужно понимать в структурах, ответственных за язык и семантику, – хотя это настолько фундаментальный вопрос, что требует понимания всего аппарата мышления, – и эта мысль исходит не от нейробиолога, а от математика, человека, всю жизнь изучавшего математические представления структуры нейронов мозга для отображения сложных функций из пространства признаков в пространство ответов (и не только, но мы не будем углубляться в эти дебри). Но она мне инстинктивно кажется невероятно близкой к тому, как оно все должно быть на самом деле, хотя я даже не знаю, используется ли эта идея в нейронауках сейчас, или нет.