August 27, 2017

После таких интервью любая научная фантастика про язык кажется слабым подобием левой руки. Хожу с позавчерашнего дня под впечатлением.

Хотя, если развить мысль и перенести образ простой многослойной нейронной сети на мышление: нас учат, что при анализе картинки на распознавание лица, например, первые слои учатся отображать базовые элементы, сгущения, просветления и т.д, вторые – более сложные элементы, углы и пустоты сложной формы, допустим, потом, третьи – их пространственные сочетания и т.д. В результате подобного анализа на выходе дается ответ, есть ли на картинке лицо, или нет, но послойно это отображается в виде все усложняющихся элементов и структур активации.

Если переносить эту аналогию на процесс мышления, то напрашивается идея, что нейроны отображают семантические смыслы по все усложняющейся последовательности, и где-то внутри, в этих последовательно передающихся векторах нейроактивности, закодированные семантические смыслы становятся уже настолько сложными, что они могут отдаленно приближаться к словам / образам, и эти образы в глубинных слоях, ловящиеся на выходе, создают впечатление у агента мышления, что он "мыслит словами".

Как выражается Хинтон, очень интуитивное предположение. 🙈