2. Блеск и нищета нейросетей

2.1 Нейросети могут обрабатывать данные и сигналы, которые недоступны напрямую человеку. Нам придется решать сложнейшие задачи визуализации и представления данных, чтобы задачи, которые решают нейросети стали доступными к обработке человеком.  Data Science сегодня — основной инструмент обработки экспериментальных данных.

2.2 Скорость обработки информации современными компьютерами, кремниевыми “мозгами”, несомненно важное качество, однако, использование органическими мозгами массово параллельных операций в потрясающих масштабах, значительно нивелирует это превосходство. Например если рассмотреть зрительный тракт, то он представляет из себя около 1 млн нервных волокон по которым информация о текущей световой активности  по всей поверхности сетчатки моментально и параллельно передается в зрительные зоны мозга. 

Длина зрительного тракта 0.05 метра, длительность одного нервного импульса 0.002 сек, скорость распространения пяти импульсов в миелинизированном нервном волокне 120 м/сек.  Время передачи изображения с сетчатки глаза  5 * 0.002 + 0.05/120 =  0.01 c.

Передачи изображения с матрицы 1920*1080 пикселей по шине в оперативную память выполняется последовательно. Для 32 разрядной шины с тактовой частотой 2 Ггц время составит:  1920*1080*2 /32/2 000 000 000 =  0.00004 с.

Разница в несколько сотен раз, но не будем забывать, что и дальнейшая обработка в органике будет выполняться в массово параллельном режиме, а к “кремниевым мозгам” понадобится подключить мощнейшие графические видеокарты. Видеокарты обеспечивают распараллеливание, но это всего лишь примитивное перемножение матриц.

2.4 Фаза обучения нейросети и фаза использования нейросети разорваны, а обучение всегда требует огромных вычислительных мощностей и времени. Например, в NLP алгоритмах в качестве словарей активно используются массивные векторные модели. Нейросети построенные на базе таких векторных моделей будут всегда зависеть от текстов, которые использовались для их построения. Даже в случае обучения без учителя, дополнительное обучение на этапе эксплуатации, как правило невозможно. 

Итак, вывод: современную нейросеть можно рассматривать как чистую функцию (которая всегда возвращает одно и тоже значение при одинаковых входных параметрах и не обладает побочными эффектами). А значит для обеспечения какой-либо содержательной логики нейросеть всегда должна интегрироваться с машиной состояний. Эта машина состояний, т.е. по сути творчество разработчиков сервиса и создает эффект и ощущение того что нейросеть (калькулятор :D) “общается” с пользователем.