История нейросетей: 60 лет на дорогу к победе

В 1943 году нейрофизиолог Уоррен Мак-Калок и логик Уолтер Питтс предложили теоретическую модель искусственного нейрона, фактически – его математическое описание. Затем ученые описали модель сети на основе искусственных нейронов и предположили, что она в состоянии обучаться, распознавать образы и делать обобщения. Их по праву называют основателями нейросетей, заронивших в умы других ученых уверенность в перспективности данного направления.

В 1949 году физиолог Дональд Хебб высказал гипотезу, что обучение в мозге человека происходит за счет изменения силы синаптических связей между нейронами. Именно эта идея позволила в дальнейшем создавать самообучающиеся нейросети. Аналогом силы синаптических связей в них стали разные веса искусственных синапсов, которые менялись в процессе обучения.

Практическое воплощение концепция нейросетей получила в 1958 году, когда американский нейрофизиолог Фрэнк Розенблатт создал перцептрон. Перцептрон – первая нейросеть, далекая предтеча больших языковых моделей, совершивших революцию в 2022 году.

Это было устройства размером с холодильник. Внутри – сплетение проводов и тумблеров, ряды электромеханических реле и резисторов. К устройству был подключен специальный "глаз" – матрица 20 на 20 из четырехсот фотоэлементов, каждый размером с монету С каждым фотоэлементом был связан резистор, с помощью которого можно было увеличивать или уменьшать вес поступающего от фотоэлемента сигнала. Цель у перцептрона была проста и амбициозна – он должен был научиться распознавать образы буква.

Устройству показывалось изображение буквы на клеточном поле 20 на 20. Каждый фотоэлемент в бинарной логике распознавал цвет соответствующей клетки и передавал дальше 0 или 1. Переданные сигналы обрабатывались с учетом текущих значений весов. Отвечал перцептрон так: «да, это буква А» или «нет, это не буква А». Если ответ был правильным, показывался следующий рисунок. Если ответ был неправильный – создатели начинали «подкручивать» веса.

Так повторялось раз за разом – тысячи картинок с разными буквами. Постепенно перцептрон действительно начинал отличать одни простые образы букв от других.

Это был прорыв (наверное, сыгравший свою роль в содержании Дартмутского семинара и настроениях, которые на нем царили). Газеты трубили о рождении "электронного мозга", который вот-вот научится мыслить, как человек. Эксперты и «эксперты» предсказывали, что через несколько лет ИИ уничтожит человечество. Военные и бизнес щедро вливали деньги в исследования. Будущее из фантастических романов стучалось в дверь (конечно, не будущее – а падкие на сенсацию СМИ).

На деле перцептрон с трудом отличал треугольник от квадрата, букву "А" от буквы "Б", и то далеко не всегда. Говорить об искусственном разуме было сильно преждевременно. Это был первый бум в истории ИИ, когда ожидания улетели в космос, далеко оторвавшись от реальности. Что-то этот бум напоминает…

Прошло десятилетие – и эйфория закончилась. Компьютерные аналоги перцептрона заменили фотоэлементы, провода, реле и резисторы, научился отличать кружочки от квадратиков и простые начертания букв. Матрицы входящих сигналов увеличились. Однако модель так и не стала разумной даже в части восприятия. Компютерные перцептроны ошибались в задачах чуть сложнее распознавания простых начертаний букв и элементарных геометрических фигур.

В 1969 году два влиятельных ученых-информатика Марвин Минский и Сеймур Пейперт выпускают книгу "Перцептроны". В книге они раскритиковали концепцию и математически доказали, что модели перцептрона есть фундаментальные ограничения. Такая модель принципиально не может решить даже элементарные с человеческой точки зрения задачи, как ее не обучай.

Книга стала холодным душем для восторженных почитателей нейросетей. Исследователи ИИ быстро сделали категоричный вывод: "Нейросети – тупиковая ветвь развития". Обыватели вывод усилили: «Вся шумиха вокруг ИИ – полная чушь, не стоящая внимания». Государственное финансирование ИИ-проектов резко урезали, инвестиции бизнес сократил, интерес к нейросетям упал почти до нуля. Холодная зима началась не только для символического ИИ, но и для нейросетей. То есть, для всех исследований в области ИИ.

Интересно, что главным критиком нейросетей выступил Сеймур Пейперт – авторитетный сторонник символического ИИ. Наибольшую известность ему принесла разработка в 1968 году языка программирования Logo. С помощью этого языка Пейперт предлагал учить младших школьников практически всему на свете. Правда, это совсем другая история.

Однако неоправдавшиеся надежды не повод принижать роль первой модели нейросети для дальнейших исследований. Перцептрон заложил фундамент и подтвердил базовые идеи: веса для передачи сигналов, обучение через коррекцию ошибок. Эти идеи стали основой для всех будущих нейросетей, в том числе – для современных, в основе которых лежат большие языковые модели.

Перцептрон показал, что машина может обучаться на произвольных примерах и сформировал интереса к новому направлению – машинному обучению. Принципиальные ограничения только заставили ученых искать пути, как их преодолеть.

И такие пути были найдены.

Проблема всех перцептронов была в их простоте – они были однослойным. Очевидной была задача по переходу к многослойным нейросетям. Именно в этом направлении двигались ученые-энтузиасты, даже в холодную зиму не потерявшие уверенность в правильности выбранного пути.

Далее по идее должна идти сложная математика, которая в нашем повествовании совсем не уместна. Поэтому будем описывать работу многослойных нейросетей «на пальцах».

Однослойная нейросеть принимает сигналы и сразу решает, как ответить. То есть, для принятия решения всего один слой. Многослойная нейросеть работает поэтапно.

Первый слой принимает входные сигналы и замечает простые детали – тут линия, а тут светлое пятно. О замеченных деталях он сообщает дальше, второму слою. Второй слой получает только отчет первого и замечает уточняющие детали – линия изогнутая, пятно круглое. Об уточненных деталях второй слой сообщает третьему… Выходной слой получает сигналы от предпоследнего слоя и принимает итоговое решение – это морда кота с усиками.

Перспективный подход, который некоторое время не мог решить принципиальную проблему: как обучать такую многослойную конструкцию? Если выходной слой ошибся, как понять, какие из нейронов в середине передали неверные сигналы и какой вклад этих сигналов в итоговую ошибку?

В 1974 году Александр Галушкин и Пол Вербос независимо опубликовали описание метода обратного распространения ошибки. Сначала гениальность идеи научный мир не оценил. Через десять с небольшим лет ряд ученых независимо усовершенствовали метод. В их числе был один из отцов основателей нейросетей – Джеффри Хинтон, о котором мы еще будем говорить в следующих сюжетах.

Метод обратного распространения ошибки считается одним из величайших открытий в области ИИ. Оно позволило разработать концепцию и методику машинного обучения, которое в результате постепенного и постоянно совершенствования привело к созданию современного генеративного ИИ.

Метод, за которым лежит сложная математика, «на пальцах» можно объяснить так. Выходной слой нейросети, после того как получает сигнал о провале (неверном ответе), начинает работу над ошибками. Проводится она в обратном порядке – от выходного слоя к входному через все промежуточные слои нейросети. Выходной и предпоследний слои совместно выясняют, насколько ошибся предпоследний слой и соответствующим образом корректирую веса его нейронов. Затем то же самое проделывают предпоследний слой и его предшественник. Только теперь корректируются веса нейронов предшественника. Далее процедура продолжается вплоть до входного слоя.

В реальности все гораздо сложнее, и в современных нейросетях между входными и выходными слоями существуют сложные системы взаимосвязей и не менее сложные механизмы их активации. Но это уже тема для наиболее востребованных работников ИТ-отрасли – специалистов по машинному обучению.

Почему они так востребованы? Просто такой специалист должен сочетать глубокие знания по высшей математики и хорошие компетенции в области программирования. Во времена, когда на рынке востребованы программисты-кодировщики (ИТ-пролетариат) со школьными знаниями по математике, подготовить таких специалистов очень сложно. Кому нужна зубодробительная высшая математика, когда хорошие зарплаты платят без нее, за уверенные навыки кодирования.

Но вернемся к нашей истории.

До 2010 года исследования в области обучения нейросетей активно велись в недрах исследовательских лабораторий ИТ-отрасли. Некоторые решения внедрялись в качестве узких специализированных систем. Так как особых практических результатов не было, массовый обыватель о них не знал и не говорил. На слуху были более важные темы: интернет-революция, пузырь доткомов, кризис 2008 года.

К 2010 году были сформирован условия для очередного прорыва.

Достигло нужного уровня совершенства математическое обеспечение для работы с нейросетями В первую очередь – в области их машинного обучения.

Для исследователей стала доступна база данных ImageNet, содержащая 15 миллионов изображений в 22 тысячах категорий. Распознавание и классификация изображений – одна из наиболее популярных задач для нейросетей того времени. Появление ImageNet облегчило обучение нейросетей такого типа, позволило улучшить качество распознавания. Путать кошку с собакой нейросети перестали.

Рост вычислительной мощности компьютеров, облачные хранилища данных и специализированные программы сделали работу с нейросетями доступной энтузиастам. Математический аппарат осваивали студенты математических факультетов, что позволило вовлечь в исследование и развитие нейросетей значительные интеллектуальные ресурсы. Такие исследования стали привлекать серьезные инвестиции.

Вот для примера несколько результатов, взятых из открытых источников тех лет.

Обученный искусственный интеллект определяет риск кардиологических заболеваний эффективнее реальных врачей.

Искусственный интеллект хорошо помогает распознавать потенциальные случаи мошенничества в различных сферах жизни.

Искусственный интеллект, анализирующий естественный язык, используется для создания чат-ботов.

Искусственный интеллект существенно улучшил механизмы рекомендаций в онлайн-магазинах и сервисах.

Искусственный интеллект наконец выиграл в Го у чемпиона мира (для алгоритмизации игра Го намного сложнее, чем шахматы).

В этих сообщениях идет речь о специальным образом обученных нейросетях. Примеры их применения к 2020 году можно растянуть на несколько книг, даже если каждой уделять один абзац.

Это был успех, который вознес исследования в области нейросетей на вершину трендов цифрового мира. Эксперты заговорили о грандиозных перспективах и страшных угрозах. А в это время в исследовательских лабораториях ИТ-гигантов зрела новая революция.

Главная проблема нейросетей второго десятилетия XXI века заключалась в том, что для их обучения нужны были специальным образом подобранные и вручную размеченные наборы данных. Готовить такие наборы –дело не очень сложное, но чрезвычайно громоздкое. И главное – заведомо ущербное, для решения универсальных задач не подходящее. О том, как из этой проблемы вывернулся любознательный человеческий ум, расскажем в следующем сюжете.

Резюме. Понадобилось более 60 лет, чтобы надежды, возлагавшиеся на нейросети, и инвестиции в них начали приносить практические плоды. Но, как показал дальнейший ход событий, это было только начало – яркие сигналы о грядущей революции.

Сайт серии книг «Цифра на марше».

Скачать бесплатно книгу «Цифра и экономика».