7 научных статей, изменивших ход истории ИИ

7 научных статей, изменивших ход истории ИИ

Эти статьи не обсуждали в Twitter и они не становились мемами. Но именно она заложили фундамент революции искусственного интеллекта, свидетелями которой мы стали в последние годы. Если хотите понять, куда движется ИИ — посмотрите, с чего все начиналось.

1. Свидетельство о рождении AI (1955) A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence

Это даже не совсем статья — скорее манифест. Четверо ученых предложили то, что 70 лет назад казалось безумием: «А давайте создадим машины, способные мыслить!»

Эти идеи запустили первую конференцию по ИИ в Дартмутском колледже. Они впервые назвали это явление artificial intelligence. Именно здесь были заложены основы того, с чем мы работаем сегодня.

2. Статья, затормозившая нейросети (1969) Perceptrons: An Introduction to Computational Geometry

(Про это у меня есть пост.) Эта работа на целых 2 десятилетия заморозила интерес к однослойным нейросетям-персептронам. Оказалось, что на определенных задачах персептроны попросту не работают.

Но именно эта критика породила предположение, что решение все-таки есть: нужно строить более сложные, многослойные нейронные архитектуры.

Так родилось «глубокое обучение».

3. Алгоритм, воскресивший нейросети (1986) Learning Representations by Back-Propagating Errors

Нейросети были практически мертвы.

Но алгоритм обратного распространения ошибки (backpropagation) вернул их с того света. Backprop научил нейронные сети учиться на ошибках, подстраивать свои «веса» и улучшаться шаг за шагом. Многослойные сети уже не казались бесполезным развлечением — теперь было понятно, как их обучать эффективно. ИИ получил второй шанс.

4. Изображение, перевернувшее игру (2012) ImageNet Classification with Deep Convolutional Neural Networks

Гигантская база изображений ImageNet была самым масштабным вызовом начала 2010-х — тысячи объектов на миллионах фото. И никому не удавалось справиться с задачей, пока не появилась нейросеть AlexNet.

С глубокими свёрточными слоями AlexNet не просто слегка превзошла другие подходы — она уничтожила конкурентов, снизив ошибку классификации на >10%. Стало ясно: наступает век практического глубокого обучения. Именно этот прорыв запустил революцию в распознавании лиц, машинном зрении, беспилотниках и роботах.

5. Тайный рецепт GPT (2017) Attention Is All You Need

Авторы статьи (пожалуй, самой известной сейчас) предложили избавиться от громоздких рекуррентных или свёрточных структур. Зачем усложнять, если есть простое решение — attention («внимание»)?

Архитектура Transformer произвела революцию — модель наконец могла запоминать контекст длинных текстов и быстро учиться на огромных объемах данных.

Именно этот подход привел мир к появлению моделей BERT, GPT и, в итоге, всем знакомому ChatGPT.

6. Модель, прочитавшая весь интернет (2018) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Читать текст легко. Понимать его — совсем другое дело. Модель BERT впервые обучалась сразу в двух направлениях контекста — слева направо и справа налево, «видя» каждое слово со всех сторон. Именно это позволило нейросетям наконец «понимать» язык.

Сегодня такие подходы лежат в основе поисковых систем и голосовых ассистентов.

7. Новая эра самообучающегося интеллекта (2020) Language Models are Few-Shot Learners

Что если нейросеть могла бы научиться делать почти всё — просто прочитав интернет?

Именно такова была идея модели GPT-3. Третье поколение нейронки не просто решало задачи, для которых оно изначально обучалось, — GPT-3 показал способность сходу решать новые, ранее не встречавшиеся задачи: перевод, ответы на вопросы, написание кода, создание стихов и многое другое.

Это начало эпохи универсального AI.

Что дальше? Прорывные идеи часто скрыты от глаз, не на поверхности хайпа. Кто знает, возможно, следующая революция уже лежит где-то в PDF-файле, который пока никто не прочитал.

/ Не запрещена в РФ