Свой ChatGPT по Карпаты: 7.5 часов лекций + $48 на GPU

Андрей Карпаты (соучредитель OpenAI, экс-глава Autopilot в Tesla, с мая 2026 - исследователь в Anthropic) выложил три бесплатных видео, которые вместе дают полную картину: как устроен ChatGPT изнутри, как собрать его в коде и как выжимать из готовых моделей максимум. Общий хронометраж - 7 часов 38 минут, а не 6, как пишут в пересказах. Отдельно есть nanochat - его репозиторий на 57 тысяч звёзд, где можно натренировать свой ChatGPT за 48 долларов на арендованных GPU. Ниже - реальные ссылки на каждое видео, честный маршрут просмотра и готовые промпты для Claude Code, чтобы разбирать материал не в одиночку.

Что это на самом деле - одна лекция или три?

В русскоязычных пересказах гуляет формулировка "6-часовая лекция Карпаты". Это склейка. На деле - три отдельных видео с YouTube-канала Andrej Karpathy, каждое можно смотреть само по себе:

1. "Deep Dive into LLMs like ChatGPT" - 3 часа 31 минута, вышло 5 февраля 2025. Как обучают модели: данные, токенизация, SFT, RLHF, галлюцинации. Ссылка на видео и тайм-коды на karpathy.ai.
2. "Let's build GPT: from scratch, in code, spelled out" - 1 час 56 минут, часть серии Neural Networks: Zero to Hero. Пишем трансформер с нуля в коде.
3. "How I use LLMs" - 2 часа 11 минут, вышло 27 февраля 2025. Практика: как выбирать модели, писать промпты, работать с thinking-режимами.

Тайм-коды из пересказа Бэкдора совпадают с этим ровно: первые 3:31 - Deep Dive, потом 1:56 - Let's build GPT, дальше 2:11 - How I use LLMs. Итог 7:38, округлили до 6.

Кто такой Карпаты и почему его стоит смотреть

Коротко: один из 11 сооснователей OpenAI (2016), с 2017 по 2022 - директор AI в Tesla, отвечал за vision-стек Autopilot. В 2023-2024 вернулся в OpenAI на GPT-4. В июле 2024 запустил свою образовательную компанию Eureka Labs. В мае 2026 перешёл в Anthropic (это подтвердил CNBC).

Он один из немногих топ-исследователей, кто регулярно снимает бесплатный длинный контент и объясняет так, что понимает не только PhD. Все видео - на его канале, без рекламы и платного доступа.

Часть 1: как устроен ChatGPT (3 часа 31 минута)

Это самая тяжёлая часть, но и самая ценная, если ты никогда не понимал "как оно вообще работает". Карпаты берёт ChatGPT и разбирает по слоям:

• Предобучение: откуда берут данные (интернет, Common Crawl), как чистят, как токенизируют, как крутится тренировка.
• Постобучение: SFT (supervised fine-tuning), инструменты, галлюцинации - почему модель уверенно врёт и что с этим делают.
• Reinforcement Learning: RLHF, история AlphaGo, кейс DeepSeek-R1 - как модели учат "думать".

Смотреть желательно с блокнотом. Карпаты показывает реальные примеры на GPT-2 и Llama 3.1, объясняет, что модель "видит" внутри головы и почему считает 9.11 больше 9.9.

Часть 2: собираем трансформер в коде (1 час 56 минут)

Это уже про руки. Открываешь Jupyter или VS Code, копируешь код по ходу видео. За два часа из пустого файла получается работающий бэби-GPT, обученный на Шекспире.

Что разбирается: как считывается датасет, что такое bigram-модель, как работает self-attention (главная магия трансформера), позиционные эмбеддинги, multi-head attention, feed-forward блоки, residual connections, layer norm. К концу видео у тебя запускается модель, которая генерирует псевдо-Шекспира.

Видео идёт в паре с репозиторием nanoGPT (минимальная реализация GPT для обучения). Требования: Python, PyTorch, GPU желательно, но не обязательно - на CPU тоже пойдёт, только медленнее.

Часть 3: как выжимать из LLM максимум (2 часа 11 минут)

Самая практичная часть, её можно смотреть первой, если код тебе не нужен. Карпаты берёт готовые модели (ChatGPT, Claude, Gemini) и показывает свой рабочий поток:

• Как выбирать модель под задачу и не переплачивать за топовый тариф там, где хватит младшего.
• Как правильно общаться: контекст, роли, конкретика вместо "напиши мне статью".
• Thinking-модели (o1, o3, Claude Sonnet Extended Thinking, DeepSeek-R1) - когда они нужны, а когда только жгут токены.
• Реальные примеры из своей жизни: переводы, готовка, финансы, разбор PDF.

Если у тебя нет времени на все 7.5 часов - смотри эту часть. Она окупится в первый же день.

nanochat: свой ChatGPT за $48

В октябре 2025 Карпаты выложил nanochat - полный пайплайн своего ChatGPT в одном репозитории. Это уже не только предобучение (как в nanoGPT), а вся цепочка: токенизатор, претрейн, SFT, RL, инференс, простой веб-чат.

Цифры с GitHub на момент публикации: 57.3 тысячи звёзд, 7.9 тысячи форков. Спидран (полный цикл до работающей модели) идёт около 1 час 40 минут на арендованном 8xH100 - это 48 долларов по стандартной цене или около 15 на спот-инстансе. На выходе - модель уровня GPT-2 2019 года, с которой можно поговорить через CLI или веб-интерфейс.

Вот команды из README:

git clone https://github.com/karpathy/nanochat.git
cd nanochat
uv sync --extra gpu
bash runs/speedrun.sh
python -m scripts.chat_cli

Это не замена ChatGPT (модель слабее и знает меньше), это учебный проект - чтобы увидеть весь путь от токенов до чат-интерфейса своими глазами.

Как разбирать это с Claude Code

Самый быстрый способ не утонуть в 7.5 часах - разбирать материал с ИИ-помощником. В Claude Code вставь запрос:

возьми репозиторий https://github.com/karpathy/nanoGPT
склонируй его в папку ./nanoGPT, прочитай train.py и model.py
объясни мне по-русски, что делает каждый крупный блок кода:
- как устроен forward-проход
- где реализовано self-attention
- как считается loss
дай схему архитектуры в виде ASCII-диаграммы, чтобы я мог сверять с видео Карпаты

Для второго видео (Let's build GPT) - конспект по тайм-кодам:

у меня есть транскрипт лекции Карпаты "Let's build GPT from scratch".
сделай конспект по разделам с тайм-кодами, каждый раздел:
- одно предложение сути
- ключевые термины (жирным)
- что за этим фрагментом идёт в код
формат - markdown, чтобы я мог держать открытым рядом с видео

Для nanochat - разбор спидрана перед тем, как жечь деньги на GPU:

прочитай runs/speedrun.sh и все .py в nanochat/, на которые он ссылается.
объясни по шагам: что произойдёт за 1.5 часа спидрана, какие компоненты обучаются в каком порядке, где точки сохранения чекпоинтов.
отдельно - как безопасно остановить процесс на середине и что при этом теряется.

Это те же самые задачи, которые в клубе Мандарин Лаб мы разбираем целыми сессиями - разговором с Claude Code, не построчным чтением.

Минимальный маршрут, если 7.5 часов - это много

Честный порядок, если хочешь пользы, а не галочки "посмотрел":

1. Сначала часть 3 ("How I use LLMs", 2ч 11м). Даст практику сразу, без теории. После неё будешь работать с ChatGPT и Claude по-другому.
2. Потом часть 1 ("Deep Dive", 3ч 31м). По одному часу в день с блокнотом. Начнёшь понимать, почему модели ведут себя так, а не иначе.
3. Часть 2 и nanochat - опционально. Если хочешь не только использовать, но и трогать код руками, если планируешь работать с моделями инженерно.

Для большинства маркетологов, продактов и предпринимателей достаточно первого пункта. Для тех, кто хочет разбираться глубже, - второго. Третий - для тех, кто идёт в инженерию.

FAQ

Нужен ли Python и математика, чтобы понять эти видео?

Для части 3 ("How I use LLMs") - нет, вообще ничего не нужно, только руки и учётка ChatGPT/Claude. Для части 1 ("Deep Dive") - желательно понимать, что такое нейросеть на уровне "вход-веса-выход", математика не обязательна, Карпаты объясняет на пальцах. Для части 2 и nanochat нужен Python и базовое понимание PyTorch, иначе будешь копировать код без понимания.

Реально ли собрать свой ChatGPT за $48?

Да, но с оговоркой. За 48 долларов ты натренируешь модель уровня GPT-2 2019 года. Это игрушка для обучения, она отвечает связно, но знает мало и уступает даже бесплатному ChatGPT. Полноценный современный LLM стоит миллионы, и в одиночку его не собрать. nanochat - про то, чтобы увидеть весь путь, а не про замену OpenAI.

Есть ли русские субтитры?

Официальных - нет. YouTube даёт автопереведённые субтитры, качество среднее. Быстрее сгенерировать конспект через Claude или ChatGPT: скачиваешь транскрипт (через yt-dlp или сторонние сервисы вроде youtubetranscript.com), закидываешь в модель, просишь пересказать по тайм-кодам на русском.

Что первым, если совсем нет времени?

Часть 3 ("How I use LLMs"). Смотри на скорости 1.5x, вернётся окупаемостью в первый же день работы с ChatGPT.

Актуальны ли эти лекции в 2026?

Базовые механики (токенизация, self-attention, трансформер, RLHF) не устареют ещё годы - на них построены все современные модели, включая GPT-5, Claude Opus 4.7 и Gemini. Часть про конкретные тарифы и модели в "How I use LLMs" уже частично устарела (модели быстро сменяются), но подход к выбору - живой.

Что дальше

Если хочешь собрать такую систему у себя - у меня есть курс по вайбкодингу и работе с нейросетями в клубе Мандарин Лаб: mandarinedu.ru. Первые уроки открыты бесплатно.

Если нужно внедрить ИИ в бизнес - процессы, агентов, автоматизацию под вашу задачу - пишите мне напрямую: t.me/Philigranchik. Разберу задачу и скажу, что реально автоматизируется, а что нет.