Нейросеть на старом ноутбуке работает, но с условиями

Запустить языковую модель на обычном ноутбуке без игровой видеокарты можно. Результат зависит от размера модели, объёма памяти и ожиданий: быстрый и умный помощник уровня больших облачных сервисов не получится, а вот локальный черновик письма или краткий пересказ текста вполне.

Фото: Émile Perron, CC0, StockSnap

Интерес к такому запуску понятен. Данные остаются на устройстве, не нужен интернет, нет подписки и нет зависимости от того, доступен ли зарубежный сервис из России.

Почему размер модели решает всё

Языковая модель состоит из огромного набора чисел, который называют весами. Чем этих чисел больше, тем «умнее» ответы, но тем больше памяти нужно, чтобы просто загрузить модель. Размер обычно указывают в миллиардах параметров: 1B, 3B, 7B, 70B и так далее.

Облачные гиганты работают с моделями, которые на домашнем компьютере не поместятся. Для ноутбука реалистичны малые модели на 1-8 миллиардов параметров. Их выпускают многие разработчики, в том числе открытые семейства Llama, Qwen, Gemma и Phi. Российские компании тоже публикуют открытые модели: по сообщениям СМИ, в ноябре 2025 года Сбер выложил в открытый доступ модели семейства GigaChat, включая компактную GigaChat Lightning, рассчитанную на локальный запуск, а также Kandinsky 5.0 для картинок и видео под лицензией MIT. Актуальные версии и условия лицензии стоит смотреть на страницах самих проектов.

Грубая прикидка выглядит так. Модель на 7 миллиардов параметров в сжатом виде занимает порядка 4-5 гигабайт, модель на 3 миллиарда около 2 гигабайт. Сверху нужен запас на саму систему и браузер, поэтому при 8 гигабайтах оперативной памяти комфортно работают только самые лёгкие варианты, а при 16 гигабайтах уже можно пробовать модели среднего размера.

Как большую модель делают маленькой

Главный приём называется квантованием. Числа внутри модели хранятся с высокой точностью, и если её снизить, файл уменьшается в разы. Квантование до 4 бит обычно даёт заметную экономию памяти при умеренной потере качества. Для повседневных задач разница часто почти не чувствуется, для сложных рассуждений и точных расчётов она проявляется сильнее.

Второй путь: дистилляция. Небольшую модель обучают повторять поведение большой, и она перенимает часть её навыков. Именно так появляются компактные версии, которые для своего размера отвечают удивительно связно.

Есть и архитектурные хитрости. В моделях типа «смесь экспертов» при каждом ответе задействуется лишь часть параметров, поэтому скорость выше, чем у обычной модели того же размера. Но загружать в память всё равно приходится весь набор, так что экономия касается скорости, а не объёма.

Чем запускать и что получится на практике

Для обычного пользователя самый простой путь лежит через готовые программы. Среди известных: Ollama, LM Studio, GPT4All, а в основе многих из них лежит открытый движок llama.cpp, который умеет работать даже без видеокарты, только на процессоре. Такие программы скачивают модель, показывают окно чата и не требуют писать код.

Скорость на процессоре зависит от модели и железа. На современном ноутбуке малая модель обычно выдаёт ответ с читаемой скоростью, на старом может «печатать» по слову в секунду или медленнее. Первое время ответа и длина текста растут вместе с объёмом запроса, поэтому длинные документы на слабой машине обрабатываются мучительно долго.

Заметно ускоряют работу ноутбуки с интегрированным графическим ускорителем нового поколения и компьютеры Apple с единой памятью, где процессор и графика делят один пул. Дискретная видеокарта с достаточным объёмом собственной памяти ускоряет всё ещё сильнее, но на слабом ноутбуке её обычно нет.

Что реально получается: переписать абзац, придумать варианты заголовка, объяснить термин, составить простой план, перевести короткий текст, подсказать формулу для таблицы. Что получается плохо: длинные цепочки рассуждений, сложный код, точные факты и свежие новости, ведь знания модели ограничены моментом обучения, а интернета у неё нет.

Ограничения, о которых стоит знать заранее

Малые модели чаще ошибаются и увереннее выдумывают. Они могут назвать несуществующую книгу или перепутать даты, причём тоном, не оставляющим сомнений. Поэтому факты, цифры и ссылки из локального помощника необходимо проверять.

Русский язык даётся малым моделям тяжелее английского: многие из них обучались преимущественно на англоязычных данных. Качество на русском сильно различается от модели к модели, и лучше попробовать две-три версии на своих типичных задачах, чем выбирать по громким названиям.

Ещё один нюанс касается нагрева и батареи. Генерация нагружает процессор почти на полную, ноутбук шумит, греется и быстро разряжается. Для разовых задач это терпимо, для постоянной работы лучше подключать питание и следить за температурой.

Отдельно стоит учитывать лицензии. Часть моделей открыта для личного использования, но накладывает условия на коммерческое применение, поэтому перед использованием в рабочих проектах лицензию нужно прочитать.

Применение в разных отраслях и перспективы

Локальные модели интересны там, где данные нельзя отправлять во внешнее облако. Юристы и бухгалтеры могут разбирать внутренние документы, не передавая их третьим лицам. Врачебные организации рассматривают такие решения для черновиков выписок, хотя вопросы точности и ответственности остаются открытыми. В образовании маленькая модель на школьном компьютере способна работать как тренажёр письма или проверяющий помощник без выхода в интернет.

В промышленности и логистике компактные модели встраивают в терминалы и устройства на периферии, где связь нестабильна. В розничной торговле их используют для обработки описаний товаров и отзывов прямо на стороне продавца. Производители смартфонов и ноутбуков всё чаще заявляют о встроенных нейроускорителях: так называемые «ИИ-компьютеры» создаются именно для того, чтобы небольшие модели работали локально и быстро.

Перспектива выглядит так: модели становятся компактнее, а качество малых версий растёт. То, что раньше требовало серверной стойки, постепенно переезжает на ноутбук, а затем на телефон. При этом облачные сервисы вроде Яндекса или Сбера сохранят преимущество в сложных задачах, а локальный запуск закрепится как вариант для приватности, офлайн-работы и экономии.

Что попробовать в первую очередь

Разумный порядок действий такой: узнать объём оперативной памяти, поставить одну из простых программ для запуска, выбрать модель на 1-3 миллиарда параметров с 4-битным квантованием и проверить её на привычных задачах. Если скорость устраивает, можно подняться до модели на 7-8 миллиардов.

Если ответы слишком медленные, помогает сократить длину запроса, закрыть тяжёлые программы, уменьшить размер контекста в настройках и выбрать более лёгкую модель. Иногда проще воспользоваться облачным сервисом для тяжёлых задач, а локальную модель оставить для приватных и простых.

Итог такой: слабый ноутбук не мешает познакомиться с нейросетями вплотную, но требует трезвых ожиданий. Малая модель не заменит большой сервис, зато даёт независимость, приватность и понимание того, как этот инструмент устроен изнутри.