Сколько памяти видеокарты нужно для нейросетей
Запустить нейросеть дома можно, и для многих задач не нужен ни дорогой компьютер, ни особые знания. Главный параметр здесь не мощность процессора и не количество ядер, а объём памяти видеокарты.
Фото: Wimox, CC BY-SA 2.0, Flickr
Почему видеокарта так важна
Нейросеть состоит из огромного количества чисел, называемых весами, и при работе постоянно выполняет над ними однотипные вычисления. Видеокарта для этого подходит идеально: у неё тысячи небольших вычислительных блоков, работающих параллельно. Процессор делает то же самое, но заметно медленнее.
Вторая причина: для быстрой работы модель должна целиком помещаться в память видеокарты, которую называют видеопамятью или VRAM. Если не помещается, часть данных приходится держать в обычной оперативной памяти, и скорость падает в разы.
Поэтому при выборе смотрят в первую очередь на объём видеопамяти, затем на скорость памяти и только потом на количество вычислительных блоков. Видеокарта с большим объёмом памяти и скромной мощностью часто лучше для ИИ, чем игровая карта с высокой скоростью, но малой памятью.
Ещё один фактор: программная поддержка. Большинство популярных инструментов лучше всего работает с картами NVIDIA, так как опираются на технологию CUDA. Карты AMD и другие тоже применяются, но настройка бывает сложнее, а совместимость зависит от конкретной программы.
Сколько памяти нужно под разные задачи
Для языковых моделей действует грубое правило: чем больше параметров, тем больше памяти. Модель с семью миллиардами параметров в полной точности занимает порядка 14 гигабайт. Но существует сжатие, называемое квантованием: оно уменьшает точность чисел, и такая модель помещается примерно в 4-5 гигабайт с небольшой потерей качества.
Модели в 13-14 миллиардов параметров в сжатом виде обычно требуют порядка 8-10 гигабайт, а более крупные, в несколько десятков миллиардов, уже 20 гигабайт и больше. Точные цифры зависят от конкретной модели и формата, поэтому стоит смотреть описание на странице модели.
Для генерации изображений требования скромнее. Классические версии Stable Diffusion работают на картах с 4-6 гигабайтами, более современные и тяжёлые модели комфортнее чувствуют себя на 8-12 гигабайтах. Для генерации видео и обучения собственных моделей нужно заметно больше, и здесь решают карты с 16-24 гигабайтами и выше.
Отдельно стоит учесть запас: кроме самой модели, память занимают рабочие данные, например история диалога. Чем длиннее контекст, тем больше нужно места, поэтому лучше брать с запасом.
Примеры задач для разных видеокарт
Видеокарта с 6-8 гигабайтами подойдёт для локального чат-бота небольшого размера, распознавания речи, улучшения фотографий и генерации картинок в среднем разрешении. Для личных экспериментов и обучения этого достаточно.
Карты с 12-16 гигабайтами открывают более серьёзные модели, быструю генерацию изображений высокого качества и работу с небольшими дообучениями. Такой объём считается комфортным для энтузиаста.
Карты с 24 гигабайтами и больше нужны тем, кто запускает крупные языковые модели локально, обучает собственные версии, работает с видео. Это уже сегмент профессиональной и полупрофессиональной техники, и цены здесь кратно выше.
Если нужно просто пользоваться нейросетью, видеокарта вообще не требуется: такие сервисы, как Алиса, GigaChat, YandexGPT и Kandinsky, работают в облаке. Тяжёлые вычисления выполняют серверы компании, а на устройстве достаточно браузера или приложения.
Можно ли без видеокарты
Можно, с оговорками. Небольшие языковые модели запускаются на обычном процессоре с помощью таких инструментов, как llama.cpp и Ollama. Для работы пригодится оперативная память от 16 гигабайт, но скорость ответа будет заметно ниже, чем на видеокарте. Для личных задач и экспериментов этого часто достаточно.
Компьютеры Apple с собственными процессорами используют единую память для процессора и графики, поэтому довольно крупные модели помещаются без отдельной видеокарты. Скорость при этом умеренная, но удобство высокое.
Ещё один вариант: аренда мощностей в облаке. Многие провайдеры предлагают почасовую аренду серверов с видеокартами, в том числе российские облачные компании. Это выгодно, если нужно решить разовую крупную задачу, и невыгодно при постоянной работе. Условия и цены стоит смотреть на сайтах провайдеров.
Наконец, есть готовые онлайн-сервисы и API, где платят за результат, а не за железо. Для небольшого бизнеса, который хочет автоматизировать ответы клиентам или описания товаров, это обычно проще и дешевле покупки техники.
Цена вопроса и перспективы
Цены на видеокарты сильно колеблются в зависимости от курса, наличия и поколения. Модели с 8 гигабайтами обычно стоят от нескольких десятков тысяч рублей, с 12-16 гигабайтами дороже, а профессиональные карты с 24 гигабайтами и больше могут обходиться в сотни тысяч рублей. Актуальные цены лучше смотреть в магазинах, а подержанную технику покупать осторожно, поскольку карты после майнинга или интенсивной работы могут быть изношены.
Практический совет: сначала определить задачу, а потом искать карту. Если нужна генерация картинок, хватит среднего уровня с достаточной памятью. Если нужна локальная работа с текстами и приватными документами, имеет смысл смотреть на карты побольше. А если нейросеть нужна иногда, выгоднее облако.
Эта область развивается быстро. Модели становятся компактнее и экономнее, а методы сжатия позволяют запускать на обычных компьютерах то, что недавно требовало серверов. Производители добавляют блоки для ИИ в процессоры и смартфоны, поэтому часть нейросетевых функций, от улучшения фото до голосового помощника, всё чаще работает прямо на устройстве.
Локальный ИИ уже применяется в медицине, на производстве и в банках там, где данные нельзя отправлять наружу. С ростом эффективности моделей порог входа будет снижаться, и необходимость в дорогой видеокарте для рядового пользователя, скорее всего, продолжит уменьшаться.