Локальная нейросеть или облако: когда стоит покупать компьютер для ИИ
Я Паша Бородин, директор «Апгрейд-Сервис». Сам пользуюсь онлайн-сервисами и локальными моделями. В этой статье разберу, когда удобнее готовый сервис, когда стоит арендовать GPU, а когда есть смысл собирать свой компьютер.
В статье
- Чем отличаются три варианта
- Поиск по своим документам
- Разработка и эксперименты с локальными моделями
- Если компьютером будут пользоваться несколько человек
- Останутся ли данные на вашем компьютере
- Как сравнить расходы на аренду GPU и покупку
- Если хотите генерировать изображения
- С чего начать выбор компьютера
Чем отличаются три варианта
| Вариант | Когда рассматривать | За что отвечаете вы |
|---|---|---|
| Готовый облачный сервис | Когда рассматривать: Доступных функций и качества ответов хватает для ваших задач | За что отвечаете вы: Выбор тарифа, соблюдение правил сервиса и решение, какие данные ему передавать |
| Аренда GPU | Когда рассматривать: Хотите проверить модель или вам нужны вычисления на время | За что отвечаете вы: Подготовка окружения, загрузка данных, оплачиваемое время и хранение |
| Свой компьютер для ИИ | Когда рассматривать: Регулярно запускаете локальные модели и хотите выбирать оборудование и программы | За что отвечаете вы: Покупка, настройка, электричество, обслуживание и обновления |
Сначала проверьте, даёт ли выбранная модель нужный результат. Если вас устраивает ответ облачного сервиса, это ещё не значит, что локальная модель ответит так же.
Поиск по своим документам
Допустим, вы хотите задавать вопросы по своим инструкциям и техническим материалам. Для этого можно собрать RAG-систему: она ищет в документах подходящие фрагменты и передаёт их языковой модели для ответа.
Документы и модель могут работать на вашем компьютере. Но для такого сценария нужно настроить обработку файлов, поиск и интерфейс. Покупка станции сама по себе этого не решает.
Начните с нескольких документов и вопросов, на которые знаете ответы. Так вы сможете проверить, находит ли система нужные сведения и правильно ли использует их в ответе. После этого будет проще оценить, какой компьютер нужен для постоянной работы.
Разработка и эксперименты с локальными моделями
Если вы регулярно меняете модели, проверяете промпты или делаете своё приложение с ИИ, собственная станция позволяет держать нужное окружение под рукой. Можно повторять эксперименты с теми же программами и настройками.
Если вычисления нужны для короткого эксперимента, сначала стоит рассмотреть аренду GPU. Она позволит проверить модель до покупки оборудования. При этом смотрите на качество ответа и время ожидания, а также на ресурсы, которые нужны остальным программам.
Если компьютером будут пользоваться несколько человек
К локальной модели можно настроить доступ по сети. Тогда станцией смогут пользоваться несколько человек. Для подбора оборудования нужно знать, сколько запросов будет поступать одновременно и как долго пользователи готовы ждать ответ.
Один короткий вопрос и несколько одновременных запросов с длинными документами создают разную нагрузку. По одному только числу видеокарт нельзя определить, сколько пользователей обслужит компьютер.
Останутся ли данные на вашем компьютере
Для этого весь путь обработки должен быть локальным. Проверьте, куда обращаются интерфейс, поиск по документам и подключённые инструменты: среди них могут быть внешние сервисы.
Например, в Ollama можно отключить облачные функции и включить локальный режим. Но настройки Ollama не управляют остальными программами. Для них тоже нужно проверить передачу данных, права доступа и хранение файлов.
Если вы не хотите отправлять документы внешним сервисам, скажите об этом до выбора программ и компьютера.
Как сравнить расходы на аренду GPU и покупку
Возьмите один и тот же период и объём работы, затем посчитайте расходы для каждого варианта:
- Свой компьютер: покупка, настройка, электричество и обслуживание. Для расчёта электричества нужно потребление всей системы под вашей нагрузкой.
- Аренда GPU: оплаченное время, хранение и передача данных, подготовка окружения.
- Готовый сервис или API: тариф и расходы при вашем объёме использования.
Учтите своё время на настройку и возможные простои. Сравнивать суммы имеет смысл, если каждый вариант даёт приемлемое качество и скорость. Без этих данных срок окупаемости компьютера будет предположением.
Если хотите генерировать изображения
Для ComfyUI и других инструментов работы с изображениями нужен отдельный подбор. Укажите модели и операции, которые хотите выполнять: например, генерацию или увеличение разрешения.
Работа текстовой модели на V100 не подтверждает, что выбранная сборка подойдёт для вашего процесса генерации изображений. Его нужно проверить отдельно.
С чего начать выбор компьютера
Если вы выбираете станцию для себя, запишите, что хотите на ней делать, как часто и в каких программах. Добавьте бюджет и требования к хранению данных. Решите, будете ли вы настраивать окружение сами или хотите заказать настройку.
В Upgrade есть сборки на одной и двух Tesla V100. Если вы уже пробовали локальные модели, расскажите о своём опыте: чего хватило, что не запустилось, что хотелось бы изменить. Если пока только интересуетесь локальным ИИ, начнём с ваших задач.