Разборы ИИ

Локальные модели: с нуля. Часть 1 — железо

Что реально нужно, чтобы запускать модели у себя, и на чём не стоит переплачивать.

• Память важнее частоты. Модель должна целиком поместиться в память — иначе всё упирается в подкачку.
• Ноутбук с 16 ГБ тянет модели до 8 миллиардов параметров в сжатом виде; для 30–70 миллиардов нужны 32–64 ГБ единой памяти.
• Диск. Каждая модель — от 4 до 40 ГБ; заложите 200 ГБ под коллекцию.

В следующей части — запуск за десять минут и первые ошибки. #локальные-модели