Разборы ИИ

Локальные модели: с нуля. Часть 2 — запуск за десять минут

Никаких сборок из исходников. Ставим готовый запускатель, скачиваем модель, проверяем скорость.

1. Ставим запускатель одной командой.
2. Скачиваем модель на 8 миллиардов параметров — она поместится почти везде.
3. Задаём первый вопрос и смотрим на скорость: меньше 10 токенов в секунду — модель слишком большая для этой машины.

Типичная ошибка: качать самую большую модель сразу. Начните с маленькой и поймите, что вам вообще нужно.

В третьей части — как встроить модель в ежедневную работу. #локальные-модели