Разборы ИИ
@art610
Экспертные разборы моделей и инструментов, эфиры и заметки. Пишу только о том, что проверил руками.
Категории
Серии 2 · 5 материалов
серия Локальные модели: с нуля 3 материала
Три части по порядку: железо, запуск, встраивание в работу
- 1 Локальные модели: с нуля. Часть 1 — железо #локальные-модели
- 2 Локальные модели: с нуля. Часть 2 — запуск за десять минут #локальные-модели
- 3 Локальные модели: с нуля. Часть 3 — встраиваем в работу #локальные-модели
серия Серия Claude 2 материала
- 1 ТЕСТ Claude: заголовок записи #тест-claude
- 2 ТЕСТ Claude: опрос
-
Локальные модели: с нуля. Часть 3 — встраиваем в работу
Модель запущена — теперь она должна приносить пользу каждый день, а не пылиться в терминале.
Три сценария, где локальная модель выигрывает у облачной:
- Черновики писем и заметок — данные не покидают компьютер.
- Поиск по своим документам — без лимитов…
Теги · 1
-
Локальные модели: с нуля. Часть 2 — запуск за десять минут
Никаких сборок из исходников. Ставим готовый запускатель, скачиваем модель, проверяем скорость.
- Ставим запускатель одной командой.
- Скачиваем модель на 8 миллиардов параметров — она поместится почти везде.
- Задаём первый вопрос и смотрим на…
Теги · 1
-
Локальные модели: с нуля. Часть 1 — железо
Что реально нужно, чтобы запускать модели у себя, и на чём не стоит переплачивать.
- Память важнее частоты. Модель должна целиком поместиться в память — иначе всё упирается в подкачку.
- Ноутбук с 16 ГБ тянет модели до 8 миллиардов параметров в сжатом виде; для…
Теги · 1