Лучшая локальная нейросеть на вашем ПК бесплатно + LLM

Когда я наконец решился попробовать локальную нейросеть на своём компьютере, я задался вопросом: какую LLM (интерфейс для нейросети) установить? Ведь базовые модели — это просто код, и среднестатистическому пользователю без LLM запустить локальную нейросеть практически невозможно. После использования ChatGPT запускать чат бота через консоль — это как вернуться в средневековье, во времена, когда дерьмо выливали прямо из окон.

Изначально я хотел просто сравнить два интерфейса, но без контекста и понимания общих принципов это было бы как-то не очень.

Основные преимущества использования локальной нейросети: бесплатно и приватно.

Существуют два популярных бесплатных интерфейса с открытым исходным кодом для Windows, macOS и Linux: Anything LLM и LM Studio. Они устанавливаются в пару кликов, и уже через их интерфейс, напоминающий ChatGPT, вы можете загрузить модель нейросети.
Однако если вы будете использовать базовые модели нейросетей и попробуете общаться с ними на русском языке, то, особенно после опыта использования ChatGPT, результат может вас повергнуть в ужас и вы удалите эту нейросеть через несколько минут. 

Причины низкого качества работы базовых моделей:

1. Большинство моделей не обучались на русском языке. ChatGPT в этом плане выделяется благодаря обширному обучению.
2. Ограниченные мощности локальных компьютеров. ChatGPT работает на серверах с огромной вычислительной мощностью, чего не может предложить даже самый мощный ПК.

Поэтому, чтобы избежать разочарования, я рекомендую использовать дообученные модели, созданные сообществом, а не базовые версии обученные по большей части на английском языке.

Категории локальных нейросетей

Локальные модели условно делятся на несколько категорий:

Самые простые модели

Объём: 1–4 ГБ, Параметры: ~3 млрд

Подходят для очень простых задач (например, улучшенный калькулятор). 

Средние модели

Объём: 5 ГБ, Параметры: 7–9 млрд

Это оптимальный вариант для работы на домашних ПК.

Продвинутые модели

Объём: 8–9 ГБ, Параметры: 12–14 млрд

Рекомендуются для ПК с 16 ГБ оперативной памяти и видеокартой от 8 ГБ.

Мощные модели

Объём: 12 ГБ, Параметры: 32 млрд

Требуют мощный ПК, но даже в этом случае базовые версии могут плохо справляться с русским языком. 

Есть ещё категория супермощных нейросетей, но они предназначены не для домашних ПК, а для серверных мощностей.

Лучшие дообученные модели (на декабрь 2024) по моему мнению

• Qwen 2.5 14B Instruct by Qwen (базовая модель разработана Alibaba Group — компанией, которой принадлежит всем известный маркетплейс AliExpress)
• Mistral Nemo Instruct 2407 by Mistralai

Этим моделям достаточно 16 ГБ оперативной памяти и видеокарты с объёмом 8 ГБ. Обе модели поддерживают только текстовые задачи и не могут анализировать изображения. Если вам нужно проанализировать картинку или получить совет, как улучшить дизайн постера, лучше использовать ChatGPT с мультимодальными функциями — с этой задачей он справляется идеально. Напомню, что ChatGPT предоставляет ограниченное количество бесплатных запросов в день.

У нейросети Llama 3.2 есть мультимодальные базовые модели, но они допускают множество грамматических ошибок, что делает их неэффективными для работы на русском языке. 

На данный момент, на мой взгляд, из локальных моделей нейросетей лучше всего на русском языке говорит Qwen 2.5 14B Instruct. 
Вы можете убедиться в этом сами, взглянув на ответы нейросети, представленные на трёх скриншотах в этой статье.

Сравнение Anything LLM и LM Studio 

Главное отличие для обычных пользователей:

• Anything LLM имеет доступ к интернету. Вы можете включить эту функцию в настройках, чтобы нейросеть выполняла поиск в интернете или анализировала конкретные сайты.
• LM Studio не поддерживает выход в интернет, но её интерфейс более функционален, а возможности диалогового окна шире. А для продвинутых пользователей доступно ещё больше возможностей для настройки чат бота под ваши нужды.

Преимущества:

• Anything LLM
• Поддерживает озвучку текста. По умолчанию установлен роботизированный голос, но в настройках доступно множество голосов, включая русскоговорящие. Однако голоса подобраны, мягко говоря, совсем не секси: один женский и три мужских, и слушать их не хочется. Поэтому на данный момент это такое себе преимущество.
• Подходит для совместной работы с другими пользователями.
• Возможность загрузки текстовых и PDF-файлов для анализа, суммирования и обращения к ним во время общения с чат ботом.
• LM Studio
• Локальная работа, создание собственных чат-ботов и их обучение.
• Также поддерживает возможность загрузки текстовых и PDF-файлов для анализа, суммирования и обращения к ним во время общения с чат ботом.
• На мой взгляд LM Studio менее требовательна к вашему железу, меньше грузит систему, меньше потребляет оперативной памяти, а чат бот отвечает быстрее.

К Anything LLM можно подключить LM Studio, но сейчас это кажется менее актуальным. Раньше такое подключение использовалось для работы с текстовыми файлами, однако после недавнего обновления LM Studio получила поддержку загрузки и анализа текстовых документов напрямую.

Настройки сложности интерфейса:

Стоит упомянуть, что на первый взгляд интерфейс LM Studio кажется более сложным, но это только на первый взгляд. Оба приложения предлагают режим упрощённого интерфейса, что делает их доступными для обычных пользователей. 

Мне больше нравится LM Studio благодаря приятному интерфейсу и широким возможностям в общении с чат-ботом.

Имейте в виду, что никакая локальная модель нейросети на данный момент не сможет сравниться с ChatGPT по возможностям и уровню интеллекта. Однако, учитывая скорость прогресса, предположу, что очень скоро локальные нейросети достигнут уровня ChatGPT-4, хотя, вероятно, ChatGPT к тому моменту уже будет на другой высоте. С другой стороны, когда локальные нейросети достигнут уровня ChatGPT-4, этого будет вполне достаточно для комфортной работы. И главное — всё это бесплатно на вашем ПК, а данные, которыми вы делитесь с нейросетью, не попадают на чьи-либо серверы. То есть полная приватность.

На этом у меня всё.