Hermes Agent + Ollama: локальная модель без лишних догадок

Короткий ответ

Да. Hermes Agent перечисляет Ollama среди вариантов Custom Endpoint, а Ollama предоставляет локальный OpenAI-compatible API. Практический порядок: установить оба продукта, запустить локальную модель, проверить Ollama отдельно, затем в Hermes Agent открыть hermes model, выбрать Custom Endpoint и указать локальный endpoint. После этого сначала проверьте обычный чат, а инструменты подключайте отдельно.

1. Установите компоненты

Для Linux, macOS и WSL2 инструкция Hermes Agent приводит команду:

curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash

После установки перезапустите оболочку и при необходимости проверьте окружение:

source ~/.bashrc   # или source ~/.zshrc
hermes doctor

Ollama устанавливается отдельно для вашей операционной системы. На Linux, если локальный сервер не запущен, документация Ollama указывает:

ollama serve

Сначала добейтесь самостоятельного ответа Ollama, затем переходите к настройке Hermes Agent.

2. Загрузите модель и проверьте Ollama

В официальном примере Ollama используется модель gemma4:e2b:

ollama pull gemma4:e2b
ollama run gemma4:e2b

Для OpenAI-compatible запросов используйте локальный адрес:

http://localhost:11434/v1

Собственный API Ollama доступен по адресу:

http://localhost:11434/api

Если локальный API не отвечает, сначала исправьте запуск сервера, имя модели или доступ к порту. Для другой модели подставьте точное имя, которое использует ваша установка Ollama.

3. Подключите Ollama в Hermes Agent

Запустите:

hermes model

Выберите Custom Endpoint. Quickstart Hermes Agent прямо относит к этому режиму Ollama и другие OpenAI-compatible API. Введите локальный адрес Ollama http://localhost:11434/v1 и точное имя загруженной модели в тех полях, которые показывает текущая версия Hermes Agent.

Перед сохранением проверьте адрес и имя модели. Доступные документы не раскрывают полный набор названий полей Custom Endpoint, поэтому не следует переносить в конфигурацию непроверенные параметры из сторонних инструкций.

4. Проверьте контекст и обычный чат

Hermes Agent требует модель с контекстом не менее 64 000 токенов для многошаговых рабочих процессов с инструментами. Проверьте, что выбранная локальная модель и её настройки поддерживают такой размер контекста; сам факт запуска модели в Ollama этого не подтверждает.

После сохранения конфигурации запустите:

hermes

Используйте короткий проверяемый запрос, например попросите перечислить файлы тестового каталога или описать небольшой текстовый файл. Рабочая базовая проверка состоит из ответа без ошибки и второго хода диалога. До её завершения не давайте агенту доступ к рабочим данным и не начинайте с команды, меняющей файлы.

5. Диагностика

Если Ollama отвечает напрямую, но Hermes Agent не подключается, проверьте:

1. Запущен ли локальный сервер Ollama.
2. Совпадает ли адрес http://localhost:11434/v1.
3. Совпадает ли имя модели с загруженной моделью.
4. Не указан ли недостаточный контекст.
5. Сохранилась ли настройка; для общей проверки используйте hermes config check.
6. Что сообщает hermes doctor.

Если обычный чат работает, но инструмент не выполняется, рассматривайте это как отдельную проверку. Доступность Ollama API сама по себе не подтверждает совместимость каждой модели с каждым инструментом Hermes Agent. Включайте инструменты по одному и используйте тестовые данные.

Рекомендация Paramiko: проверка связки

Если связка нужна для внутреннего процесса, начните с одной задачи: определите входные данные, ожидаемый результат и действие сотрудника после ответа. Используйте обезличенные тестовые данные и режим чтения, если он подходит задаче. До включения автоматических действий согласуйте доступы, обработку ошибок и условия остановки.

Для приёмки зафиксируйте, отвечает ли Hermes Agent на серию однотипных запросов, сохраняется ли продолжение сессии, как обрабатываются неверные входные данные и что происходит при остановке Ollama. Сгенерированные команды и код сначала проверяйте в тестовой среде; перед изменениями подготовьте резервную копию и убедитесь, что рабочие данные не затрагиваются.

Итог и следующий шаг

Связка Hermes Agent и Ollama строится через Custom Endpoint: Ollama предоставляет локальный API, а Hermes Agent использует пользовательскую совместимую точку доступа. Надёжная последовательность — проверить Ollama отдельно, подключить endpoint через hermes model, убедиться в контексте не менее 64K токенов и только затем тестировать чат, сессии и инструменты.

Paramiko может разработать и настроить такой сценарий под конкретный процесс: определить входные данные и ожидаемый результат, согласовать доступы и участие сотрудника, а затем проверить ограниченный пилот на примерах заказчика. Объём работ зависит от числа систем, инструментов и разрешённых действий.