Ollama

Обзор

Ollama — популярный способ запускать языковые модели с открытыми весами. Вы можете скачать модель и запустить её на своём компьютере или через то же приложение, командную строку и API обращаться к более крупным моделям, размещённым в облаке. Ollama заявляет, что запросы никогда не сохраняются и не используются для обучения. Сервис доступен для macOS, Windows и Linux.

Основные возможности

• Локальные модели: скачивайте и запускайте открытые модели на собственном оборудовании без ограничений на использование в любом тарифе.
• Облачные модели: запускайте на серверах Ollama модели, слишком большие для вашего компьютера; оплата взимается за токены или списывается из ежемесячных кредитов тарифа.
• Единый интерфейс: десктопное приложение, команда ollama и локальный API одинаково работают с локальными и облачными моделями, поэтому к ним могут подключаться другие инструменты.
• Вызов инструментов: облачные модели с поддержкой инструментов тестируются на возможность их вызова.
• Масштаб: по данным Ollama, сервис устанавливают более 9 миллионов раз в месяц, а число скачиваний моделей превышает 1 миллиард.

Цены

• Pay as you go: $0; локальное использование бесплатное и неограниченное, облачные модели оплачиваются за токены, доступны 3 одновременных запроса.
• Pro: $20 в месяц или $200 в год; включает $60 облачного использования в месяц, более крупные модели Pro и 3 одновременных запроса.
• Max: $100 в месяц; включает $300 облачного использования в месяц, 10 одновременных запросов и ранний доступ к новым моделям.
• Team (early access): $500 в месяц; включает $1,000 общего использования, неограниченное число пользователей и централизованную оплату.
• Enterprise: индивидуальная цена.

Включённый объём использования сбрасывается каждый месяц и не переносится на следующий.

Для кого этот сервис

Для разработчиков и пользователей, которые заботятся о конфиденциальности и хотят запускать модели офлайн, тестировать открытые модели перед развёртыванием или подключать инструменты для программирования и чата к локальной модели.

Как начать

В macOS или Linux выполните curl -fsSL https://ollama.com/install.sh | sh; в Windows запустите в PowerShell команду irm https://ollama.com/install.ps1 | iex или воспользуйтесь установщиком. Затем загрузите небольшую модель, подходящую объёму вашей памяти, и попробуйте её в приложении или терминале.

Что следует учитывать

Скорость локальной работы зависит от оборудования: без мощного GPU и достаточного объёма памяти большие модели работают медленно. Перед коммерческим использованием проверьте лицензию каждой модели.

Похожие инструменты

LM Studio, Jan, GPT4All, llama.cpp, Open WebUI.