Ollama

Overzicht

Ollama is een populaire manier om taalmodellen met open gewichten te draaien. Je kunt een model downloaden en op je eigen computer uitvoeren, of via dezelfde app, opdrachtregel en API grotere modellen in de cloud aanroepen. Ollama zegt dat prompts nooit worden opgeslagen of voor training worden gebruikt. Het is beschikbaar voor macOS, Windows en Linux.

Belangrijkste functies

• Lokale modellen: download en draai open modellen op je eigen hardware, zonder gebruikslimieten op welk abonnement dan ook.
• Cloudmodellen: draai modellen die te groot zijn voor je computer op de servers van Ollama; je betaalt per token of vanuit de maandelijkse credits van een abonnement.
• Eén interface: de desktopapp, de opdracht ollama en een lokale API werken op dezelfde manier voor lokale en cloudmodellen, zodat andere tools ermee kunnen verbinden.
• Tool calling: cloudmodellen die tools ondersteunen worden getest op het aanroepen van tools.
• Schaal: volgens Ollama zijn er meer dan 9 miljoen installaties per maand en worden modellen meer dan 1 miljard keer gedownload.

Prijzen

• Pay as you go: $0; lokaal gebruik is gratis en onbeperkt, cloudmodellen worden per token gefactureerd en er zijn 3 gelijktijdige aanvragen mogelijk.
• Pro: $20 per maand of $200 per jaar, met $60 aan cloudgebruik per maand, grotere Pro-modellen en 3 gelijktijdige aanvragen.
• Max: $100 per maand, met $300 aan cloudgebruik per maand, 10 gelijktijdige aanvragen en vroegtijdige toegang tot nieuwe modellen.
• Team (early access): $500 per maand, met $1,000 aan gedeeld gebruik, onbeperkte gebruikers en centrale facturering.
• Enterprise: aangepaste prijs.

Inbegrepen gebruik wordt elke maand vernieuwd en niet meegenomen naar de volgende maand.

Voor wie

Voor ontwikkelaars en privacybewuste gebruikers die modellen offline willen draaien, open modellen vóór implementatie willen testen of programmeer- en chattools met een lokaal model willen verbinden.

Zo begin je

Voer op macOS of Linux curl -fsSL https://ollama.com/install.sh | sh uit; voer op Windows in PowerShell irm https://ollama.com/install.ps1 | iex uit of gebruik het installatieprogramma. Download daarna een klein model dat in je geheugen past en probeer het in de app of terminal.

Goed om te weten

De lokale snelheid hangt af van je hardware: grote modellen zijn traag zonder een krachtige GPU en voldoende geheugen. Controleer de licentie van elk model voordat je het commercieel gebruikt.

Vergelijkbare tools

LM Studio, Jan, GPT4All, llama.cpp, Open WebUI.