local.ai

Belangrijkste functies en kenmerken

• Krachtige native app: local.ai is gebouwd met een Rust-back-end en is compact en efficiënt met geheugen (<10MB on Mac M2, Windows, and Linux .deb).
• Inferentie op CPU: Ondersteunt inferentie op CPU, past zich aan beschikbare threads aan en ondersteunt GGML-kwantisatie (q4, 5.1, 8, f16).
• Modelbeheer: Houd AI-modellen bij op één centrale locatie, onafhankelijk van de directorystructuur. Inclusief een hervatbare, gelijktijdige downloader en sortering op basis van gebruik.
• Digestverificatie: Controleer de modelintegriteit met robuuste BLAKE3- en SHA256-digestberekening. Inclusief een API voor betrouwbare modellen, licentie- en gebruikstags, een snelle BLAKE3-controle en een modelinformatiekaart.
• Inferentieserver: Start in 2 klikken een lokale streamingserver voor AI-inferentie: laad het model en start vervolgens de server. Inclusief een snelle inferentie-interface, schrijven naar .mdx, inferentieparameters en een externe woordenschat.

Workflow

Start in 2 klikken een inferentiesessie, bijvoorbeeld met het WizardLM 7B-model. Ondersteun elke AI-app, offline of online, bijvoorbeeld samen met window.ai.

Ondersteunde platforms

Beschikbaar voor Windows (.MSI, .EXE), macOS (M1/M2, Intel) en Linux (AppImage, .deb).

Prijs

Gratis en open source; de broncode valt onder de GPLv3-licentie.

Toekomstige functies

Inferentie op GPU, parallelle sessies, geneste directories, aangepaste sortering en zoekfunctie, Model Explorer, Model Search, modelaanbevelingen, Server Manager, /audio, /image.