local.ai

local.ai ermöglicht Experimente mit KI-Modellen auf dem eigenen Gerät, ohne einen vollständigen Machine-Learning-Stack einzurichten. Die native App vereinfacht den gesamten Ablauf vom Herunterladen der Modelle bis zum Start eines Inferenzservers. Eine GPU wird nicht benötigt.

Wichtige Funktionen

• Leistungsstarke native App: Mit einem Rust-Backend entwickelt, ist local.ai speichereffizient und kompakt, mit weniger als 10 MB auf Mac M2, Windows und Linux .deb.
• CPU-Inferenz: Unterstützt Inferenz über die CPU, passt sich an verfügbare Threads an und unterstützt GGML-Quantisierung q4, 5.1, 8 und f16.
• Modellverwaltung: Verwaltet KI-Modelle zentral und unabhängig von Verzeichnissen, mit einem fortsetzbaren parallelen Downloader und einer nutzungsbasierten Sortierung.
• Digest-Prüfung: Prüft die Modellintegrität mit BLAKE3 und SHA256. Enthalten sind außerdem eine API für geprüfte Modelle, Lizenz- und Nutzungskennzeichnungen, ein schneller BLAKE3-Check und eine Modellinformationskarte.
• Inferenzserver: Startet einen lokalen Streaming-Server mit zwei Klicks, inklusive schneller Inferenzoberfläche, Schreiben in .mdx, Inferenzparametern und entferntem Vokabular.

Arbeitsablauf

Starten Sie eine Inferenzsitzung, etwa mit dem Modell WizardLM 7B, mit zwei Klicks. local.ai unterstützt KI-Anwendungen offline oder online, beispielsweise zusammen mit window.ai.

Unterstützte Plattformen

Verfügbar für Windows (.MSI, .EXE), macOS (M1/M2, Intel) und Linux (AppImage, .deb).

Preis

Kostenlos und Open Source; der Quellcode steht unter der GPLv3-Lizenz.

Geplante Funktionen

GPU-Inferenz, parallele Sitzungen, verschachtelte Verzeichnisse, benutzerdefinierte Sortierung und Suche, Model Explorer, Modellsuche, Modellempfehlungen, Serververwaltung, /audio und /image.