local.ai

local.ai permet d’expérimenter avec des modèles d’IA en local sans mettre en place une pile complète de machine learning. Cette application native simplifie le téléchargement des modèles et le démarrage d’un serveur d’inférence, sans GPU requis.

Fonctionnalités

• Application native : conçue avec un backend Rust, elle est compacte et économe en mémoire, avec moins de 10 Mo sur Mac M2, Windows et Linux .deb.
• Inférence CPU : prend en charge l’inférence sur CPU, s’adapte aux threads disponibles et accepte la quantification GGML q4, 5.1, 8 et f16.
• Gestion des modèles : centralise les modèles dans un emplacement indépendant des répertoires, avec téléchargement concurrent et reprenable, et tri selon l’usage.
• Vérification des condensés : vérifie l’intégrité avec BLAKE3 et SHA256, une API de modèles fiables, des indicateurs de licence et d’usage, une vérification rapide BLAKE3 et une fiche d’informations.
• Serveur d’inférence : démarre un serveur local en streaming en deux clics, avec interface d’inférence rapide, écriture en .mdx, paramètres d’inférence et vocabulaire distant.

Flux de travail

Lancez une session d’inférence, par exemple avec WizardLM 7B, en deux clics. local.ai peut alimenter des applications d’IA hors ligne ou en ligne, notamment avec window.ai.

Plateformes prises en charge

Windows (.MSI, .EXE), macOS (M1/M2, Intel) et Linux (AppImage, .deb).

Tarification

Gratuit et open source, avec un code source sous licence GPLv3.

Fonctionnalités à venir

Inférence GPU, sessions parallèles, répertoires imbriqués, tri et recherche personnalisés, explorateur de modèles, recherche de modèles, recommandations de modèles, gestionnaire de serveurs, /audio et /image.