local.ai

local.ai consente di sperimentare con modelli IA in locale senza configurare uno stack completo di machine learning. L’app nativa semplifica l’intero processo, dal download dei modelli all’avvio di un server di inferenza, senza richiedere una GPU.

Funzionalità principali

• App nativa potente: realizzata con un backend Rust, è compatta ed efficiente in termini di memoria, con meno di 10 MB su Mac M2, Windows e Linux .deb.
• Inferenza CPU: supporta l’inferenza tramite CPU, si adatta ai thread disponibili e supporta la quantizzazione GGML q4, 5.1, 8 e f16.
• Gestione dei modelli: mantiene i modelli IA in un’unica posizione centralizzata, indipendente dalle directory, con downloader simultaneo riprendibile e ordinamento basato sull’utilizzo.
• Verifica dei digest: controlla l’integrità dei modelli con BLAKE3 e SHA256 e include un’API per modelli verificati, indicatori di licenza e utilizzo, controllo rapido BLAKE3 e scheda informativa del modello.
• Server di inferenza: avvia un server locale in streaming in 2 clic, con interfaccia rapida per l’inferenza, scrittura in .mdx, parametri di inferenza e vocabolario remoto.

Flusso di lavoro

Avvia una sessione di inferenza in 2 clic, ad esempio con il modello WizardLM 7B. local.ai supporta applicazioni IA offline o online, anche insieme a window.ai.

Piattaforme supportate

Disponibile per Windows (.MSI, .EXE), macOS (M1/M2, Intel) e Linux (AppImage, .deb).

Prezzi

Gratuito e open source; il codice sorgente è distribuito con licenza GPLv3.

Funzionalità in arrivo

Inferenza GPU, sessioni parallele, directory nidificate, ordinamento e ricerca personalizzati, Model Explorer, ricerca dei modelli, raccomandazione dei modelli, Server Manager, /audio e /image.