local.ai

O local.ai permite experimentar modelos de IA localmente sem configurar uma stack completa de machine learning. O aplicativo nativo simplifica todo o processo, do download dos modelos ao início de um servidor de inferência, sem exigir GPU.

Principais recursos

• Aplicativo nativo: desenvolvido com backend em Rust, é compacto e eficiente no uso de memória, com menos de 10 MB no Mac M2, Windows e Linux .deb.
• Inferência por CPU: oferece inferência por CPU, adapta-se às threads disponíveis e suporta quantização GGML q4, 5.1, 8 e f16.
• Gerenciamento de modelos: mantém os modelos em um local centralizado, independente de diretórios, com downloader simultâneo retomável e ordenação baseada no uso.
• Verificação de digest: verifica a integridade dos modelos com BLAKE3 e SHA256, além de API de modelos confiáveis, indicadores de licença e uso, verificação rápida BLAKE3 e cartão de informações do modelo.
• Servidor de inferência: inicia um servidor local de streaming em 2 cliques, com interface rápida de inferência, gravação em .mdx, parâmetros de inferência e vocabulário remoto.

Fluxo de trabalho

Inicie uma sessão de inferência em 2 cliques, por exemplo com o modelo WizardLM 7B. O local.ai alimenta aplicativos de IA offline ou online, inclusive em conjunto com o window.ai.

Plataformas compatíveis

Disponível para Windows (.MSI, .EXE), macOS (M1/M2, Intel) e Linux (AppImage, .deb).

Preço

Gratuito e de código aberto, com o código-fonte licenciado sob GPLv3.

Recursos futuros

Inferência por GPU, sessões paralelas, diretórios aninhados, classificação e pesquisa personalizadas, explorador de modelos, pesquisa de modelos, recomendação de modelos, gerenciador de servidores, /audio e /image.