local.ai

local.ai permite experimentar con modelos de IA de forma local sin configurar una pila completa de machine learning. Su aplicación nativa simplifica todo el proceso, desde descargar modelos hasta iniciar un servidor de inferencia, y no requiere GPU.

Características principales

• Aplicación nativa: creada con un backend de Rust, es compacta y eficiente en memoria, con menos de 10 MB en Mac M2, Windows y Linux .deb.
• Inferencia con CPU: admite inferencia en CPU, se adapta a los hilos disponibles y admite la cuantización GGML q4, 5.1, 8 y f16.
• Gestión de modelos: centraliza los modelos sin depender de directorios, con un descargador simultáneo reanudable y ordenación basada en el uso.
• Verificación de resúmenes: comprueba la integridad mediante BLAKE3 y SHA256 e incluye una API de modelos fiables, indicadores de licencia y uso, comprobación rápida BLAKE3 y ficha de información del modelo.
• Servidor de inferencia: inicia un servidor local de streaming en dos clics, con interfaz rápida de inferencia, escritura en .mdx, parámetros de inferencia y vocabulario remoto.

Flujo de trabajo

Inicia una sesión de inferencia en dos clics, por ejemplo con el modelo WizardLM 7B. Permite ejecutar aplicaciones de IA sin conexión o en línea, incluso junto con window.ai.

Plataformas compatibles

Windows (.MSI, .EXE), macOS (M1/M2, Intel) y Linux (AppImage, .deb).

Precio

Es gratuito y de código abierto; el código fuente está disponible bajo la licencia GPLv3.

Próximas funciones

Inferencia con GPU, sesiones paralelas, directorios anidados, ordenación y búsqueda personalizadas, explorador de modelos, búsqueda de modelos, recomendación de modelos, gestor de servidores, /audio y /image.