local.ai

local.ai memungkinkan Anda bereksperimen dengan model AI secara lokal tanpa menyiapkan stack machine learning lengkap. Aplikasi native ini menyederhanakan proses mulai dari mengunduh model hingga menjalankan server inferensi, tanpa memerlukan GPU.

Fitur utama

• Aplikasi native: dibuat dengan backend Rust, hemat memori dan ringkas, berukuran kurang dari 10 MB di Mac M2, Windows, dan Linux .deb.
• Inferensi CPU: mendukung inferensi CPU, menyesuaikan diri dengan thread yang tersedia, serta mendukung kuantisasi GGML q4, 5.1, 8, dan f16.
• Manajemen model: mengelola model AI di satu lokasi terpusat tanpa bergantung pada direktori, dengan pengunduh bersamaan yang dapat dilanjutkan dan pengurutan berdasarkan penggunaan.
• Verifikasi digest: memeriksa integritas model dengan BLAKE3 dan SHA256, serta menyediakan API model tepercaya, penanda lisensi dan penggunaan, pemeriksaan cepat BLAKE3, dan kartu informasi model.
• Server inferensi: menjalankan server streaming lokal dalam 2 klik, dengan UI inferensi cepat, penulisan ke .mdx, parameter inferensi, dan kosakata jarak jauh.

Alur kerja

Mulai sesi inferensi dalam 2 klik, misalnya dengan model WizardLM 7B. local.ai dapat menjalankan aplikasi AI secara offline maupun online, termasuk bersama window.ai.

Platform yang didukung

Tersedia untuk Windows (.MSI, .EXE), macOS (M1/M2, Intel), dan Linux (AppImage, .deb).

Harga

Gratis dan open source; kode sumbernya dilisensikan di bawah GPLv3.

Fitur mendatang

Inferensi GPU, sesi paralel, direktori bertingkat, pengurutan dan pencarian khusus, Model Explorer, pencarian model, rekomendasi model, Server Manager, /audio, dan /image.