local.ai

local.ai는 전체 머신러닝 스택을 설정하지 않고도 AI 모델을 로컬에서 실험할 수 있게 해 줍니다. 모델 다운로드부터 추론 서버 시작까지의 과정을 간소화한 네이티브 앱이며 GPU가 필요하지 않습니다.

주요 기능

• 강력한 네이티브 앱: Rust 백엔드로 제작되어 메모리 효율이 높고 컴팩트합니다. Mac M2, Windows, Linux .deb에서 10MB 미만입니다.
• CPU 추론: CPU 추론을 지원하고 사용 가능한 스레드에 맞게 조정하며 GGML 양자화 q4, 5.1, 8, f16을 지원합니다.
• 모델 관리: 디렉터리에 관계없이 AI 모델을 한곳에서 관리합니다. 재개 가능한 동시 다운로드와 사용량 기반 정렬을 제공합니다.
• 다이제스트 검증: BLAKE3와 SHA256으로 모델 무결성을 확인합니다. 신뢰할 수 있는 모델 API, 라이선스 및 사용량 표시, BLAKE3 빠른 확인, 모델 정보 카드도 포함됩니다.
• 추론 서버: 모델 로드와 서버 시작의 2단계 클릭으로 로컬 스트리밍 서버를 실행합니다. 빠른 추론 UI, .mdx 저장, 추론 매개변수, 원격 어휘를 지원합니다.

워크플로

WizardLM 7B와 같은 모델로 2번의 클릭만에 추론 세션을 시작할 수 있습니다. window.ai와 함께 사용하는 등 오프라인 또는 온라인 AI 앱을 구동할 수 있습니다.

지원 플랫폼

Windows (.MSI, .EXE), macOS (M1/M2, Intel), Linux (AppImage, .deb)에서 사용할 수 있습니다.

가격

무료 오픈 소스이며 소스 코드는 GPLv3 라이선스로 제공됩니다.

예정 기능

GPU 추론, 병렬 세션, 중첩 디렉터리, 사용자 지정 정렬 및 검색, 모델 탐색기, 모델 검색, 모델 추천, 서버 관리자, /audio, /image.