local.ai

اہم خصوصیات اور خصوصیات

• طاقتور نیٹو ایپ: Rust بیک اینڈ کے ساتھ تیار کردہ local.ai میموری کے مؤثر استعمال والی اور کمپیکٹ ہے (<10MB on Mac M2, Windows, and Linux .deb)۔
• CPU انفیرنسنگ: CPU انفیرنسنگ، دستیاب تھریڈز کے مطابق موافقت اور GGML کوانٹائزیشن (q4, 5.1, 8, f16) کو سپورٹ کرتی ہے۔
• ماڈل مینجمنٹ: تمام AI ماڈلز کو ایک مرکزی، ڈائریکٹری سے آزاد مقام پر منظم رکھیں۔ اس میں دوبارہ شروع ہونے والا بیک وقت ڈاؤن لوڈر اور استعمال کی بنیاد پر ترتیب شامل ہے۔
• ڈائجسٹ کی تصدیق: مضبوط BLAKE3 اور SHA256 ڈائجسٹ کیلکولیشن کے ذریعے ماڈل کی سالمیت یقینی بنائیں۔ اس میں مستند ماڈل API، لائسنس اور استعمال کے چپس، BLAKE3 فوری جانچ اور ماڈل معلوماتی کارڈ شامل ہیں۔
• انفیرنس سرور: 2 کلکس میں AI انفیرنس کے لیے مقامی اسٹریمنگ سرور شروع کریں: ماڈل لوڈ کریں، پھر سرور شروع کریں۔ اس میں فوری انفیرنس UI، .mdx میں تحریر، انفیرنس پیرامیٹرز اور ریموٹ الفاظ شامل ہیں۔

ورک فلو

WizardLM 7B ماڈل کی مثال کے ساتھ 2 کلکس میں انفیرنس سیشن شروع کریں۔ یہ کسی بھی AI ایپ کو آف لائن یا آن لائن طاقت فراہم کرتا ہے، مثلاً window.ai کے ساتھ۔

سپورٹڈ پلیٹ فارمز

Windows (.MSI, .EXE)، macOS (M1/M2, Intel) اور Linux (AppImage, .deb) کے لیے دستیاب ہے۔

قیمت

مفت اور اوپن سورس؛ سورس کوڈ GPLv3 کے تحت لائسنس یافتہ ہے۔

آنے والی خصوصیات

GPU انفیرنسنگ، متوازی سیشنز، نیسٹڈ ڈائریکٹری، حسبِ ضرورت ترتیب اور تلاش، ماڈل ایکسپلورر، ماڈل سرچ، ماڈل کی سفارش، سرور مینیجر، /audio، /image۔