ইনফারেন্স, ডিপ্লয়মেন্ট ও রানটাইম

LocalAI

mudler/LocalAI

A local inference engine for self-hosting models and AI services.

★ 48.9Kতারকা
⑂ 4.4Kফর্ক
214খোলা সমস্যাগুলো
Goভাষা
MITলাইসেন্স
Q85সম্পাদকীয় স্কোর

ওভারভিউ

A local inference engine for self-hosting models and AI services. The repository is maintained under mudler on GitHub. Its primary language is Go. See the [project README](https://github.com/mudler/LocalAI#readme) for the supported workflows.

প্রধান বৈশিষ্ট্যসমূহ

  • A local inference engine for self-hosting models and AI services.

প্রয়োজনীয়তা, ইনস্টলেশন ও দ্রুত শুরু

Use the upstream download or installation instructions for your operating system. Check the model, memory and accelerator requirements for the workload you intend to run.

[Read the upstream installation and quickstart instructions](https://github.com/mudler/LocalAI#readme).

ব্যবহার

Start with the documented local example, confirm it runs with your resources, then connect it to your application using the supported interface.

[Usage examples and configuration reference](https://github.com/mudler/LocalAI#readme).

মডেলের সামঞ্জস্যতা ও ব্যবহারের ক্ষেত্র

রিপোজিটরি মেটাডেটায় মডেলের সামঞ্জস্যতা উল্লেখ করা নেই।

লাইসেন্স ও ঝুঁকি-সংক্রান্ত নোট

GitHub reports MIT for this repository. Review the upstream license file; model weights, datasets and dependencies may have separate terms.

Source review 2026-09-05: GitHub search metadata and repository README. No runtime benchmark performed. License metadata: MIT.

রিলিজ ও রক্ষণাবেক্ষণ

[View upstream releases](https://github.com/mudler/LocalAI/releases).

vllm

vllm-project/vllm

★ 89.5KPython

sglang

sgl-project/sglang

★ 32.2KPython

OpenVINO

openvinotoolkit/openvino

★ 10.6KC++

GPUStack

gpustack/gpustack

★ 5.4KPython