انفرنس، ڈپلائمنٹ اور رَن ٹائم
ollama
ollama/ollama
A tool for running and managing large language models locally.
★ 180.2K⑂ 17.7KGo
ToolAI.io · GitHub چینل
انفرنس، ڈپلائمنٹ اور رَن ٹائم · GitHub پر اوپن سورس AI پروجیکٹس
LLM، ایجنٹ، MCP، RAG اور AI ڈویلپمنٹ پروجیکٹس کی حقائق پر مبنی فہرست، جس میں ہر اندراج کے لیے لائسنس، سیٹ اپ، ڈاؤن لوڈ، اسکرین شاٹس اور متعلقہ وسائل شامل ہیں۔
عوامی ریپوزٹری کا ڈیٹا
پروجیکٹ انڈیکس
انفرنس، ڈپلائمنٹ اور رَن ٹائم
hal0
hal0ai/hal0
An open-source, self-hosted home AI inference platform designed to turn a Linux box into an OpenAI-compatible inference appliance, with native optimization for AMD Strix Halo hardware.
★ 68⑂ 7Python
انفرنس، ڈپلائمنٹ اور رَن ٹائم
Model-Optimizer
NVIDIA/Model-Optimizer
A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.
★ 3.3K⑂ 513Python
انفرنس، ڈپلائمنٹ اور رَن ٹائم
LocalAI
mudler/LocalAI
A local inference engine for self-hosting models and AI services.
★ 48.9K⑂ 4.4KGo
انفرنس، ڈپلائمنٹ اور رَن ٹائم
ray
ray-project/ray
A distributed computing runtime for machine learning training, tuning and model serving.
★ 43.7K⑂ 8KPython
انفرنس، ڈپلائمنٹ اور رَن ٹائم
checkpoint-engine
MoonshotAI/checkpoint-engine
Checkpoint-engine is a simple middleware to update model weights in LLM inference engines
★ 982⑂ 100Python
انفرنس، ڈپلائمنٹ اور رَن ٹائم
jan
janhq/jan
A local AI chat application for running models on a personal computer.
★ 44.3K⑂ 3KTypeScript
صفحہ 2 / 2 · 19 پروجیکٹس