इन्फरेंस, डिप्लॉयमेंट और रनटाइम
ollama
ollama/ollama
A tool for running and managing large language models locally.
★ 180.2K⑂ 17.7KGo
ToolAI.io · GitHub चैनल
इन्फरेंस, डिप्लॉयमेंट और रनटाइम · GitHub पर ओपन-सोर्स AI प्रोजेक्ट्स
LLM, एजेंट, MCP, RAG और AI डेवलपमेंट प्रोजेक्ट्स की तथ्यों पर आधारित इंडेक्स, जिसमें हर प्रविष्टि के लिए लाइसेंस, सेटअप, डाउनलोड, स्क्रीनशॉट और संबंधित संसाधन शामिल हैं।
सार्वजनिक रिपॉज़िटरी का डेटा
प्रोजेक्ट इंडेक्स
इन्फरेंस, डिप्लॉयमेंट और रनटाइम
hal0
hal0ai/hal0
An open-source, self-hosted home AI inference platform designed to turn a Linux box into an OpenAI-compatible inference appliance, with native optimization for AMD Strix Halo hardware.
★ 68⑂ 7Python
इन्फरेंस, डिप्लॉयमेंट और रनटाइम
Model-Optimizer
NVIDIA/Model-Optimizer
A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.
★ 3.3K⑂ 513Python
इन्फरेंस, डिप्लॉयमेंट और रनटाइम
LocalAI
mudler/LocalAI
A local inference engine for self-hosting models and AI services.
★ 48.9K⑂ 4.4KGo
इन्फरेंस, डिप्लॉयमेंट और रनटाइम
ray
ray-project/ray
A distributed computing runtime for machine learning training, tuning and model serving.
★ 43.7K⑂ 8KPython
इन्फरेंस, डिप्लॉयमेंट और रनटाइम
checkpoint-engine
MoonshotAI/checkpoint-engine
Checkpoint-engine is a simple middleware to update model weights in LLM inference engines
★ 982⑂ 100Python
इन्फरेंस, डिप्लॉयमेंट और रनटाइम
jan
janhq/jan
A local AI chat application for running models on a personal computer.
★ 44.3K⑂ 3KTypeScript
पृष्ठ 2 / 2 · 19 प्रोजेक्ट