ToolAI.io · Canal de GitHub

Inferencia, implementación y tiempo de ejecución · Proyectos de AI de código abierto en GitHub

Un índice basado en hechos de proyectos de desarrollo de LLM, agentes, MCP, RAG y AI, con licencia, configuración, descarga, capturas de pantalla y recursos relacionados para cada entrada.

Datos del repositorio público

Índice del proyecto

4 Proyectos
Captura de pantalla de Xorbits Inference (Xinference)
Inferencia, implementación y tiempo de ejecución

Xorbits Inference (Xinference)

xorbitsai/inference

A powerful and versatile library designed to serve language, speech recognition, and multimodal models. It allows users to swap GPT for any LLM by changing a single line of code and run models on cloud, on-prem, or locally via a unified, production-ready inference API.

★ 9,5K⑂ 853Python
Apache-2.0Q98
Captura de pantalla de hal0
Inferencia, implementación y tiempo de ejecución

hal0

hal0ai/hal0

An open-source, self-hosted home AI inference platform designed to turn a Linux box into an OpenAI-compatible inference appliance, with native optimization for AMD Strix Halo hardware.

★ 68⑂ 7Python
Apache-2.0Q89
Inferencia, implementación y tiempo de ejecución

DeepInfer

deepseek-ai/DeepInfer

DeepSeek’s own high-performance inference framework, open-sourced for offline inference of DeepSeek-V4.1-Flash on NVIDIA SM100 GPUs and Huawei Ascend 950 NPUs.

★ 25,7K⑂ 3,2KPython
Apache-2.0Q82
Inferencia, implementación y tiempo de ejecución

jan

janhq/jan

A local AI chat application for running models on a personal computer.

★ 44,3K⑂ 3KTypeScript
Licencia no detectadaQ80

Actualizado recientemente

Craft Anythingstorytold/craft-anything★ 27,4K elephant-goldfish-modelgoogle/elephant-goldfish-model★ 15,6K DeepInferdeepseek-ai/DeepInfer★ 25,7K ComfyUIComfy-Org/ComfyUI★ 136,7K CrewAICrewAIInc/crewAI★ 59,5K Microsoft Agent Frameworkmicrosoft/agent-framework★ 14K

Con más estrellas

ECCaffaan-m/ECC★ 248,8K Hermes Agentnousresearch/hermes-agent★ 227,1K tensorflowtensorflow/tensorflow★ 198,8K AutoGPTSignificant-Gravitas/AutoGPT★ 187,1K ollamaollama/ollama★ 180,2K markitdown — Document conversion and extractionmicrosoft/markitdown★ 174,9K