ToolAI.io · Kênh GitHub

Suy luận, Triển khai & Thời gian chạy · Các dự án AI mã nguồn mở trên GitHub

Chỉ mục dựa trên dữ kiện về các dự án phát triển LLM, tác nhân, MCP, RAG và AI, kèm giấy phép, thiết lập, tải xuống, ảnh chụp màn hình và tài nguyên liên quan cho từng mục.

Dữ liệu kho lưu trữ công khai

Mục lục dự án

2 Dự án
Suy luận, Triển khai & Thời gian chạy

Model-Optimizer

NVIDIA/Model-Optimizer

A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.

★ 3,3K⑂ 513Python
Apache-2.0Q86
Suy luận, Triển khai & Thời gian chạy

DeepInfer

deepseek-ai/DeepInfer

DeepSeek’s own high-performance inference framework, open-sourced for offline inference of DeepSeek-V4.1-Flash on NVIDIA SM100 GPUs and Huawei Ascend 950 NPUs.

★ 25,7K⑂ 3,2KPython
Apache-2.0Q82

Đã cập nhật gần đây

Craft Anythingstorytold/craft-anything★ 27,4K elephant-goldfish-modelgoogle/elephant-goldfish-model★ 15,6K DeepInferdeepseek-ai/DeepInfer★ 25,7K ComfyUIComfy-Org/ComfyUI★ 136,7K CrewAICrewAIInc/crewAI★ 59,5K Microsoft Agent Frameworkmicrosoft/agent-framework★ 14K

Được gắn sao nhiều nhất

ECCaffaan-m/ECC★ 248,8K Hermes Agentnousresearch/hermes-agent★ 227,1K tensorflowtensorflow/tensorflow★ 198,8K AutoGPTSignificant-Gravitas/AutoGPT★ 187,1K ollamaollama/ollama★ 180,2K markitdown — Document conversion and extractionmicrosoft/markitdown★ 174,9K