Инференс, развёртывание и среда выполнения
jan
janhq/jan
A local AI chat application for running models on a personal computer.
★ 44,3K⑂ 3KTypeScript
ToolAI.io · Канал GitHub
Новые AI-проекты на GitHub
Открывайте недавно добавленные на GitHub проекты AI с открытым исходным кодом: сведения о репозитории, заметки по настройке, лицензии и связанные ресурсы.
Данные публичного репозитория
Индекс проекта
Инференс, развёртывание и среда выполнения
ray
ray-project/ray
A distributed computing runtime for machine learning training, tuning and model serving.
★ 43,7K⑂ 8KPython
Инференс, развёртывание и среда выполнения
LocalAI
mudler/LocalAI
A local inference engine for self-hosting models and AI services.
★ 48,9K⑂ 4,4KGo
Компьютерное зрение
yolov5
ultralytics/yolov5
A PyTorch-based object detection project with training, inference and export workflows.
★ 58K⑂ 17,5KPython
Компьютерное зрение
ultralytics
ultralytics/ultralytics
Training and inference tools for object detection, segmentation and pose estimation models.
★ 61,3K⑂ 11,7KPython
Инференс, развёртывание и среда выполнения
ollama
ollama/ollama
A tool for running and managing large language models locally.
★ 180,2K⑂ 17,7KGo
Инференс, развёртывание и среда выполнения
checkpoint-engine
MoonshotAI/checkpoint-engine
Checkpoint-engine is a simple middleware to update model weights in LLM inference engines
★ 982⑂ 100Python
Робототехника и граничный AI
edgeai-for-beginners
microsoft/edgeai-for-beginners
This course is designed to guide beginners through the exciting world of Edge AI, covering fundamental concepts, popular models, inference techniques, device-specific applications, model optimization, and the development of intelligent Edge AI agents.
★ 1,6K⑂ 362Jupyter Notebook
Инференс, развёртывание и среда выполнения
Paddle-Lite
PaddlePaddle/Paddle-Lite
PaddlePaddle High Performance Deep Learning Inference Engine for Mobile and Edge (飞桨高性能深度学习端侧推理引擎）
★ 7,3K⑂ 1,6KC++
Компьютерное зрение
sam2
facebookresearch/sam2
The repository provides code for running inference with the Meta Segment Anything Model 2 (SAM 2), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.
★ 19,6K⑂ 2,5KJupyter Notebook
Инференс, развёртывание и среда выполнения
TensorRT
NVIDIA/TensorRT
NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.
★ 13,2K⑂ 2,4KC++
Инференс, развёртывание и среда выполнения
Model-Optimizer
NVIDIA/Model-Optimizer
A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.
★ 3,3K⑂ 513Python
Страница 1 / 4 · 41 проектов