ToolAI.io · GitHub-Kanal

Neue AI-Projekte auf GitHub

Entdecke neu hinzugefügte Open-Source-AI-Projekte auf GitHub – mit Repository-Informationen, Einrichtungshinweisen, Lizenzen und verwandten Ressourcen.

Daten des öffentlichen Repositorys

Projektindex

41 Projekte
Screenshot von TensorRT-LLM — Optimized LLM inference
Inferenz, Bereitstellung & Laufzeit

TensorRT-LLM — Optimized LLM inference

NVIDIA/TensorRT-LLM

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way

★ 14,4K⑂ 2,7KC++
NOASSERTIONQ82
Screenshot von tiktoken — Fast tokenization
Inferenz, Bereitstellung & Laufzeit

tiktoken — Fast tokenization

openai/tiktoken

tiktoken is a fast BPE tokeniser for use with OpenAI's models

★ 19K⑂ 1,6KRust
MITQ86

Seite 4 / 4 · 41 Projekte

Kürzlich aktualisiert

cherry-studioCherryHQ/cherry-studio★ 51,5K siyuansiyuan-note/siyuan★ 46,2K career-opscareer-ops-hq/career-ops★ 70,2K tensorflowtensorflow/tensorflow★ 198,8K streamlitstreamlit/streamlit★ 45,7K pytorchpytorch/pytorch★ 102,8K

Mit den meisten Sternen

ECCaffaan-m/ECC★ 248,8K Hermes Agentnousresearch/hermes-agent★ 227,1K tensorflowtensorflow/tensorflow★ 198,8K AutoGPTSignificant-Gravitas/AutoGPT★ 187,1K ollamaollama/ollama★ 180,2K markitdown — Document conversion and extractionmicrosoft/markitdown★ 174,9K