ThinkSound AI

Fonctionnalités clés

• Génération vidéo-audio avec l’IA Chain-of-Thought
• Processus en trois étapes : génération de bruitages fondamentaux, affinage des objets et édition en langage naturel
• Technologie AudioCoT avec annotations de raisonnement structurées pour une conversion sémantiquement cohérente
• Affinage interactif par de simples instructions en langage naturel
• Plateforme open source avec modèles et jeux de données disponibles sur Hugging Face et GitHub

Fonctionnement

1. La vidéo est analysée grâce à une compréhension multimodale.
2. La vidéo est décomposée en éléments audio : objets, actions et sons ambiants.
3. Les sons sont générés en trois étapes : bruitages fondamentaux, affinage centré sur les objets et édition en langage naturel.
4. Chaque élément audio peut être ajusté avec des instructions en langage naturel.

Public cible

Chercheurs, développeurs, créateurs et organisations ayant besoin d’un déploiement vidéo-audio personnalisé.

Avantages

• Premier framework vidéo-audio utilisant le raisonnement Chain-of-Thought.
• Comprend le contexte visuel et génère des paysages sonores cohérents sémantiquement.
• Prend en charge plus de 20 langues et une qualité audio de 44,1 kHz.

Tarifs

• Accès recherche (gratuit) : accès recherche, exemples de génération, jeu de données AudioCoT, dépôt GitHub et soutien communautaire, pour usage recherche uniquement.
• Accès développeur (bientôt disponible) : API, fonctions Chain-of-Thought avancées, génération personnalisée, traitement prioritaire, assistance développeur, licence commerciale, ajustement des modèles et guides d’intégration.
• Entreprise (contacter pour connaître le prix) : déploiement personnalisé, personnalisation avancée, solutions en marque blanche, instance dédiée, assistance 24 h/24 et 7 j/7, analyses, collaboration d’équipe et SLA entreprise.

FAQ

Le projet est actuellement en phase de recherche. Les modèles, le jeu de données AudioCoT et des exemples sont disponibles sur Hugging Face et GitHub. L’API commerciale sera bientôt disponible.