Segment Anything (Meta)

Funzioni e caratteristiche principali

Segment Anything Model (SAM) è un nuovo modello di IA di Meta AI che può ritagliare qualsiasi oggetto da qualsiasi immagine con un solo clic. SAM è un sistema di segmentazione guidato da prompt, con generalizzazione zero-shot a oggetti e immagini non familiari senza bisogno di ulteriore addestramento.

Varietà di prompt di input: i prompt che specificano cosa segmentare in un'immagine consentono un'ampia gamma di attività di segmentazione senza ulteriore addestramento. I tipi di prompt supportati includono punti di primo piano o sfondo, riquadri di delimitazione e maschere. I prompt testuali sono analizzati nell'articolo, ma la funzionalità non è stata rilasciata.

Integrazione flessibile: il design di SAM basato sui prompt consente un'integrazione flessibile con altri sistemi. Può ricevere prompt da altri sistemi, come lo sguardo dell'utente rilevato da un visore AR/VR per selezionare un oggetto oppure i riquadri di delimitazione di un rilevatore di oggetti per abilitare la segmentazione da testo a oggetto.

Output estensibili: le maschere di output possono essere usate come input per altri sistemi di IA. Per esempio, le maschere degli oggetti possono essere tracciate nei video, usate in applicazioni di modifica delle immagini, trasferite in 3D o impiegate in attività creative come la creazione di collage.

Generalizzazione zero-shot: SAM ha appreso una nozione generale di cosa siano gli oggetti, consentendo la generalizzazione zero-shot a oggetti e immagini non familiari senza ulteriore addestramento.

Design del modello efficiente e flessibile: SAM è progettato per essere abbastanza efficiente da alimentare il proprio motore dati. Il modello è suddiviso in un encoder di immagini basato su ViT-H, eseguito una sola volta, con 632 milioni di parametri e un tempo di circa 0,15 secondi su una GPU NVIDIA A100, e in un leggero decoder di maschere basato su Transformer, con 4 milioni di parametri insieme all'encoder dei prompt, che richiede circa 50 ms sulla CPU del browser tramite esecuzione SIMD multithread. L'encoder di immagini è implementato in PyTorch e richiede una GPU. L'encoder dei prompt e il decoder delle maschere possono essere eseguiti direttamente con PyTorch oppure convertiti in ONNX per funzionare in modo efficiente su CPU o GPU sulle piattaforme che supportano ONNX Runtime. Il modello è stato addestrato per 3-5 giorni su 256 GPU A100.

Motore dati e dataset

Le funzionalità avanzate di SAM derivano dall'addestramento su milioni di immagini e maschere raccolte tramite un motore dati con il modello nel ciclo. I ricercatori hanno usato SAM e i suoi dati per annotare interattivamente le immagini e aggiornare il modello, ripetendo il ciclo per migliorare entrambi. Dopo aver annotato un numero sufficiente di maschere con l'aiuto di SAM, hanno sfruttato il suo sofisticato design consapevole dell'ambiguità per annotare automaticamente nuove immagini: hanno fornito a SAM una griglia di punti su un'immagine e gli hanno chiesto di segmentare tutto in corrispondenza di ogni punto. Il dataset finale, SA-1B, comprende oltre 1,1 miliardi di maschere di segmentazione raccolte da circa 11 milioni di immagini con licenza e rispettose della privacy.

Domande frequenti

• Il modello produce etichette per le maschere? No. Il modello prevede solo le maschere degli oggetti e non genera etichette.
• Il modello funziona sui video? Attualmente supporta solo immagini o singoli fotogrammi dei video.
• Dove posso trovare il codice? Il codice è disponibile su GitHub.

Informazioni sui prezzi

Nella pagina non sono indicate informazioni sui prezzi; il codice del modello e il dataset sono disponibili gratuitamente.