Segment Anything (Meta)

Belangrijkste functies en kenmerken

Segment Anything Model (SAM) is een AI-model van Meta AI waarmee je met één klik elk object in elke afbeelding kunt uitsnijden. SAM is een segmenteersysteem met prompts en zero-shot-generaliseerbaarheid naar onbekende objecten en afbeeldingen, zonder aanvullende training.

Verschillende invoerprompts: prompts die aangeven wat in een afbeelding moet worden gesegmenteerd, maken uiteenlopende segmentatietaken mogelijk zonder extra training. Ondersteunde typen zijn punten voor voorgrond/achtergrond, bounding box en mask. Tekstprompts worden in het paper onderzocht, maar deze mogelijkheid is niet uitgebracht.

Flexibele integratie: SAM kan prompts van andere systemen ontvangen, bijvoorbeeld de blik van een gebruiker via een AR/VR-headset om een object te selecteren, of bounding-box-prompts van een objectdetector voor text-to-object-segmentatie.

Uitbreidbare uitvoer: uitvoermasks kunnen als invoer voor andere AI-systemen dienen. Objectmasks kunnen bijvoorbeeld in video worden gevolgd, in beeldbewerkingsapplicaties worden gebruikt, naar 3D worden omgezet of voor creatieve taken zoals collages worden ingezet.

Efficiënt en flexibel modelontwerp: SAM is efficiënt genoeg ontworpen om de data engine aan te sturen. Het model bestaat uit een eenmalige image encoder op basis van ViT-H met 632M parameters, die ongeveer 0,15 seconde nodig heeft op een NVIDIA A100-GPU, en een lichte mask decoder op basis van Transformer. Samen met de prompt encoder heeft deze 4M parameters en duurt hij ongeveer 50 ms op een CPU in de browser met multithreaded SIMD-uitvoering. De image encoder is geïmplementeerd in PyTorch en vereist een GPU. De prompt encoder en mask decoder kunnen direct met PyTorch draaien of naar ONNX worden geconverteerd voor efficiënte uitvoering op CPU of GPU op platforms met ONNX runtime. Het model is 3–5 dagen getraind op 256 A100-GPU's.

Data Engine en Dataset

De mogelijkheden van SAM zijn het resultaat van training op miljoenen afbeeldingen en masks die zijn verzameld via een model-in-the-loop data engine. Onderzoekers annoteerden afbeeldingen interactief met SAM en zijn gegevens en werkten het model in een herhaalde cyclus bij. Nadat voldoende masks waren geannoteerd, gebruikten ze SAM's ontwerp dat rekening houdt met ambiguïteit: ze boden een raster met punten op een afbeelding aan en vroegen SAM om bij elk punt alles te segmenteren. De uiteindelijke dataset SA-1B bevat meer dan 1,1 miljard segmentation masks uit ongeveer 11 miljoen gelicentieerde en privacybeschermende afbeeldingen.

Veelgestelde vragen

• Genereert het model mask-labels? Nee, het model voorspelt alleen objectmasks en genereert geen labels.
• Werkt het model met video's? Momenteel ondersteunt het alleen afbeeldingen of afzonderlijke videoframes.
• Waar staat de code? De code is beschikbaar op GitHub.

Prijsinformatie

Op de pagina wordt geen prijsinformatie vermeld; de modelcode en dataset zijn gratis beschikbaar.