Segment Anything (Meta)

اہم افعال اور خصوصیات

Segment Anything Model (SAM)، Meta AI کا ایک نیا AI ماڈل ہے جو ایک کلک سے کسی بھی تصویر میں کسی بھی شے کو الگ کر سکتا ہے۔ SAM ایک prompt-based segmentation system ہے جو اضافی تربیت کے بغیر نامانوس اشیا اور تصاویر پر zero-shot generalization فراہم کرتا ہے۔

ان پٹ prompts کی مختلف اقسام: تصویر میں segment کی جانے والی چیز بتانے والے prompts اضافی تربیت کے بغیر مختلف segmentation tasks کی اجازت دیتے ہیں۔ معاون اقسام میں foreground/background points، bounding box اور mask شامل ہیں۔ Text prompts پر paper میں تحقیق کی گئی ہے، لیکن یہ صلاحیت جاری نہیں کی گئی۔

لچک دار انضمام: SAM دوسرے systems سے prompts لے سکتا ہے، مثلاً AR/VR headset سے صارف کی نظر لے کر شے منتخب کرنا، یا object detector کے bounding-box prompts سے text-to-object segmentation فعال کرنا۔

قابلِ توسیع outputs: output masks کو دوسرے AI systems کے inputs کے طور پر استعمال کیا جا سکتا ہے۔ مثال کے طور پر object masks کو ویڈیوز میں track کیا جا سکتا ہے، image-editing applications میں استعمال کیا جا سکتا ہے، 3D میں تبدیل کیا جا سکتا ہے یا collaging جیسے تخلیقی کاموں میں کام آ سکتا ہے۔

مؤثر اور لچک دار model design: SAM کو اس کے data engine کے لیے کافی مؤثر بنایا گیا ہے۔ ماڈل ایک one-time image encoder پر مشتمل ہے جو ViT-H پر مبنی، 632M parameters کا ہے اور NVIDIA A100 GPU پر تقریباً 0.15 سیکنڈ لیتا ہے؛ اور ایک ہلکے mask decoder پر مشتمل ہے جو Transformer پر مبنی ہے۔ Prompt encoder کے ساتھ اس کے کل 4M parameters ہیں اور multithreaded SIMD execution کے ذریعے browser میں CPU پر تقریباً 50ms لیتا ہے۔ Image encoder PyTorch میں نافذ ہے اور GPU کا تقاضا کرتا ہے۔ Prompt encoder اور mask decoder PyTorch میں براہِ راست چل سکتے ہیں یا ONNX میں تبدیل ہو کر ONNX runtime کی معاونت والے پلیٹ فارمز پر CPU یا GPU پر چل سکتے ہیں۔ ماڈل کو 256 A100 GPUs پر 3–5 دن تربیت دی گئی۔

Data Engine اور Dataset

SAM کی صلاحیتیں model-in-the-loop data engine کے ذریعے جمع کی گئی لاکھوں تصاویر اور masks پر تربیت کا نتیجہ ہیں۔ محققین نے SAM اور اس کے ڈیٹا سے تصاویر کو interactive طور پر annotate کیا اور ماڈل کو بار بار اپ ڈیٹ کیا۔ کافی masks annotate کرنے کے بعد، انہوں نے SAM کے ambiguity-aware design کے ذریعے تصویر پر points کی ایک grid دے کر ہر point پر ہر چیز کو خودکار طور پر segment کیا۔ حتمی dataset SA-1B میں تقریباً 11 ملین licensed اور privacy-preserving تصاویر سے جمع کیے گئے 1.1 بلین سے زیادہ segmentation masks شامل ہیں۔

اکثر پوچھے گئے سوالات

• کیا ماڈل mask labels بناتا ہے؟ نہیں، ماڈل صرف object masks کی پیش گوئی کرتا ہے اور labels نہیں بناتا۔
• کیا ماڈل ویڈیوز پر کام کرتا ہے؟ فی الحال یہ صرف تصاویر یا ویڈیوز کے انفرادی frames کو support کرتا ہے۔
• کوڈ کہاں مل سکتا ہے؟ کوڈ GitHub پر دستیاب ہے۔

قیمت کی معلومات

صفحے پر قیمت کی معلومات درج نہیں؛ ماڈل کوڈ اور dataset مفت دستیاب ہیں۔