Segment Anything (Meta)

মূল কার্যাবলি ও বৈশিষ্ট্য

Segment Anything Model (SAM) হলো Meta AI-এর একটি নতুন AI মডেল, যা এক ক্লিকেই যেকোনো ছবির যেকোনো বস্তু আলাদা করতে পারে। SAM একটি prompt-based segmentation system, যা অতিরিক্ত প্রশিক্ষণ ছাড়াই অপরিচিত বস্তু ও ছবিতে zero-shot generalization সমর্থন করে।

বিভিন্ন ধরনের input prompt: ছবিতে কী segment করতে হবে তা নির্দিষ্ট করা prompt অতিরিক্ত প্রশিক্ষণ ছাড়াই নানা segmentation task সম্পন্ন করতে দেয়। সমর্থিত prompt-এর মধ্যে foreground/background points, bounding box এবং mask রয়েছে। গবেষণাপত্রে text prompt নিয়ে আলোচনা করা হলেও এই সক্ষমতা প্রকাশ করা হয়নি।

নমনীয় integration: SAM অন্য system থেকে prompt নিতে পারে—যেমন AR/VR headset থেকে ব্যবহারকারীর দৃষ্টি নিয়ে কোনো বস্তু নির্বাচন করা, অথবা object detector-এর bounding-box prompt ব্যবহার করে text-to-object segmentation চালু করা।

সম্প্রসারণযোগ্য output: output mask অন্য AI system-এর input হিসেবে ব্যবহার করা যায়। যেমন, object mask ভিডিওতে track করা, image-editing application-এ ব্যবহার, 3D-তে রূপান্তর, অথবা collaging-এর মতো সৃজনশীল কাজে ব্যবহার করা যায়।

দক্ষ ও নমনীয় model design: SAM-কে তার data engine চালানোর জন্য যথেষ্ট দক্ষভাবে তৈরি করা হয়েছে। মডেলটি একটি one-time image encoder এবং একটি lightweight mask decoder-এ বিভক্ত। Image encoder-টি ViT-H ভিত্তিক, এতে 632M parameters রয়েছে এবং NVIDIA A100 GPU-তে প্রায় 0.15 সেকেন্ড লাগে। Mask decoder-টি Transformer ভিত্তিক; prompt encoder-সহ এতে 4M parameters রয়েছে এবং multithreaded SIMD execution ব্যবহার করে browser-এর CPU-তে প্রায় 50ms লাগে। Image encoder PyTorch-এ বাস্তবায়িত এবং GPU প্রয়োজন। Prompt encoder ও mask decoder PyTorch-এ সরাসরি চালানো যায়, অথবা ONNX-এ রূপান্তর করে ONNX runtime সমর্থিত প্ল্যাটফর্মে CPU বা GPU-তে চালানো যায়। মডেলটি 256টি A100 GPU-তে 3–5 দিন প্রশিক্ষিত হয়েছে।

Data Engine ও Dataset

SAM-এর উন্নত ক্ষমতা model-in-the-loop data engine-এর মাধ্যমে সংগ্রহ করা কোটি কোটি ছবি ও masks-এর প্রশিক্ষণের ফল। গবেষকেরা SAM ও এর data ব্যবহার করে interactiveভাবে ছবি annotate এবং মডেল update করেছেন। পর্যাপ্ত masks annotate করার পর, তাঁরা SAM-এর ambiguity-aware design ব্যবহার করে ছবিতে points-এর একটি grid দিয়ে প্রতিটি point-এ সবকিছু স্বয়ংক্রিয়ভাবে segment করেছেন। চূড়ান্ত dataset SA-1B-তে প্রায় 11 মিলিয়ন licensed ও privacy-preserving ছবি থেকে সংগৃহীত 1.1 বিলিয়নের বেশি segmentation masks রয়েছে।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

• মডেল কি mask label তৈরি করে? না, মডেল শুধু object mask-এর পূর্বাভাস দেয় এবং label তৈরি করে না।
• মডেল কি ভিডিওতে কাজ করে? বর্তমানে এটি শুধু ছবি বা ভিডিওর পৃথক frame সমর্থন করে।
• কোড কোথায় পাওয়া যাবে? কোড GitHub-এ উপলভ্য।

মূল্য সংক্রান্ত তথ্য

পৃষ্ঠায় কোনো মূল্য সংক্রান্ত তথ্য উল্লেখ করা হয়নি; মডেল কোড ও dataset বিনামূল্যে পাওয়া যায়।