ControlNet Pose

প্রধান বৈশিষ্ট্য

jagilley/controlnet-pose মডেলটি ভঙ্গি শনাক্তকরণের মাধ্যমে মানুষের ছবি পরিবর্তন করতে ব্যবহৃত হয়। একটি ছবি ও প্রম্পট ইনপুট করুন; Stable Diffusion-এর মতো মডেল ছবি তৈরি করবে এবং Openpose ভঙ্গি শনাক্ত করবে।

মডেলের বিবরণ

ControlNet একটি নিউরাল নেটওয়ার্ক কাঠামো, যা আগে থেকে প্রশিক্ষিত বড় diffusion মডেলকে প্রম্পটের পাশাপাশি অতিরিক্ত ইনপুট শর্ত সমর্থন করতে দেয়। ControlNet end-to-end পদ্ধতিতে কাজ-নির্দিষ্ট শর্ত শেখে এবং প্রশিক্ষণ ডেটাসেট ছোট হলেও (< 50k নমুনা) শেখার প্রক্রিয়া দৃঢ় থাকে। Stable Diffusion-এর মতো বড় diffusion মডেলে ControlNet যুক্ত করে edge map, segmentation map, keypoint ইত্যাদি শর্তাধীন ইনপুট চালু করা যায়।

ইনপুট প্যারামিটার

• image: ইনপুট ছবি (আবশ্যিক)।
• prompt: মডেলের জন্য প্রম্পট (আবশ্যিক; ডিফল্ট an astronaut on the moon, digital art)।
• num_samples: নমুনার সংখ্যা; বেশি মান OOM ঘটাতে পারে (ডিফল্ট 1)।
• image_resolution: তৈরি করা ছবির রেজোলিউশন (ডিফল্ট 512)।
• low_threshold / high_threshold: Canny লাইন শনাক্তকরণের নিম্ন/উচ্চ সীমা (ডিফল্ট 100/200)।
• ddim_steps: ধাপের সংখ্যা (ডিফল্ট 20)।
• scale: classifier-free guidance-এর স্কেল (ডিফল্ট 9)।
• seed: সিড।
• eta: denoising diffusion প্রক্রিয়ায় যোগ করা নয়েজের পরিমাণ নিয়ন্ত্রণ করে; বেশি মানে বেশি নয়েজ (ডিফল্ট 0)।
• a_prompt: প্রম্পটের শেষে যোগ করা অতিরিক্ত টেক্সট (ডিফল্ট best quality, extremely detailed)।
• n_prompt: নেগেটিভ প্রম্পট (ডিফল্ট longbody, lowres, bad anatomy...)।
• detect_resolution: যে রেজোলিউশনে শনাক্তকরণ পদ্ধতি প্রয়োগ হবে (ডিফল্ট 512)।

ব্যবহার

Replicate-এ Node.js, Python ও HTTP API-এর মাধ্যমে এটি চালানো যায়, অথবা Cog ও Docker ব্যবহার করে স্থানীয়ভাবে চালানো যায়।

লক্ষ্য ব্যবহারকারী ও মূল সুবিধা

AI ডেভেলপার এবং ছবি তৈরি করতে আগ্রহী ব্যবহারকারীদের জন্য এটি উপযোগী। মূল সুবিধা হলো টেক্সট প্রম্পটের ভিত্তিতে উচ্চমানের নতুন ছবি তৈরি করার সময় ইনপুট ছবির মানুষের ভঙ্গি কঠোরভাবে বজায় রাখা। এটি Stable Diffusion-এর ছবি তৈরির ক্ষমতার সঙ্গে ControlNet-এর নির্ভুল ভঙ্গি নিয়ন্ত্রণ যুক্ত করে।

মূল্য ও খরচ

Replicate-এ এই মডেল চালাতে আনুমানিক $0.15 খরচ হয় (অথবা $1-এ 6টি রান), যা ইনপুটের ওপর নির্ভর করে পরিবর্তিত হতে পারে। এটি Nvidia A100 (80GB) GPU হার্ডওয়্যারে চলে। প্রেডিকশন সাধারণত 108 সেকেন্ডের মধ্যে সম্পন্ন হয়। প্রথম API কল cold model চালু করবে, তাই এতে বেশি সময় লাগতে পারে।