ControlNet Pose

اہم خصوصیات

jagilley/controlnet-pose ماڈل پوز کی شناخت کے ذریعے انسانوں والی تصاویر میں ترمیم کے لیے استعمال ہوتا ہے۔ ایک تصویر اور پرامپٹ دیں؛ ماڈل Stable Diffusion کی طرح تصویر تیار کرے گا اور Openpose پوز کی شناخت کرے گا۔

ماڈل کی تفصیل

ControlNet ایک نیورل نیٹ ورک ساخت ہے جو پہلے سے تربیت یافتہ بڑے diffusion ماڈلز کو پرامپٹس کے علاوہ اضافی ان پٹ شرائط کی حمایت کرنے دیتی ہے۔ ControlNet کام سے متعلق شرائط کو end-to-end طریقے سے سیکھتا ہے، اور تربیتی ڈیٹا سیٹ چھوٹا (< 50k نمونے) ہونے پر بھی سیکھنے کا عمل مضبوط رہتا ہے۔ Stable Diffusion جیسے بڑے diffusion ماڈلز میں ControlNet شامل کر کے edge maps، segmentation maps، keypoints وغیرہ جیسے مشروط ان پٹس فعال کیے جا سکتے ہیں۔

ان پٹ پیرامیٹرز

• image: ان پٹ تصویر (لازمی)۔
• prompt: ماڈل کے لیے پرامپٹ (لازمی؛ طے شدہ an astronaut on the moon, digital art)۔
• num_samples: نمونوں کی تعداد؛ زیادہ قدریں OOM کا سبب بن سکتی ہیں (طے شدہ 1)۔
• image_resolution: تیار کی جانے والی تصویر کی ریزولوشن (طے شدہ 512)۔
• low_threshold / high_threshold: Canny لائن شناخت کی کم/زیادہ حد (طے شدہ 100/200)۔
• ddim_steps: مراحل کی تعداد (طے شدہ 20)۔
• scale: classifier-free guidance کا اسکیل (طے شدہ 9)۔
• seed: سیڈ۔
• eta: denoising diffusion عمل کے دوران شامل کیے جانے والے شور کی مقدار کو کنٹرول کرتا ہے؛ زیادہ قدر کا مطلب زیادہ شور ہے (طے شدہ 0)۔
• a_prompt: پرامپٹ کے ساتھ شامل کیا جانے والا اضافی متن (طے شدہ best quality, extremely detailed)۔
• n_prompt: منفی پرامپٹ (طے شدہ longbody, lowres, bad anatomy...)۔
• detect_resolution: وہ ریزولوشن جس پر شناخت کا طریقہ لاگو کیا جائے گا (طے شدہ 512)۔

استعمال

اسے Replicate پر Node.js، Python اور HTTP API کے ذریعے چلایا جا سکتا ہے، یا Cog اور Docker استعمال کرتے ہوئے مقامی طور پر چلایا جا سکتا ہے۔

ہدف صارفین اور بنیادی فوائد

یہ AI ڈویلپرز اور تصویر سازی کے شوقین افراد کے لیے ہے۔ اس کا بنیادی فائدہ ٹیکسٹ پرامپٹس کی بنیاد پر اعلیٰ معیار کی نئی تصاویر تیار کرنا اور ان پٹ تصویر میں موجود انسانی پوز کو سختی سے برقرار رکھنا ہے۔ یہ Stable Diffusion کی تخلیقی طاقت کو ControlNet کے درست پوز کنٹرول کے ساتھ ملاتا ہے۔

قیمت اور لاگت

Replicate پر اس ماڈل کو چلانے کی لاگت تقریباً $0.15 ہے (یا $1 میں 6 رنز)، جو ان پٹس کے لحاظ سے بدل سکتی ہے۔ یہ Nvidia A100 (80GB) GPU ہارڈویئر پر چلتا ہے۔ پیش گوئیاں عموماً 108 سیکنڈ میں مکمل ہو جاتی ہیں۔ پہلی API کال cold model کو بوٹ کرے گی اور اس میں زیادہ وقت لگ سکتا ہے۔