Ollama

পরিচিতি

Ollama ওপেন-ওয়েট ভাষার মডেল চালানোর একটি জনপ্রিয় উপায়। আপনি একটি মডেল ডাউনলোড করে নিজের কম্পিউটারে চালাতে পারেন, অথবা একই অ্যাপ, কমান্ড লাইন ও API ব্যবহার করে আরও বড় ক্লাউড-হোস্টেড মডেল চালাতে পারেন। Ollama জানায়, প্রম্পট কখনও সংরক্ষণ করা হয় না বা প্রশিক্ষণের জন্য ব্যবহার করা হয় না। এটি macOS, Windows এবং Linux-এর জন্য উপলভ্য।

প্রধান বৈশিষ্ট্য

• স্থানীয় মডেল: নিজের হার্ডওয়্যারে ওপেন মডেল ডাউনলোড করে চালান; কোনও প্ল্যানেই ব্যবহারের সীমা নেই।
• ক্লাউড মডেল: আপনার কম্পিউটারের জন্য অতিরিক্ত বড় মডেল Ollama-এর সার্ভারে চালান; প্রতি টোকেন হিসেবে বা প্ল্যানের মাসিক ক্রেডিট থেকে বিল করা হয়।
• একটি ইন্টারফেস: ডেস্কটপ অ্যাপ, ollama কমান্ড এবং স্থানীয় API স্থানীয় ও ক্লাউড মডেলের জন্য একইভাবে কাজ করে, তাই অন্যান্য টুল এগুলোর সঙ্গে সংযোগ করতে পারে।
• টুল কলিং: টুল সমর্থনকারী ক্লাউড মডেলগুলোকে টুল কলিংয়ের জন্য পরীক্ষা করা হয়।
• পরিসর: Ollama-এর তথ্য অনুযায়ী প্রতি মাসে ৯ মিলিয়নের বেশি ইনস্টলেশন এবং ১ বিলিয়নের বেশি মডেল ডাউনলোড হয়।

মূল্য

• Pay as you go: $0; স্থানীয় ব্যবহার বিনামূল্যে ও সীমাহীন, ক্লাউড মডেলের জন্য প্রতি টোকেন হিসেবে বিল করা হয় এবং ৩টি একসঙ্গে অনুরোধ চালানো যায়।
• Pro: প্রতি মাসে $20 বা বছরে $200; এতে প্রতি মাসে $60 ক্লাউড ব্যবহার, বড় Pro মডেল এবং ৩টি একসঙ্গে অনুরোধ অন্তর্ভুক্ত।
• Max: প্রতি মাসে $100; এতে প্রতি মাসে $300 ক্লাউড ব্যবহার, ১০টি একসঙ্গে অনুরোধ এবং নতুন মডেলে আগাম অ্যাক্সেস অন্তর্ভুক্ত।
• Team (early access): প্রতি মাসে $500; এতে $1,000 শেয়ার করা ব্যবহার, সীমাহীন ব্যবহারকারী এবং কেন্দ্রীয় বিলিং অন্তর্ভুক্ত।
• Enterprise: কাস্টম মূল্য।

অন্তর্ভুক্ত ব্যবহার প্রতি মাসে রিসেট হয় এবং পরের মাসে জমা হয় না।

কার জন্য

ডেভেলপার এবং গোপনীয়তাকে গুরুত্ব দেন এমন ব্যবহারকারীদের জন্য, যারা অফলাইনে মডেল চালাতে, ডিপ্লয় করার আগে ওপেন মডেল পরীক্ষা করতে, অথবা কোডিং ও চ্যাট টুলকে একটি স্থানীয় মডেলের সঙ্গে যুক্ত করতে চান।

কীভাবে শুরু করবেন

macOS বা Linux-এ curl -fsSL https://ollama.com/install.sh | sh চালান; Windows-এ PowerShell-এ irm https://ollama.com/install.ps1 | iex চালান অথবা ইনস্টলার ব্যবহার করুন। এরপর আপনার মেমরিতে মানানসই একটি ছোট মডেল ডাউনলোড করে অ্যাপ বা টার্মিনালে চেষ্টা করুন।

যা মনে রাখা দরকার

স্থানীয় গতি আপনার হার্ডওয়্যারের ওপর নির্ভর করে: শক্তিশালী GPU এবং পর্যাপ্ত মেমরি না থাকলে বড় মডেল ধীরগতির হয়। বাণিজ্যিক ব্যবহারের আগে প্রতিটি মডেলের লাইসেন্স পরীক্ষা করুন।

একই ধরনের টুল

LM Studio, Jan, GPT4All, llama.cpp, Open WebUI.