ওপেন অ্যাসিস্ট্যান্ট হল একটি প্রজেক্ট যার লক্ষ্য প্রত্যেককে চ্যাট-ভিত্তিক বৃহৎ ভাষার মডেলে অ্যাক্সেস দেওয়া।
সম্প্রতি LAION সম্প্রদায় (বড়-স্কেল কৃত্রিম বুদ্ধিমত্তা ওপেন নেটওয়ার্ক) একটি ঘোষণার মাধ্যমে উন্মোচন করা হয়েছে "ওপেনঅ্যাসিস্ট্যান্ট" প্রকল্পের প্রথম প্রকাশ, যা একটি কৃত্রিম বুদ্ধিমত্তার চ্যাটবট বিকাশ করে যা স্বাভাবিক ভাষায় প্রশ্ন বুঝতে এবং উত্তর দিতে, তৃতীয় পক্ষের সিস্টেমের সাথে ইন্টারঅ্যাক্ট করতে এবং গতিশীলভাবে প্রয়োজনীয় তথ্য বের করতে সক্ষম।
যারা LAION এর সাথে অপরিচিত তাদের জন্য, আপনার জানা উচিত যে এটি বিনামূল্যে মেশিন লার্নিং সিস্টেম তৈরি করার জন্য সরঞ্জাম, মডেল এবং ডেটা সংগ্রহ তৈরি করে (উদাহরণস্বরূপ, LAION সংগ্রহটি স্থিতিশীল ডিফিউশন ইমেজ সংশ্লেষণ সিস্টেমের মডেলগুলিকে প্রশিক্ষণ দিতে ব্যবহৃত হয়)।
ছাড়াও প্রশিক্ষণ এবং কাজ সংগঠিত করার কোড আপনার কম্পিউটারে বটটির, এটি প্রস্তুত মডেলের একটি সংগ্রহ ব্যবহার করার প্রস্তাব করা হয় ইতিমধ্যে প্রশিক্ষিত এবং একটি ভাষা মডেল ব্যবহার করার জন্য, একটি অনুরোধ-প্রতিক্রিয়া (নির্দেশ-নির্দেশনা-নির্দেশনা) আকারে সংলাপের 600 হাজার উদাহরণের ভিত্তিতে প্রশিক্ষিত, উত্সাহীদের একটি সম্প্রদায়ের অংশগ্রহণে প্রস্তুত এবং সংশোধিত।
OA_SFT_Llama_30B_6 নলেজ মডেল ব্যবহার করে চ্যাটবটের গুণমান মূল্যায়নের জন্য একটি অনলাইন পরিষেবাও চালু করা হয়েছে, যা 30 বিলিয়ন প্যারামিটার কভার করে।
আমাদের টিম গত কয়েক মাস ধরে অক্লান্ত পরিশ্রম করে প্রচুর পরিমাণে তথ্য এবং পাঠ্য-ভিত্তিক প্রতিক্রিয়া সংগ্রহ করে একটি অবিশ্বাস্যভাবে বৈচিত্র্যময় এবং অনন্য ডেটাসেট তৈরি করেছে যা বিশেষভাবে প্রশিক্ষণের ভাষা মডেল বা অন্যান্য AI অ্যাপ্লিকেশনের জন্য ডিজাইন করা হয়েছে।
600 টিরও বেশি মানব-উত্পাদিত ডেটা পয়েন্টের সাথে বিস্তৃত বিষয় এবং লেখার শৈলী কভার করে, আমাদের ডেটা সেটটি পরবর্তী প্রজন্মের নির্দেশনামূলক মডেল তৈরি করতে চাওয়া যে কোনও বিকাশকারীর জন্য একটি অমূল্য হাতিয়ার হিসাবে প্রমাণিত হবে।
কর্মদক্ষতা বাড়াতে সিস্টেমের এবং প্রয়োজন এড়াতে প্রচুর পরিমাণে প্রিসেট প্যারামিটার সংরক্ষণ করুন, প্রকল্পটি একটি গতিশীলভাবে আপডেট করা জ্ঞানের ভিত্তি ব্যবহার করার সম্ভাবনার পূর্বাভাস দেয় যা সার্চ ইঞ্জিন বা বাহ্যিক পরিষেবাগুলির মাধ্যমে প্রয়োজনীয় তথ্য পুনরুদ্ধার করতে পারে।
উদাহরণস্বরূপ, প্রতিক্রিয়া তৈরি করার সময়, বট অতিরিক্ত ডেটা পেতে বাহ্যিক API অ্যাক্সেস করতে পারে। উন্নত বৈশিষ্ট্যগুলির মধ্যে, ব্যক্তিগতকরণ সমর্থনও হাইলাইট করা হয়েছে, অর্থাৎ, তাদের পূর্ববর্তী বাক্যাংশগুলির উপর ভিত্তি করে একটি নির্দিষ্ট ব্যবহারকারীর সাথে খাপ খাইয়ে নেওয়ার ক্ষমতা।
যারা OpenAssistant ইনস্টল করতে আগ্রহী তাদের জন্য, আপনার জানা উচিত যে আপনি এটি স্থানীয়ভাবে ইনস্টল করতে পারেন, এবং প্রার্থী Pythia SFT মডেলগুলি HuggingFace থেকে পাওয়া যায় এবং HuggingFace ট্রান্সফরমার লাইব্রেরির মাধ্যমে লোড করা যেতে পারে। যেমন, এটা সম্ভব যে তারা পর্যাপ্ত হার্ডওয়্যার দিয়ে ব্যবহার করা যেতে পারে। এইচএফ-এ এমন স্পেস রয়েছে যেগুলি আপনার নিজের হার্ডওয়্যার ছাড়াই OA প্রার্থীর সাথে চ্যাট করতে ব্যবহার করা যেতে পারে। যাইহোক, এই মডেলগুলি নির্দিষ্ট নয় এবং খারাপ বা অবাঞ্ছিত ফলাফল তৈরি করতে পারে।
মেটা লাইসেন্সের কারণে LLaMa SFT মডেলগুলি সরাসরি প্রকাশ করা যাবে না, তবে XOR ওজন শীঘ্রই প্রকাশিত হবে।
এটি উল্লেখ করা গুরুত্বপূর্ণ যে বর্তমান ক্ষুদ্রতম মডেলের (Pythia) 12B প্যারামিটার রয়েছে এবং ভোক্তা হার্ডওয়্যারে চালানো কঠিন, তবে একটি একক পেশাদার GPU-তে চলতে পারে। ভবিষ্যতে আরও ছোট মডেল থাকতে পারে, এবং আমরা আশা করি পূর্ণসংখ্যার পরিমাপকরণের মতো পদ্ধতিগুলিকে অগ্রসর করব যা মডেলটিকে ছোট হার্ডওয়্যারে চালাতে সাহায্য করতে পারে।
প্রকল্পটি ChatGPT এর ক্ষমতার পুনরাবৃত্তি বন্ধ করার পরিকল্পনা করে না। ওপেন-অ্যাসিস্ট্যান্ট প্রাকৃতিক ভাষায় বিষয়বস্তু তৈরি এবং কোয়েরি প্রক্রিয়াকরণের ক্ষেত্রে উন্মুক্ত বিকাশের বিকাশকে উদ্দীপিত করবে বলে আশা করা হচ্ছে, ঠিক যেমনটি ওপেন সোর্স প্রজেক্ট স্টেবল ডিফিউশন ইমেজ তৈরির সরঞ্জামগুলির বিকাশকে উদ্দীপিত করেছে।
প্রকল্প কোড পাইথনে লেখা এবং অ্যাপাচি 2.0 লাইসেন্সের অধীনে বিতরণ করা হয়। OpenAssistant বিকাশগুলি আপনার নিজস্ব বুদ্ধিমান সহকারী এবং ডায়ালগ সিস্টেম তৈরি করতে ব্যবহার করা যেতে পারে যা বহিরাগত API এবং পরিষেবাগুলির সাথে আবদ্ধ নয়। প্রচলিত ভোক্তা হার্ডওয়্যার কাজ করার জন্য যথেষ্ট, উদাহরণস্বরূপ, এটি একটি স্মার্টফোনে কাজ করা সম্ভব। ওপেন অ্যাসিস্ট্যান্ট ডেটা ক্রিয়েটিভ কমন্স লাইসেন্সের অধীনে প্রকাশ করা হয় যা বাণিজ্যিক ব্যবহার সহ বিস্তৃত ব্যবহারের অনুমতি দেয়।
অবশেষে, আপনি যদি এটি সম্পর্কে আরও জানতে আগ্রহী হন এবং সেইসাথে সোর্স কোডের সাথে পরামর্শ করতে সক্ষম হন, আপনি বিশদ বিবরণের সাথে পরামর্শ করতে পারেন নীচের লিঙ্কে।