যদি আপনি কারো উপর নির্ভর না করে বাড়িতে বা আপনার সার্ভারে আপনার নিজস্ব AI সেটআপ করতে আগ্রহী হন, ওপেন সোর্স ইকোসিস্টেমের অন্যতম গুরুত্বপূর্ণ রেফারেন্স হয়ে উঠেছে লোকালএআই।এটি কেবল আরেকটি প্রকল্প নয়: এটি OpenAI API এবং অন্যান্য বাণিজ্যিক প্ল্যাটফর্মের সরাসরি প্রতিস্থাপন হিসেবে কাজ করার জন্য ডিজাইন করা সরঞ্জামগুলির একটি সম্পূর্ণ পরিবারকিন্তু স্থানীয়ভাবে চালানো, আপনার ডেটার উপর সম্পূর্ণ নিয়ন্ত্রণ সহ এবং কোনও বাধ্যতামূলক GPU প্রয়োজন নেই।
শুধুমাত্র একটি মডেল সার্ভার হওয়ার পরিবর্তে, LocalAI একটি সম্পূর্ণ এজেন্ট প্ল্যাটফর্ম, সেমান্টিক মেমরি, মাল্টিমোডাল জেনারেশন এবং ডিস্ট্রিবিউটেড ডিপ্লয়মেন্টএই সবই একটি মডুলার আর্কিটেকচারের সাথে যা খুব সাধারণ হার্ডওয়্যার এবং GPU, Jetson বা বিতরণকৃত ক্লাস্টার সহ উন্নত অবকাঠামো উভয়ের সাথেই খাপ খায়।
লোকালএআই কী এবং কেন এটি নিয়ে এত আলোচনা হচ্ছে?
লোকালএআই হল এমআইটি লাইসেন্সের অধীনে একটি ওপেন-সোর্স প্রকল্প যা REST API যা OpenAI স্পেসিফিকেশনের সাথে সামঞ্জস্যপূর্ণ (এবং অনুরূপ পরিষেবা যেমন Anthropic বা Elevenlabs)কিন্তু এটি সম্পূর্ণরূপে আপনার নিজস্ব মেশিন বা প্রাঙ্গনে অবকাঠামোতে চলে। এটি Ettore Di Giacinto এবং একটি অত্যন্ত সক্রিয় সম্প্রদায় দ্বারা রক্ষণাবেক্ষণ করা হয়, এবং এটি ইতিমধ্যেই GitHub-এ কয়েক হাজার তারকা অর্জন করেছে, যা ক্লাউড-মুক্ত AI সমাধানের প্রতি বিশাল আগ্রহের প্রতিফলন ঘটায়।
মূল ধারণা হল আপনি পারবেন কোড পরিবর্তন না করেই OpenAI API-এর জন্য ডিজাইন করা আপনার ক্লায়েন্ট, SDK এবং টুলগুলি ব্যবহার করুন।শুধু আপনার LocalAI ইনস্ট্যান্সের দিকে এন্ডপয়েন্টগুলি নির্দেশ করুন। সেখান থেকে, আপনি LLM চালাতে পারবেন, ছবি এবং অডিও তৈরি করতে পারবেন, TTS ব্যবহার করতে পারবেন, শব্দার্থিক অনুসন্ধান করতে পারবেন, বস্তু সনাক্তকরণ করতে পারবেন এবং আরও অনেক কিছু করতে পারবেন, বাইরে কোনও ডেটা না পাঠিয়েই স্থানীয়ভাবে।
সবচেয়ে আকর্ষণীয় সুবিধাগুলির মধ্যে একটি হল যে আপনার অগত্যা GPU লাগবে না।অনেক মডেল শুধুমাত্র CPU তে চলতে পারে, যা NAS, NUC, পুরানো সার্ভার, অথবা ন্যূনতম রিসোর্স সহ যেকোনো মেশিনে এটি মাউন্ট করার দরজা খুলে দেয়, যা আপনার হার্ডওয়্যার সীমাবদ্ধতার সাথে মডেলগুলির আকার এবং কোয়ান্টাইজেশন সামঞ্জস্য করে।
স্থানীয় স্ট্যাক পরিবার: LocalAI, LocalAGI এবং LocalRecall
প্রকল্পটি যত বড় হয়েছে, এটি একটিতে রূপান্তরিত হয়েছে "পরিবার" আন্তঃসংযুক্ত সরঞ্জামগুলির যা সাধারণ মডেল অনুমানের চেয়ে অনেক বেশি কিছুকে অন্তর্ভুক্ত করেআজ, তথাকথিত "স্থানীয় স্ট্যাক" মূলত তিনটি মূল উপাদান নিয়ে গঠিত যা একসাথে বা আলাদাভাবে কাজ করতে পারে।
একদিকে, LocalAI রয়ে গেছে টেক্সট, ছবি, অডিও এবং অন্যান্য পদ্ধতির জন্য একটি OpenAI-সামঞ্জস্যপূর্ণ API হিসেবে কেন্দ্রীয় স্তম্ভএটি বিভিন্ন ইনফারেন্স ব্যাকএন্ডের (llama.cpp, vLLM, ট্রান্সফরমার, ডিফিউজার, ইত্যাদি) সাথে যোগাযোগ পরিচালনা করে এবং একটি স্ট্যান্ডার্ড ইন্টারফেস প্রকাশ করে যা চ্যাট, কমপ্লিশন, ইমেজ জেনারেশন, TTS, এম্বেডিং, রির্যাঙ্কিং এবং এমনকি টেক্সট-টু-ভিডিওর মতো পরীক্ষামূলক এন্ডপয়েন্টগুলিকে সমর্থন করে।
তার পাশে LocalAGI উপস্থিত হয়, যা কাজ করে এজেন্টিক টুল এবং কর্মপ্রবাহের জন্য উন্নত সহায়তা সহ এআই এজেন্ট ম্যানেজমেন্ট প্ল্যাটফর্মএটি OpenAI এর রেসপন্স API-এর উন্নত প্রতিস্থাপন হিসেবে কাজ করে, যা আপনাকে এমন এজেন্টদের সংজ্ঞায়িত করতে দেয় যারা যুক্তি দিতে পারে, পদক্ষেপ পরিকল্পনা করতে পারে, বাহ্যিক সরঞ্জাম ব্যবহার করতে পারে এবং জটিল কাজগুলিকে স্বায়ত্তশাসিতভাবে সমন্বয় করতে পারে, কিন্তু সর্বদা স্থানীয়ভাবে চলতে পারে।
তৃতীয় উপাদান হল LocalRecall, যা ডিজাইন করা হয়েছে এজেন্টদের জন্য স্থায়ী মেমরি সহ REST API এবং জ্ঞান ব্যবস্থাপনা সিস্টেমমূলত, এটি শব্দার্থিক স্টোরেজ স্তর, ভেক্টর ডিবি এবং দীর্ঘমেয়াদী প্রসঙ্গ ব্যবস্থাপনা প্রদান করে, যাতে এজেন্ট এবং মডেলগুলি বহিরাগত পরিষেবার উপর নির্ভর না করেই সময়ের সাথে সাথে তথ্য, নথি এবং কথোপকথনের অবস্থা মনে রাখতে পারে।
মূল ক্ষমতা: একটি সাধারণ স্থানীয় এলএলএমের বাইরেও
LocalAI এত জনপ্রিয়তা অর্জনের একটি কারণ হল এটি বৃহৎ ভাষা মডেল পরিবেশনের মধ্যে সীমাবদ্ধ নয়এই প্রকল্পটি কৃত্রিম বুদ্ধিমত্তা (এআই) ক্ষমতার একটি বিস্তৃত পরিসরকে অন্তর্ভুক্ত করে, যা এটিকে স্ব-হোস্টেড বুদ্ধিমান অ্যাপ্লিকেশনের জন্য এক ধরণের "জেনেরিক অবকাঠামো" করে তোলে।
ভাষার ক্ষেত্রে, LocalAI অনুমতি দেয় একাধিক মডেল পরিবারের সাথে সামঞ্জস্যপূর্ণ LLM চালান (Llama, Gemma, Qwen, Phi, Mistral, SmollVLM এবং অন্যান্য), উপলব্ধ হার্ডওয়্যার এবং কর্মক্ষমতা চাহিদার উপর নির্ভর করে llama.cpp এর মাধ্যমে অথবা ট্রান্সফরমার বা vLLM এর মতো ব্যাকএন্ডের মাধ্যমে GGUF ফর্ম্যাটে মডেলগুলির জন্য সমর্থন সহ।
মাল্টিমোডাল ভিশন এবং জেনারেশনের ক্ষেত্রে, LocalAI অফার করে ডিফিউশন মডেলের জন্য সমর্থন, চিত্র সম্পাদনা, দৃষ্টি-ভাষা মডেল এবং রিয়েল-টাইম বস্তু সনাক্তকরণএর মধ্যে রয়েছে stable-diffusion.cpp, HuggingFace diffusers, FLUX, WAN বা Qwen 3 VL এর মতো মডেলগুলির সাথে ইন্টিগ্রেশন এবং rf-detr দ্বারা সমর্থিত বস্তু সনাক্তকরণের জন্য একটি ডেডিকেটেড API, যা CPU তেও খুব দক্ষতার সাথে চলতে পারে।
অডিও আরেকটি শক্তিশালী দিক: LocalAI সংহত করে ক্লোনিং সহ রিয়েল-টাইম ভয়েস, টেক্সট-টু-স্পিচ এবং স্পিচ রিকগনিশন ব্যাকএন্ডআমরা ট্রান্সক্রিপশনের জন্য whisper.cpp এবং faster-whisper থেকে শুরু করে Bark, Bark-cpp, Coqui, Kokoro, KittenTTS, Piper, Chatterbox, neutts বা Vibevoice এর মতো TTS ইঞ্জিন, সেইসাথে silero-vad এর মতো ভয়েস অ্যাক্টিভিটি ডিটেকশন (VAD) মডেলগুলি খুঁজে পেয়েছি যা কখন কথা বলতে হবে বা নীরবতা কাটাতে হবে তা নিয়ন্ত্রণ করতে পারে।
মডুলার আর্কিটেকচার: হালকা বাইনারি এবং অন-ডিমান্ড ব্যাকএন্ড
প্রকল্পের সাম্প্রতিক প্রধান বিপ্লবগুলির মধ্যে একটি হল একটিতে রূপান্তর সম্পূর্ণ মডুলার আর্কিটেকচার যেখানে মূল LocalAI বাইনারি ব্যাকএন্ড থেকে পৃথক করা হয়পূর্বে, "অল-ইন-ওয়ান" ছবিগুলি বড় ছিল এবং স্ট্যান্ডার্ড হিসাবে সমস্ত সম্ভাব্য ইঞ্জিন ধারণ করত, যা হালকা ওজনের স্থাপনা এবং আপগ্রেডগুলিকে জটিল করে তুলত।
এই নতুন দর্শনের সাথে, বেস ডকার ইমেজ এবং লোকালএআই বাইনারি হল অনেক ছোট এবং শুধুমাত্র প্রয়োজনের সময় প্রয়োজনীয় ব্যাকএন্ড ডাউনলোড করেযখন আপনি গ্যালারি থেকে অথবা YAML ফাইলের মাধ্যমে একটি মডেল ইনস্টল করেন, তখন LocalAI স্বয়ংক্রিয়ভাবে আপনার হার্ডওয়্যার (CPU, NVIDIA, AMD বা Intel GPU) সনাক্ত করে এবং মডেলটির প্রয়োজনীয় ব্যাকএন্ডের উপযুক্ত ভেরিয়েন্টটি ডাউনলোড করে।
তাছাড়া, এই নকশার জন্য ধন্যবাদ, এখন আপনি একটি ডেডিকেটেড গ্যালারি থেকে স্বাধীনভাবে ব্যাকএন্ড পরিচালনা করতে পারেন, এমনকি ডেভেলপমেন্ট ভার্সন ব্যবহার করেও।এর অর্থ হল আপনাকে সর্বশেষ llama.cpp, whisper.cpp, অথবা diffusers ব্যাকএন্ড ব্যবহার করে দেখার জন্য নতুন LocalAI রিলিজের জন্য অপেক্ষা করতে হবে না: কেবল সেই উপাদানটি আপডেট করুন এবং সিস্টেমটি তাৎক্ষণিকভাবে এটি ব্যবহার করবে।
বিচ্ছিন্ন পরিবেশে বা খুব নির্দিষ্ট প্রয়োজনীয়তা সহ যারা কাজ করেন তাদের কাছে আরেকটি ব্যবহারিক বিশদ অত্যন্ত মূল্যবান, তা হল একটি নির্দিষ্ট ফোল্ডারে বাইনারি কপি করে কাস্টম ব্যাকএন্ড লোড করার ক্ষমতাসম্পূর্ণ কন্টেইনার পুনরায় কম্পাইল না করে, আপনি সম্পূর্ণ সিস্টেমকে প্রভাবিত না করেই অপ্টিমাইজড বিল্ড, নির্দিষ্ট আর্কিটেকচারের জন্য ভেরিয়েন্ট, অথবা ব্যাকএন্ডের প্যাচ করা বিল্ড পরীক্ষা করতে পারেন।
একাধিক এআই ব্যাকএন্ডের সাথে সামঞ্জস্যপূর্ণ
LocalAI বিভিন্ন ধরণের মডেল এবং ব্যবহারের ক্ষেত্রে ব্যাকএন্ডের একটি সত্যিকারের বিস্তৃত তালিকা সংহত করে, যার সাথে প্রতিটি হার্ডওয়্যারের জন্য তৈরি ত্বরণ সহায়তাএলএলএম-এর হৃদয় সাধারণত llama.cpp, vLLM এবং ট্রান্সফরমারের চারপাশে ঘোরে, তবে আরও অনেক কিছু আছে।
সাধারণ LLM বিভাগে, llama.cpp প্রদান করে CUDA, ROCm, Intel SYCL, Vulkan, Metal, এবং pure CPU-এর জন্য সমর্থন সহ C/C++-এ দক্ষ অনুমান।কোয়ান্টাইজড মডেলগুলিকে GPU ছাড়াই মেশিনে চালানোর অনুমতি দেয়। vLLM CUDA এবং ROCm-এর জন্য ত্বরণ সহ PagedAttention এবং থ্রুপুট-ভিত্তিক অপ্টিমাইজেশন নিয়ে আসে, যেখানে ট্রান্সফরমারগুলি HuggingFace-এর CUDA, ROCm, Intel এবং CPU-তে মডেলের বিস্তৃত সংগ্রহের দরজা খুলে দেয়।
অডিওর জন্য, whisper.cpp এবং faster-whisper এর মতো ব্যাকএন্ডগুলিকে একত্রিত করা হয় CPU বা GPU-তে দ্রুত এবং পোর্টেবল স্পিচ রিকগনিশন, এবং TTS ইঞ্জিনের বিস্তৃত পরিসর: Bark and Bark-cpp, Coqui, Kokoro, Kitten-TTS, Piper, Chatterbox, neutts এবং Vibevoice, প্রতিটির নিজস্ব গুণমান, লেটেন্সি এবং হার্ডওয়্যার প্রয়োজনীয়তার ভারসাম্য রয়েছে, যার মধ্যে রয়েছে বিশুদ্ধ CPU থেকে CUDA, ROCm, Metal বা Intel।
দৃষ্টিভঙ্গি এবং প্রচারের দিক থেকে, প্রকল্পটি সমর্থন করে stablediffusion.cpp হল Stable Diffusion-এর C/C++ বাস্তবায়ন।পাশাপাশি নতুন ইমেজ জেনারেশন এবং এডিটিং মডেলের জন্য HuggingFace এর ডিফিউজার লাইব্রেরি। ব্যাকএন্ডের উপর নির্ভর করে, CUDA, ROCm, Intel SYCL, Metal, অথবা কেবল CPU ব্যবহার করা যেতে পারে।
এলএলএম, অডিও এবং চিত্রের বাইরে, লোকালএআই একীভূত করে নির্দিষ্ট ব্যাকএন্ড যেমন অবজেক্ট ডিটেকশনের জন্য rfdetr, ডকুমেন্ট রির্যাঙ্কিং ইঞ্জিন এবং লোকাল-স্টোর ভেক্টর স্টোরএছাড়াও, এটি HuggingFace API-এর সাথে একীভূত হয় যাতে প্রয়োজনে স্থানীয় এবং দূরবর্তী অনুমান একত্রিত করা যায়। এটি প্ল্যাটফর্মটিকে অগমেন্টেড সার্চ সিস্টেম, ডকুমেন্ট নেভিগেশন অ্যাসিস্ট্যান্ট বা স্থানীয় MLOps পাইপলাইন তৈরির জন্য খুবই ব্যাপক করে তোলে।
ত্বরণ: CPU-অপ্টিমাইজড থেকে GPU, মেটাল এবং জেটসন পর্যন্ত
কেউ যাতে বাদ না পড়ে তা নিশ্চিত করার জন্য, LocalAI একটি স্তর অফার করে অত্যন্ত নমনীয় ত্বরণ, প্রায় যেকোনো ধরণের আধুনিক হার্ডওয়্যারের জন্য কনফিগারেশন সহযদি আপনার একটি NVIDIA GPU থাকে, তাহলে আপনি llama.cpp থেকে শুরু করে ডিফিউজার বা coqui পর্যন্ত বেশিরভাগ সামঞ্জস্যপূর্ণ ব্যাকএন্ডে CUDA 12 বা 13 ব্যবহার করতে পারেন, আপনার রিসোর্স অনুযায়ী GPU স্তরের সংখ্যা বা লোড সামঞ্জস্য করে।
AMD গ্রাফিক্স কার্ডের ক্ষেত্রে, LocalAI ROCm এর উপর নির্ভর করে llama.cpp, whisper, vLLM, ট্রান্সফরমার, ডিফিউজার, রির্যাঙ্কার এবং বিভিন্ন TTS এর মতো কী ব্যাকএন্ডগুলিকে ত্বরান্বিত করুন।যারা Radeon কার্ড দিয়ে হোমল্যাব সেটআপ করেন তাদের জন্য এটি খুবই আকর্ষণীয়। Intel হার্ডওয়্যারের জন্য, oneAPI এবং অন্যান্য প্রযুক্তির মাধ্যমে সমর্থন পাওয়া যায়, যা llama.cpp, whisper, stablediffusion, vLLM, diffusers, rfdetr, rerankers এবং Coqui বা Bark এর মতো ভয়েস ইঞ্জিনের মতো ব্যাকএন্ডে ত্বরণ স্থাপন করে।
যদি আপনি একটি ম্যাকের সাথে কাজ করেন, তাহলে প্ল্যাটফর্মটি মেটাল এবং অ্যাপলের নেটিভ MLX এবং MLX-VLM ব্যাকএন্ডের সাথে একীভূত হবে, যা অফার করবে M1, M2, এবং M3+ চিপগুলিতে অপ্টিমাইজড ইনফারেন্স LLM এবং মাল্টিমোডাল মডেল উভয়ের জন্যই, বার্ক-সিপিপি এবং অন্যান্য মেটাল-সামঞ্জস্যপূর্ণ উপাদানগুলিতে সহায়তা ছাড়াও।
তারা এমবেডেড পরিস্থিতির কথাও ভোলেনি: তাদের জন্য নির্দিষ্ট সমর্থন রয়েছে। CUDA 12 এবং 13 সহ NVIDIA Jetsonএটি AGX Orin বা edge কম্পিউটিং প্ল্যাটফর্মের মতো ARM64 ডিভাইসে llama.cpp, whisper, stablediffusion, diffusers এবং rfdetr চালানোর অনুমতি দেয়, যা রোবোটিক্স, নিরাপত্তা বা স্মার্ট IoT প্রকল্পের জন্য খুবই কার্যকর।
এবং, অবশ্যই, এই সবকিছুর পরিপূরক হল CPU-অপ্টিমাইজড এক্সিকিউটেবল, AVX, AVX2, এবং AVX512 এর মতো নির্দেশিকা সেটের জন্য সমর্থন সহwhisper.cpp এর মতো ব্যাকএন্ড ভেরিয়েন্টগুলি ছাড়াও প্রসেসরের ক্ষমতা অনুসারে বিশেষভাবে সংকলিত করা হয়েছে, পুরানো বা কম-পাওয়ার মেশিনগুলিতে "অবৈধ নির্দেশ" ত্রুটি এড়ানো।
ইনস্টলেশন: বাইনারি, স্ক্রিপ্ট, ডকার এবং AIO
ব্যবহারিক স্তরে, LocalAI টিম নিশ্চিত করার জন্য অনেক প্রচেষ্টা করেছে যে এটি শুরু করা এবং দৌড়ানো কোনও অদ্ভূত কাজ হওয়া উচিত নয়।দ্রুত পরীক্ষা এবং আরও গুরুতর স্থাপনার জন্য পরিবেশ এবং অভিজ্ঞতার স্তরের উপর নির্ভর করে বেশ কয়েকটি ইনস্টলেশন পদ্ধতি রয়েছে।
একদিকে, আপনি একটি দিয়ে শুরু করতে পারেন ইনস্টলার স্ক্রিপ্ট যা উপযুক্ত বাইনারি ডাউনলোড করে এবং মৌলিক বিষয়গুলি কনফিগার করেবিভিন্ন ডেস্কটপ প্ল্যাটফর্মের জন্যও সরাসরি বাইনারি বিদ্যমান, যদিও উদাহরণস্বরূপ, macOS-এ, DMG গুলি Apple দ্বারা স্বাক্ষরিত হয় না, যার ফলে সিস্টেমটি তাদের "কোয়ারেন্টাইনড" হিসাবে চিহ্নিত করতে পারে এবং সেগুলি খুলতে একটি ছোট ঘুরপথের প্রয়োজন হতে পারে (দলটি সমাধান এবং সম্ভাব্য উন্নতি সহ ফলো-আপ সমস্যাগুলি বজায় রাখে)।
আরেকটি খুব সাধারণ উপায় হল ডকার ব্যবহার করে LocalAI স্থাপন করা স্বতন্ত্র কন্টেইনার, CPU, GPU অথবা AIO ছবির জন্য, যেখানে আগে থেকে ডাউনলোড করা মডেল থাকেআপনি শুধুমাত্র CPU-র ছবি, সম্মিলিত CPU+GPU ছবি, অথবা অল-ইন-ওয়ান ছবি বেছে নিতে পারেন যাতে ব্যবহারের জন্য প্রস্তুত মডেলের প্রাথমিক সেট অন্তর্ভুক্ত থাকে, যদিও পরবর্তীগুলি আরও বেশি জায়গা নেয় এবং সতর্ক করা হয়েছে যে ভবিষ্যতে কিছু "অতিরিক্ত" রূপগুলি নতুন ব্যাকএন্ড ম্যানেজমেন্ট সিস্টেমের পক্ষে অবচিত হতে পারে।
ডকারের সাথে কাজ করার সময়, এর মধ্যে পার্থক্য করা গুরুত্বপূর্ণ ডকার রান, যা একটি নতুন কন্টেইনার তৈরি করে এবং শুরু করেএবং `docker start`, যা কেবল একটি বিদ্যমান চালু করে। যদি আপনি ইতিমধ্যেই LocalAI চালু করে থাকেন এবং এটি পুনরায় চালু করতে চান, তাহলে সঠিক উপায় হল `docker start -i local-ai` এর মতো কিছু ব্যবহার করা যাতে কন্টেইনারের নকল না হয় বা ইতিমধ্যেই নিবন্ধিত নামের সাথে দ্বন্দ্ব তৈরি না হয়।
মডেল লোডিং এবং স্বয়ংক্রিয় ব্যাকএন্ড সনাক্তকরণ
LocalAI চালু হয়ে গেলে, পরবর্তী ধাপ হল আপনি যে মডেলগুলি ব্যবহার করতে যাচ্ছেন সেগুলি অফিসিয়াল গ্যালারি থেকে অথবা YAML কনফিগারেশন ফাইল ব্যবহার করে লোড করুন।এই পর্যায়ে স্বয়ংক্রিয় হার্ডওয়্যার এবং ব্যাকএন্ড সনাক্তকরণের যুক্তি কার্যকর হয়।
যখন আপনি WebUI তে একটি মডেল নির্বাচন করেন বা YAML তে একটি সংজ্ঞায়িত করেন, LocalAI আপনার মেশিনের ক্ষমতা বিশ্লেষণ করুন (GPU টাইপ, সেটা NVIDIA, AMD, অথবা Intel, CPU সাপোর্ট, ইত্যাদি) এবং উপযুক্ত ব্যাকএন্ড ডাউনলোড করুন। সেই মডেল এবং ডিভাইসের সংমিশ্রণের জন্য। এইভাবে, আপনি আপনার নির্দিষ্ট পরিবেশের জন্য কোন llama.cpp, ডিফিউজার, অথবা whisper.cpp বাইনারি প্রয়োজন তা ম্যানুয়ালি বের করা এড়াতে পারবেন।
যদি আপনার আরও নিয়ন্ত্রণের প্রয়োজন হয়, তাহলে YAML কনফিগারেশন আপনাকে প্রসঙ্গ আকার, GPU স্তরের সংখ্যা, mmap ব্যবহার, কোয়ান্টাইজেশন, অথবা এজেন্ট টুলের সংজ্ঞার মতো পরামিতিগুলি সামঞ্জস্য করুন।এবং, WebUI পুনর্গঠনের জন্য ধন্যবাদ, এখন সার্ভারে SSH না করে বা ম্যানুয়ালি ফাইল সম্পাদনা না করেই গ্রাফিকাল ইন্টারফেস থেকে সরাসরি সমস্ত YAML সম্পাদনা করা সম্ভব।
পুনঃডিজাইন করা WebUI: LocalAI-তে মডেল, চ্যাট এবং এজেন্টদের ভিজ্যুয়াল ব্যবস্থাপনা
উন্নত ব্যবহারকারীদের জন্য ওয়েব ইন্টারফেসটি একটি বড় ধরণের পুনর্গঠনের মধ্য দিয়ে গেছে, যা কেবল দৃশ্যত অন্বেষণ করতে চান এমন ব্যক্তিদের জন্য অ্যাক্সেসযোগ্য থাকবে। HTML থেকে বিভিন্ন ধরণের সংমিশ্রণে স্থানান্তর Alpine.js এবং নেটিভ জাভাস্ক্রিপ্ট গতি এবং তরলতাকে ব্যাপকভাবে উন্নত করেছে। অভিজ্ঞতা থেকে, বিশেষ করে অনেক কনফিগারেশন বা মডেল সহ পরিবেশে।
এই WebUI থেকে আপনি অ্যাক্সেস করতে পারবেন চ্যাট ইন্টারফেস, ইমেজ জেনারেশন, অডিও, মডেল ম্যানেজমেন্ট এবং অভ্যন্তরীণ কনফিগারেশনঅস্পষ্ট অনুসন্ধান সহ মডেলগুলির একটি তালিকা রয়েছে, যাতে আপনি টাইপ করার সময় ভুল করলেও (উদাহরণস্বরূপ, "জেমা" এর পরিবর্তে "জেমা"), সিস্টেমটি আপনাকে সঠিক ফলাফল দেখাবে এবং আপনি সঠিক শব্দটি পরিমার্জন করার চেষ্টা না করেই পাগল হয়ে যাবেন।
সবচেয়ে ব্যবহারিক বিষয়গুলির মধ্যে একটি হল যে WebUI অনুমতি দেয় প্রতিটি মডেলের জন্য সম্পূর্ণ YAML কনফিগারেশন দেখুন এবং সম্পাদনা করুন ব্রাউজার থেকে, অ্যাপ্লিকেশনটি না রেখেই। সেখানে আপনি সর্বাধিক প্রসঙ্গ পরিবর্তন করতে পারবেন, মাল্টিমোডাল সাপোর্ট সক্ষম বা অক্ষম করতে পারবেন, কর্মক্ষমতা পরামিতিগুলি সামঞ্জস্য করতে পারবেন, অথবা এজেন্টদের জন্য সরঞ্জাম এবং MCP সার্ভার সংজ্ঞায়িত করতে পারবেন, সবকিছুই পরিবর্তনগুলি সংরক্ষণ করার সাথে সাথেই কার্যকর হবে।
এমসিপি এজেন্ট এবং সহায়তা: এআই যা স্থানীয়ভাবে সরঞ্জাম ব্যবহার করে
তার সাম্প্রতিক সংস্করণগুলিতে, LocalAI অন্তর্ভুক্ত করে একটি উল্লেখযোগ্য অগ্রগতি অর্জন করেছে প্রোটোকল কনটেক্সট মডেল (PCM) এবং উন্নত এজেন্টিক ক্ষমতার জন্য সম্পূর্ণ সমর্থনএর ফলে এমন এজেন্ট তৈরি করা সম্ভব হয় যারা কেবল প্রশ্নের উত্তরই দেয় না, বরং বাহ্যিক সরঞ্জাম ব্যবহার করতে পারে, পদক্ষেপ পরিকল্পনা করতে পারে এবং জটিল কাজগুলি পরিচালনা করতে পারে।
MCP ইন্টিগ্রেশন LocalAGI এবং Cogito এর মতো সম্পর্কিত প্রকল্পগুলি থেকে তৈরি কাঠামোর উপর ভিত্তি করে তৈরি করা হয়েছে, যার ফলে একটি সহজ উপায় তৈরি হয়েছে "MCP সার্ভার" কে কন্টেইনার বা বহিরাগত পরিষেবা হিসেবে সংজ্ঞায়িত করুন যা সরঞ্জামগুলি প্রকাশ করেউদাহরণস্বরূপ, আপনার কাছে এমন একটি MCP সার্ভার থাকতে পারে যা DuckDuckGo-তে অনুসন্ধান করে, অন্য একটি সার্ভার যা আপনার কোম্পানির অভ্যন্তরীণ API গুলি অনুসন্ধান করে, অথবা এমন একটি সার্ভার থাকতে পারে যা আপনার স্থানীয় মেশিনে স্ক্রিপ্ট চালায়।
ডেভেলপারের দৃষ্টিকোণ থেকে, এটি যথেষ্ট যে পাইথন কোড লেখা বা নির্দিষ্ট লাইব্রেরি ব্যবহার না করেই মডেলের YAML-এ এই MCP সার্ভারগুলি কনফিগার করুন।একবার কনফিগার হয়ে গেলে, আপনি /mcp/v1/chat/completions এন্ডপয়েন্ট ব্যবহার করতে পারেন, যা OpenAI API-এর সাথে সামঞ্জস্যপূর্ণ, অথবা চ্যাট WebUI থেকে সরাসরি "MCP এজেন্ট মোড" সক্রিয় করতে পারেন যাতে মডেলটি প্রয়োজন মনে করলে টুল ব্যবহার শুরু করে।
দলটি আরও প্রচেষ্টা বিনিয়োগ করেছে ফাংশন কলের দৃঢ়তা এবং JSON স্কিমা পরিচালনা উন্নত করুন।এটি মডেলগুলি যখন অসম্পূর্ণ সরঞ্জাম সংজ্ঞা তৈরি করে তখন ঘটতে পারে এমন ত্রুটি এবং আতঙ্কগুলিকে সংশোধন করে। এই উন্নতিগুলির সাথে, সরঞ্জামের ব্যবহার এবং এজেন্টিক কর্মপ্রবাহ উৎপাদনে অনেক বেশি স্থিতিশীল।
LocalAI রোডম্যাপ এবং প্রকল্পের ক্রমাগত বিবর্তন
LocalAI খুব দ্রুত চলে, একটি ট্যাগ করা সমস্যা আকারে পাবলিক রোডম্যাপ যেখানে আপনি সর্বশেষ আপডেট এবং আগামী মাসগুলির জন্য পরিকল্পিত আপডেটগুলি অনুসরণ করতে পারবেন। রোডম্যাপটি উন্নতির একটি ধারাবাহিক ক্রম দেখায় যা নতুন ক্ষমতা এবং অভ্যন্তরীণ পরিমার্জন উভয়কেই অন্তর্ভুক্ত করে।
সাম্প্রতিক বছরগুলিতে, নিম্নলিখিতগুলি যুক্ত করা হয়েছে ডিস্ট্রিবিউটেড ইনফারেন্স, ফেডারেটেড মোড, নেটওয়ার্কের মাধ্যমে LLM চালানোর জন্য P2P, ইনস্ট্যান্স ঝাঁক পরিচালনার জন্য ড্যাশবোর্ড এবং নতুন মডেল এবং ব্যাকএন্ডের জন্য সমর্থনের মতো বৈশিষ্ট্যগুলি। (Flux, MLX-Audio, WAN, SANA, Bark.cpp, stablediffusion.cpp, ইত্যাদি), পাশাপাশি একটি Reranker API এবং একটি সমন্বিত অবজেক্ট আবিষ্কার API।
মাইলফলকও ঘটেছে, যেমন ওজন কমাতে মূল বাইনারি থেকে সমস্ত ব্যাকএন্ডের স্থানান্তরম্যাকওএস এবং লিনাক্সের জন্য একটি নতুন লঞ্চারের আগমন, ওয়েবইউআই-এর চলমান উন্নতি, এবং /v1/videos-এর মাধ্যমে টেক্সট-টু-ভিডিওর মতো পরীক্ষামূলক API-এর সংযোজন, যা স্থানীয় ভিডিও সম্পাদনার মতো স্থানীয় AI সরঞ্জামগুলির সাথে সংযোগ স্থাপন করে, এই সবই রোডম্যাপের অংশ। ভবিষ্যতের পরিকল্পনাগুলির মধ্যে রয়েছে আরও গতিশীল মেমরি ব্যবস্থাপনা, উন্নত মাল্টি-জিপিইউ সমর্থন, নতুন এজেন্টিক ইন্টিগ্রেশন এবং একটি সম্প্রসারিত এমসিপি টুল ইকোসিস্টেম।
কমিউনিটি এবং মোবাইল অ্যাপে ব্যবহারের উদাহরণ স্থানীয় এআই চ্যাটবট
LocalAI-এর চেতনা সম্প্রদায়ের সাথে নিবিড়ভাবে জড়িত, যেমনটি এতে প্রতিফলিত হয়েছে r/selfhosted অথবা/LocalLLaMA এর মতো ফোরামে স্রষ্টার নিজস্ব পোস্টএই ফোরামে স্থাপত্যের বিবর্তন সরাসরি ভাগ করে নেওয়া হয় এবং ব্যবহারকারীদের প্রশ্নের উত্তর দেওয়া হয়। অটোমেশন এবং ব্যক্তিগত প্রকল্পের জন্য লোকালএআইকে একটি ব্যক্তিগত "মস্তিষ্ক" হিসেবে কীভাবে সংহত করা যায় তা নিয়ে অনেক মন্তব্য আবর্তিত হয়।
"সমস্ত স্থানীয়" পদ্ধতির একটি উদাহরণ হল এর উত্থান সফটওয়্যার টেইলরের লোকাল এআই চ্যাটবটের মতো মোবাইল অ্যাপ্লিকেশন, যা ইন্টারনেট সংযোগ ছাড়াই ডিভাইসে সরাসরি উন্নত মডেলের সাথে চ্যাট করার সুবিধা প্রদান করে।এই অ্যাপটি আপনাকে DeepSeek R1, Qwen, Mistral, Llama 3 অথবা Phi এর মতো মডেলগুলির সাথে সম্পূর্ণ অফলাইনে কথা বলতে দেয়, 100% গোপনীয়তা রক্ষা করে এবং ফোনের হার্ডওয়্যারের সুবিধা গ্রহণ করে।
এর বৈশিষ্ট্যগুলির মধ্যে রয়েছে একাধিক মডেলের জন্য সমর্থন, দ্রুত স্যুইচিং, দক্ষ রিসোর্স ব্যবহারের উপর দৃষ্টি নিবদ্ধ করে একটি নকশা এবং ঝামেলা-মুক্ত চ্যাটিংয়ের জন্য একটি পরিষ্কার ইন্টারফেস।এটি গোপনীয়তা-সচেতন ব্যবহারকারী, সংবেদনশীল তথ্য পরিচালনাকারী পেশাদার, দুর্বল সংযোগ এলাকার মানুষ এবং স্থানীয় মডেলগুলি নিয়ে পরীক্ষা-নিরীক্ষায় আগ্রহী কৃত্রিম বুদ্ধিমত্তা (এআই) উৎসাহীদের জন্য তৈরি।
এই ধরণের সমাধানগুলি দেখায় যে কীভাবে LocalAI এবং স্থানীয় AI এর চারপাশের বাস্তুতন্ত্র প্রধান সার্ভারের বাইরে যায়, মোবাইল, ডেস্কটপ এবং অন্যান্য ফর্ম্যাটে "আপনার ডিভাইসে সবকিছু" দর্শন নিয়ে আসা, এই লক্ষ্যে যে কেউ দূরবর্তী পরিষেবার উপর নির্ভর না করেই উন্নত সহকারী উপভোগ করতে পারে।
LocalAI প্রকল্প এবং এর সরঞ্জামগুলির পরিবার দেখায় যে এটি কীভাবে করা যেতে পারে বিনামূল্যের সফটওয়্যারের স্বাধীনতা বা ডেটার সম্পূর্ণ নিয়ন্ত্রণ ছাড়াই, মেমরি এবং সরঞ্জামগুলির সাহায্যে সাধারণ চ্যাট থেকে জটিল এজেন্ট পর্যন্ত সবকিছু কভার করতে সক্ষম, এমন একটি সম্পূর্ণ ব্যক্তিগত, এক্সটেনসিবল, মডুলার এবং মাল্টিমোডাল এআই তৈরি করা।, যারা তাদের প্রকল্পের কৃত্রিম বুদ্ধিমত্তা তৃতীয় পক্ষের উপর নির্ভর করতে চান না তাদের জন্য একটি অত্যন্ত গুরুতর বিকল্প হিসেবে নিজেকে অবস্থান করছে।
