AnythingLLM: নিজের PDF-এর জন্য প্রাইভেট AI, ডেটা থাকবে আপনারই হাতে

গবেষণাপত্র, ব্যক্তিগত নোট বা সংবেদনশীল নথি নিয়ে কাজ করলে পাবলিক ক্লাউডভিত্তিক AI মডেলে ডেটা আপলোড করাটা চিন্তার বিষয়। আপনার ডেটা অন্যের সার্ভারে চলে গেলে তার ওপর আপনার কোনো নিয়ন্ত্রণ থাকে না। কিন্তু এমন একটি সিস্টেম যদি থাকত, যেখানে আপনার সব PDF ও অন্যান্য নথি আপনার নিজের কাছে সুরক্ষিত থাকবে, আর সেগুলো থেকেই AI আপনাকে প্রশ্নের উত্তর দিতে পারত? [AnythingLLM](/oss/anythingllm) ঠিক এই কাজটিই করে আপনার ডেটা প্রাইভেসি নিশ্চিত রাখে।

AnythingLLM কী ও কেন দরকার?

AnythingLLM একটি ওপেন-সোর্স প্ল্যাটফর্ম, যা নিজের সার্ভারে ব্যক্তিগত লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) চালিত চ্যাট অ্যাপ সেটআপের সুবিধা দেয়। এর মূল লক্ষ্য হলো আপনার নথি (যেমন PDF, DOCX, TXT) থেকে তথ্য বের করে সেগুলোর ভিত্তিতে প্রশ্নোত্তরের সুযোগ দেওয়া, অথচ আপনার ডেটা কোনো থার্ড-পার্টি ক্লাউড সার্ভারে পাঠানো ছাড়াই।

এর মাধ্যমে সহজেই নিজের ডেটার ওপর AI প্রশ্নোত্তরের ব্যবস্থা করা যায়। আপনার মূল্যবান গবেষণাপত্র, ক্লাসের নোট বা অফিসের গোপন নথি – সবকিছুই আপনার নিজস্ব সিস্টেমে সুরক্ষিত থাকবে। ডেটা সুরক্ষার পাশাপাশি, পাবলিক এআই টুলসের মতো ব্যবহারের জন্য কোনো মাসিক সাবস্ক্রিপশন ফি-ও দেওয়া লাগে না।

নিজস্ব সিস্টেমে AnythingLLM সেটআপ (ধাপে ধাপে)

AnythingLLM সেটআপ করাটা ডকার (Docker) ব্যবহার করলে বেশ সোজা। প্রথমবার সেটআপের জন্য কয়েকটি ধাপ অনুসরণ করতে হবে।

নিজের কম্পিউটারে AnythingLLM চালু করলে ডেটা প্রাইভেসি আর নিয়ন্ত্রণ দুটোই আপনার হাতে থাকবে। শুরু করার আগে, সিস্টেমে যথেষ্ট RAM (কমপক্ষে ৮ জিবি, ১৬ জিবি হলে ভালো) এবং ডিস্ক স্পেস আছে কিনা দেখে নিন।

১. ডকার (Docker) ইনস্টল করুন:

AnythingLLM ডকার কনটেইনার হিসেবে চলে, তাই সবার আগে আপনার অপারেটিং সিস্টেমে Docker Desktop ইনস্টল করুন। এটি Windows, macOS এবং Linux-এ পাওয়া যায়।

২. AnythingLLM রেপোজিটরি ক্লোন করুন:

একটি টার্মিনাল বা কমান্ড প্রম্পট খুলুন এবং নিচের কমান্ডটি ব্যবহার করে AnythingLLM এর গিটহাব রেপোজিটরি আপনার সিস্টেমে ক্লোন করুন:

```bash

git clone https://github.com/Mintplex-Labs/anythingllm.git

cd anythingllm

```

৩. AnythingLLM চালু করুন:

`anythingllm` ডিরেক্টরির ভেতরে ঢুকে নিচের কমান্ডটি রান করুন:

```bash

docker compose up -d

```

এই কমান্ডটি AnythingLLM-এর প্রয়োজনীয় সার্ভিসগুলো (যেমন ফ্রন্টএন্ড, ব্যাকএন্ড, ভেক্টর ডেটাবেজ) ডকার কনটেইনার হিসেবে চালু করবে। `-d` ফ্ল্যাগ দিয়ে এটি ব্যাকগ্রাউন্ডে চলবে। সবকিছু ঠিকঠাক চললে কিছুক্ষণ পর আপনার টার্মিনালে সফলভাবে চালু হওয়ার মেসেজ দেখা যাবে।

৪. ব্রাউজারে অ্যাক্সেস করুন:

এবার আপনার ওয়েব ব্রাউজারে `http://localhost:3001` অ্যাড্রেসে ভিজিট করুন। AnythingLLM-এর ইউজার ইন্টারফেস (UI) দেখতে পাবেন। এখানে আপনাকে একটি অ্যাডমিন ইউজার তৈরি করতে বলা হবে, যেখানে ইউজারনেম ও পাসওয়ার্ড সেট করতে পারবেন।

আপনার PDF আপলোড ও চ্যাট স্পেস তৈরি

AnythingLLM সেটআপ হয়ে গেলে আপনার PDF ফাইলগুলো এর সাথে সংযুক্ত করার সময়। এজন্য 'চ্যাট স্পেস' বা 'ওয়ার্কস্পেস' তৈরি করতে হবে।

নিজের PDF ফাইল আপলোড করে চ্যাট স্পেস তৈরি করলে সেই ফাইলের তথ্য ব্যবহার করে AI প্রশ্নের নির্ভুল উত্তর দেয়।

১. ইউজার ইন্টারফেসে লগইন করুন:

আপনার তৈরি করা অ্যাডমিন ইউজারনেম ও পাসওয়ার্ড দিয়ে AnythingLLM ইন্টারফেসে লগইন করুন।

২. নতুন ওয়ার্কস্পেস তৈরি করুন:

বাম পাশের মেনু থেকে "Workspaces" অপশনে যান এবং "Create New Workspace" বাটনে ক্লিক করুন। এখানে ওয়ার্কস্পেসের একটি নাম দিন (যেমন: "আমার গবেষণাপত্র" বা "ক্লাসের নোটস")।

৩. ডকুমেন্ট আপলোড করুন:

ওয়ার্কস্পেস তৈরির পর সেখানে ডকুমেন্ট যুক্ত করতে পারবেন। "Add Documents" অপশনে ক্লিক করুন। এখানে আপনার কম্পিউটার থেকে সরাসরি PDF ফাইল আপলোড করুন। AnythingLLM পিডিএফ-এর পাশাপাশি `.docx`, `.txt`, `.csv`, এমনকি ওয়েবপেজ থেকেও ডেটা নিতে পারে। ফাইল আপলোড করার পর AnythingLLM সেগুলোকে "এম্বেড" (embed) করবে, অর্থাৎ এআই মডেলের জন্য ডেটা প্রস্তুত করবে। এই প্রক্রিয়ায় আপনার ডকুমেন্ট ক্লাউডে না গিয়ে নিজের সিস্টেমে প্রসেস হবে।

৪. LLM মডেল নির্বাচন করুন:

প্রতিটি ওয়ার্কস্পেসের জন্য আপনি কোন লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) ব্যবহার করতে চান তা ঠিক করে দিতে পারবেন। AnythingLLM বিভিন্ন ওপেন-সোর্স মডেল (যেমন Llama 3) এবং প্রোপাইটরি মডেলের (যেমন OpenAI o1, Claude 3.7 Sonnet) API ইন্টিগ্রেশন সাপোর্ট করে। সম্পূর্ণ প্রাইভেসি চাইলে অফলাইন বা লোকালি হোস্ট করা ওপেন-সোর্স মডেল ব্যবহার করুন।

প্রাইভেট AI প্রশ্নোত্তর: কিভাবে কাজ করে?

AnythingLLM আপনার PDF থেকে প্রশ্নোত্তরের জন্য Retrieval Augmented Generation (RAG) নামে একটি পদ্ধতি ব্যবহার করে। এই পদ্ধতি নিশ্চিত করে যে AI মডেলটি আপনার আপলোড করা ডেটার সঠিক রেফারেন্স দিয়ে উত্তর দেবে, ভুল তথ্য বা মনগড়া উত্তর দেওয়া এড়াবে।

RAG পদ্ধতি নিশ্চিত করে যে AI মডেল আপনার নিজস্ব নথির প্রাসঙ্গিক অংশ খুঁজে বের করে তার ভিত্তিতে নির্ভুল ও নির্ভরযোগ্য উত্তর দেবে।

ধাপগুলো দেখুন:

১. ডকুমেন্ট এম্বেডিং (Document Embedding): আপনি যখন একটি PDF আপলোড করেন, AnythingLLM সেই ডকুমেন্টের টেক্সটকে ছোট অংশে ভাগ করে। এরপর প্রতিটি অংশকে ভেক্টর এম্বেডিং-এ রূপান্তর করে। এই ভেক্টরগুলো মূলত ডেটার সংখ্যাবাচক উপস্থাপন, যা AI মডেলের ডেটার অর্থ বুঝতে সাহায্য করে।

২. ভেক্টর ডেটাবেজে সংরক্ষণ (Vector Database Storage): এই এম্বেডিংগুলো একটি ভেক্টর ডেটাবেজে (যেমন Pinecone, Weaviate, বা লোকাল OpenLLM) সংরক্ষণ করা হয়। আপনার নিজস্ব সিস্টেমে AnythingLLM চালালে, এই ডেটাবেজও আপনার হার্ডডিস্কেই থাকে।

৩. প্রশ্ন গ্রহণ (Query Reception): আপনি যখন AnythingLLM-কে কোনো প্রশ্ন করেন, যেমন "এই গবেষণাপত্রের মূল উদ্দেশ্য কী?", আপনার প্রশ্নটিও একইভাবে এম্বেড করা হয়।

৪. প্রাসঙ্গিক তথ্য খুঁজে বের করা (Retrieval): আপনার প্রশ্নের এম্বেডিংয়ের সাথে ভেক্টর ডেটাবেজে থাকা ডকুমেন্টের এম্বেডিংগুলো তুলনা করা হয়। সবচেয়ে প্রাসঙ্গিক টেক্সট অংশগুলোকে খুঁজে বের করা হয়।

৫. LLM-এর কাছে পাঠানো (LLM Generation): খুঁজে পাওয়া প্রাসঙ্গিক টেক্সট অংশ এবং আপনার আসল প্রশ্ন, দুটোই এরপর LLM (যেমন Llama 3 বা GPT-4o) এর কাছে পাঠানো হয়। LLM এই ডেটার ওপর ভিত্তি করে আপনার প্রশ্নের উত্তর তৈরি করে।

৬. উত্তর প্রদান (Answer Provision): তৈরি করা উত্তরটি এরপর আপনার কাছে উপস্থাপন করা হয়। যেহেতু LLM আপনার নির্দিষ্ট ডকুমেন্টের ওপর ভিত্তি করে উত্তর তৈরি করেছে, তাই এর নির্ভুলতা অনেক বেশি থাকে এবং ডেটা প্রাইভেসিও বজায় থাকে।

এই প্রক্রিয়ায় আপনার কোনো তথ্য ইন্টারনেটের মাধ্যমে পাবলিক LLM প্রোভাইডারের কাছে যায় না, শুধুমাত্র আপনার নিজস্ব সিস্টেমেই সব কাজ হয়।

AnythingLLM ব্যবহারের সুবিধা ও সীমাবদ্ধতা

অন্যান্য প্রযুক্তির মতো AnythingLLM-এরও কিছু সুবিধা ও সীমাবদ্ধতা আছে।

পড়াশোনার ক্ষেত্রে AnythingLLM-এর ব্যবহারিক দিক

পড়াশোনা বিভাগে AnythingLLM খুব কাজে লাগতে পারে। এটি শুধু ব্যক্তিগত প্রাইভেসি রক্ষার জন্যই নয়, বরং পড়াশোনার কার্যকারিতাও বাড়ায়।

AnythingLLM ব্যবহার করে শিক্ষার্থীরা তাদের দীর্ঘ গবেষণাপত্র বা বই থেকে দ্রুত প্রয়োজনীয় তথ্য খুঁজে বের করতে পারে, যার ফলে সময় বাঁচে এবং পড়াশোনা আরও কার্যকর হয়।

এখানে কিছু ব্যবহারিক উদাহরণ দেওয়া হলো:

১. গবেষণাপত্রের সারাংশ ও বিশ্লেষণ: পিএইচডি বা মাস্টার্সের শিক্ষার্থীরা অসংখ্য গবেষণাপত্র ডাউনলোড করেন। AnythingLLM-এ সেগুলো আপলোড করে একটি ওয়ার্কস্পেস তৈরি করুন। এরপর আপনি জিজ্ঞাসা করতে পারবেন, "এই পেপারের মূল ফলাফলগুলো কী?", "অমুক পদ্ধতির সীমাবদ্ধতা কী?", বা "কোন কোন গবেষণা এই থিসিসের সাথে সম্পর্কিত?"। এটি পুরো পেপার না পড়েই দ্রুত মূল বিষয়গুলো ধরতে সাহায্য করবে।

২. শিক্ষামূলক উপকরণ থেকে দ্রুত তথ্য খুঁজে বের করা: কোর্সের টেক্সটবুক, লেকচার স্লাইড, হ্যান্ডআউট ইত্যাদি আপলোড করে যেকোনো নির্দিষ্ট টপিক বা সংজ্ঞা সম্পর্কে প্রশ্ন করতে পারবেন। যেমন: "রৈখিক বীজগণিতের ম্যাট্রিক্স ইনভার্সনের সূত্রটি কী?" বা "এই চ্যাপ্টারে নিউটনীয় বলবিদ্যার কোন কোন ধারণা আলোচনা করা হয়েছে?"। পড়াশোনা বিষয়ক আর্টিকেলে এমন আরও টুল নিয়ে আলোচনা করা হয়।

৩. নিজস্ব নোট ও হাইলাইট সংগঠিত করা: আপনার হাতে লেখা নোট বা ডিজিটাল নোটগুলোকে PDF এ কনভার্ট করে AnythingLLM-এ আপলোড করুন। এরপর আপনার নিজের নোট থেকেই বিভিন্ন ধারণা বা তথ্য খুঁজে বের করতে পারবেন।

৪. আইনগত বা মেডিকেল ডকুমেন্ট থেকে তথ্য আহরণ: আইন বিভাগের ছাত্রছাত্রীরা বা মেডিকেল শিক্ষার্থীরা অসংখ্য কেস স্টাডি বা রোগীর ইতিহাস নিয়ে কাজ করেন। AnythingLLM ব্যবহার করে নির্দিষ্ট ধারা, লক্ষণ, বা ওষুধের তথ্য দ্রুত খুঁজে পাওয়া যায়, যা গোপনীয়তা বজায় রেখে কাজ করার জন্য এটি অত্যন্ত গুরুত্বপূর্ণ।

৫. ভাষা শিক্ষার জন্য সহায়ক: বিভিন্ন ভাষার বই বা অভিধান আপলোড করে নির্দিষ্ট শব্দের অর্থ, ব্যাকরণগত নিয়ম বা বাক্য গঠন সম্পর্কে প্রশ্ন করতে পারবেন। এটি সেরা এআই টুলস এর মধ্যে একটি, যা শিক্ষার্থীদের জন্য কার্যকরী।

এভাবে AnythingLLM আপনার ব্যক্তিগত ডিজিটাল লাইব্রেরিয়ান হিসেবে কাজ করে, যা আপনার ডেটা সুরক্ষিত রেখে পড়াশোনার অভিজ্ঞতাকে আরও সমৃদ্ধ করে তোলে।