পর্ব 2 — কাঁচা সেলস ডেটা ইম্পোর্ট এবং এআই দিয়ে ডুপ্লিকেট ও অগোছালো ডেটা ক্লিন করা

আগের পর্বে আমরা আমাদের স্মার্ট সেলস রিপোর্টিং সিস্টেম তৈরির ভিত্তি স্থাপন করেছিলাম। গুগল শিটস সেটআপ করেছিলাম এবং GPT for Sheets এক্সটেনশনটি যুক্ত করেছিলাম, যা আমাদের এআই-চালিত অটোমেশনের জন্য অত্যন্ত গুরুত্বপূর্ণ। আপনি যদি এখনও প্রথম পর্বটি না দেখে থাকেন, তাহলে পর্ব 1 থেকে শুরু করার অনুরোধ করছি। মনে রাখবেন, এই সিরিজটি আপনাকে শূন্য থেকে একটি স্বয়ংক্রিয় সিস্টেম তৈরি করতে সাহায্য করবে, যা আপনার ফ্রিল্যান্সিং দক্ষতা বাড়াতে পারে।

এই পর্বে আমরা সরাসরি কাজে নামব। আমাদের প্রথম কাজ হলো কাঁচা সেলস ডেটা গুগল শিটসে ইম্পোর্ট করা। এরপর, এআই-এর ম্যাজিক ব্যবহার করে সেই ডেটার মধ্যে লুকিয়ে থাকা ডুপ্লিকেট এবং অগোছালো তথ্য (messy data) পরিষ্কার করা। ডেটা ক্লিনজিং যেকোনো এআই প্রজেক্টের একটি অপরিহার্য ধাপ, কারণ "গার্বেজ ইন, গার্বেজ আউট" – অর্থাৎ, আপনি যদি অপরিষ্কার ডেটা নিয়ে কাজ করেন, তাহলে আপনার বিশ্লেষণ বা রিপোর্টও ভুল হবে।

কাঁচা সেলস ডেটা ইম্পোর্ট করা

আমাদের প্রজেক্টের প্রথম ধাপ হলো কাঁচা সেলস ডেটা গুগল শিটসে আনা। এর জন্য আপনি CSV ফাইল আপলোড করতে পারেন বা সরাসরি কপি-পেস্ট করতে পারেন। এই পর্বে আমরা একটি উদাহরণ ডেটাসেট ব্যবহার করব যা আপনি সহজেই কপি-পেস্ট করতে পারবেন।

কাঁচা ডেটা ইম্পোর্ট করার জন্য আমাদের প্রথম কাজ হল একটি নতুন শীট তৈরি করা।

1. একটি নতুন শীট তৈরি করুন: আপনার বিদ্যমান গুগল শিটস ফাইলে একটি নতুন শীট যুক্ত করুন এবং সেটির নাম দিন `Raw Sales Data`।

2. উদাহরণ ডেটা কপি করুন: নিচের স্যাম্পল ডেটাটি কপি করুন:

```

Order ID,Product Name,Sales Amount,Date,Region,Customer Name

ORD001,Laptop Pro,1200,2023-01-05,Dhaka,Ahmed Traders

ORD002,Mouse X Pro,25,2023-01-05,Chittagong,Karim Electronics

ORD003,Keyboard Pro,75,2023-01-06,Dhaka,Ahmed Traders

ORD004,Laptop Pro,1200,2023-01-07,Dhaka,Ahmed Traders

ORD005,Mouse X Pro,25,2023-01-07,Rajshahi,Rahim Solutions

ORD006,laptop pro,1200,2023-01-08,DHAKA,Ahmed Traders

ORD007,External HDD 1TB,60,2023-01-09,Khulna,Zaman Technologies

ORD008,Mouse X Pro,25,2023-01-09,Chittagong,Karim Electronics

ORD009,Keyboard Pro,75,2023-01-10,Dhaka,Ahmed Traders Pvt. Ltd.

ORD010,Laptop Pro,1200,2023-01-11,Sylhet,Rahman & Sons

ORD011,External HDD 1TB,60,2023-01-11,Khulna,Zaman Technologies

ORD012,Mouse X Pro,25,2023-01-12,Chittagong,Karim Electronics

ORD013,Keyboard Pro,75,2023-01-13,Dhaka,Ahmed Traders

ORD014,Laptop Pro,1200,2023-01-14,Dhaka,Ahmed Traders

ORD015,external hdd 1tb,60,2023-01-15,Khulna,Zaman Technologies

```

3. গুগল শিটসে পেস্ট করুন: `Raw Sales Data` শীটের `A1` সেলে ক্লিক করে Paste করুন (Ctrl+V বা Cmd+V)। গুগল শিটস স্বয়ংক্রিয়ভাবে ডেটাগুলোকে কলামে সাজিয়ে নেবে।

এখন আপনার কাছে কাঁচা ডেটা আছে। পরের ধাপে আমরা এই ডেটার সমস্যাগুলো চিহ্নিত করব।

ডুপ্লিকেট ডেটা চিহ্নিত করা এবং অপসারণ

ডুপ্লিকেট ডেটা আমাদের রিপোর্টের ফলাফলকে ভুল দেখাতে পারে। একই এন্ট্রি বারবার থাকলে মোট বিক্রির পরিমাণ ভুলভাবে বেশি দেখাবে। এআই ব্যবহার করে আমরা এই ডুপ্লিকেট ডেটাগুলোকে আরও কার্যকরভাবে পরিচালনা করতে পারি, বিশেষ করে যখন ডুপ্লিকেটগুলো হুবহু এক না হয়েও একই অর্থ বহন করে।

ডুপ্লিকেট ডেটা শনাক্ত এবং অপসারণের জন্য আমরা প্রথমে গুগল শিটসের বিল্ট-ইন ফাংশন ব্যবহার করব এবং তারপর দেখব কীভাবে এআই আমাদের ডুপ্লিকেট শনাক্তকরণ প্রক্রিয়াকে আরও উন্নত করতে পারে।

1. গুগল শিটসের বিল্ট-ইন ডুপ্লিকেট রিমুভার ব্যবহার:

• প্রথমে ডেটার হেডার (`A1:F1`) ছাড়া পুরো ডেটাসেট (যেমন, `A2:F16`) সিলেক্ট করুন।
• মেনু থেকে `Data` > `Data cleanup` > `Remove duplicates` অপশনটি বেছে নিন।
• একটি পপ-আপ উইন্ডো আসবে। এখানে `Data has header row` অপশনটি আনচেক করে দিন (কারণ আমরা হেডার সিলেক্ট করিনি)।
• কোন কলামের ভিত্তিতে ডুপ্লিকেট খুঁজবেন তা সিলেক্ট করুন। আমাদের ক্ষেত্রে, `Order ID` (কলাম A) সবচেয়ে নির্ভরযোগ্য, কারণ দুটি অর্ডারের ID একই হতে পারে না। `Order ID` সিলেক্ট করে `Remove duplicates` বাটনে ক্লিক করুন।
• গুগল শিটস আপনাকে জানাবে কয়টি ডুপ্লিকেট রো সরানো হয়েছে।
• পর্যবেক্ষণ: আমাদের উদাহরণ ডেটাসেটে, `ORD004` এবং `ORD014` অর্ডার ID গুলো `ORD001` এর হুবহু ডুপ্লিকেট। `ORD006` `ORD001` এর প্রায় ডুপ্লিকেট কিন্তু রিজিওন এবং প্রোডাক্ট নামে কেস সেনসিটিভিটির ভিন্নতা রয়েছে। এই বিল্ট-ইন পদ্ধতি হুবহু ডুপ্লিকেট সরাবে।

2. এআই ব্যবহার করে "প্রায় ডুপ্লিকেট" শনাক্তকরণ:

গুগল শিটসের বিল্ট-ইন ডুপ্লিকেট রিমুভার কেবল হুবহু একরকম ডেটা সরাতে পারে। কিন্তু যদি `Laptop Pro` এবং `laptop pro` একই জিনিস হয়, অথবা `Ahmed Traders` এবং `Ahmed Traders Pvt. Ltd.` একই কোম্পানির দুটি ভিন্ন নাম হয়? এখানেই এআই আমাদের সাহায্য করতে পারে। আমরা এআইকে একটি কলামের মান দেখে সেগুলোর মধ্যে লুকানো মিল খুঁজে বের করতে বলতে পারি।

• `Raw Sales Data` শীটে একটি নতুন কলাম (যেমন `G` কলাম) তৈরি করুন এবং হেডার দিন `Standardized Product Name`।
• `G2` সেলে নিচের `GPT_FILL` ফর্মুলাটি ব্যবহার করুন:

```excel

=GPT_FILL(B2:B16, "Standardize these product names to their most common form. For example, 'laptop pro' should become 'Laptop Pro'.", 1)

```

এই ফর্মুলাটি `B2` থেকে `B16` সেলের `Product Name` গুলোকে একটি স্ট্যান্ডার্ড ফর্মে নিয়ে আসবে। `1` আর্গুমেন্টটি নির্দেশ করে যে এটি একটি সিঙ্গেল কলামের জন্য কাজ করবে।

• এরপর আরেকটি নতুন কলাম (যেমন `H` কলাম) তৈরি করুন এবং হেডার দিন `Standardized Customer Name`।
• `H2` সেলে নিচের `GPT_FILL` ফর্মুলাটি ব্যবহার করুন:

```excel

=GPT_FILL(F2:F16, "Standardize these customer names. 'Ahmed Traders Pvt. Ltd.' should be 'Ahmed Traders'. Combine variations of the same company.", 1)

```

এই ফর্মুলাটি `F2` থেকে `F16` সেলের `Customer Name` গুলোকে স্ট্যান্ডার্ড করবে। লক্ষ্য করুন, `Ahmed Traders` এবং `Ahmed Traders Pvt. Ltd.` এখন একই নামে রূপান্তরিত হবে।

• এখন, এই স্ট্যান্ডার্ডাইজড কলামগুলো সহ আবার ডুপ্লিকেট রিমুভার চালান। আপনার ডেটা কপি করে একটি নতুন শীটে পেস্ট করে এই কাজটি করতে পারেন, যাতে মূল ডেটা অক্ষত থাকে। এইবার, `Product Name`, `Sales Amount`, `Date`, `Region`, `Customer Name`, `Standardized Product Name`, `Standardized Customer Name` কলামগুলো সিলেক্ট করে `Remove duplicates` চালান।
• গুরুত্বপূর্ণ: `Order ID` কলামটি ডুপ্লিকেট হিসেবে চিহ্নিত করবেন না, কারণ প্রতি অর্ডারের একটি অনন্য ID থাকা উচিত। আপনি `Order ID` ছাড়া অন্যান্য কলামের ভিত্তিতে ডুপ্লিকেট অপসারণ করতে পারেন, যদি আপনার ডেটা এন্ট্রি ভুল থাকে এবং একই অর্ডার একাধিকবার ভিন্ন ID নিয়ে প্রবেশ করানো হয়ে থাকে। আমাদের ক্ষেত্রে, আমরা ডেটা পরিষ্কার করছি যাতে পরবর্তীতে বিশ্লেষণের সময় একই ধরণের ডেটা একত্রিত হয়।

এই ধাপে আমরা শিখলাম কিভাবে গুগল শিটসের বিল্ট-ইন টুল এবং এআই ব্যবহার করে ডুপ্লিকেট ডেটা শনাক্ত ও অপসারণ করতে হয়। এআই এক্ষেত্রে সেমান্টিক ডুপ্লিকেট (যেগুলো একই অর্থ প্রকাশ করে কিন্তু বানানে ভিন্ন) শনাক্ত করতে অসাধারণ ভূমিকা পালন করে।

এআই দিয়ে অগোছালো ডেটা ক্লিন করা (Inconsistent Data)

অগোছালো ডেটা বলতে বোঝায় একই ধরণের তথ্যের জন্য একাধিক ভিন্ন ফরম্যাট ব্যবহার করা। যেমন, `Dhaka` এবং `DHAKA`, `2023-01-01` এবং `01/01/2023`। এই ধরনের অসামঞ্জস্যতা বিশ্লেষণ এবং রিপোর্টে সমস্যা তৈরি করে। এআই, বিশেষ করে ChatGPT এবং GPT for Sheets এর মতো টুলস, এই ধরনের ডেটা ক্লিনিংয়ে খুবই শক্তিশালী।

আমরা `Product Name` এবং `Region` কলামে অসামঞ্জস্যতা দেখেছি। এর আগেও `GPT_FILL` ব্যবহার করে `Product Name` এবং `Customer Name` স্ট্যান্ডার্ডাইজ করেছি। এখন `Region` কলামটি স্ট্যান্ডার্ডাইজ করব এবং অন্য ডেটা ক্লিনিং ফর্মুলা দেখব।

1. `Region` কলাম স্ট্যান্ডার্ডাইজ করা:

• `Raw Sales Data` শীটে আরেকটি নতুন কলাম (যেমন `I` কলাম) তৈরি করুন এবং হেডার দিন `Standardized Region`।
• `I2` সেলে নিচের `GPT_FILL` ফর্মুলাটি ব্যবহার করুন:

```excel

=GPT_FILL(E2:E16, "Standardize these region names to title case. For example, 'DHAKA' should become 'Dhaka'. Ensure consistency.", 1)

```

এই ফর্মুলাটি `E2` থেকে `E16` সেলের `Region` গুলোকে একটি সামঞ্জস্যপূর্ণ ফরম্যাটে (যেমন Title Case) নিয়ে আসবে। এটি স্বয়ংক্রিয়ভাবে `DHAKA` কে `Dhaka` তে রূপান্তর করবে।

2. এআই দিয়ে ডেটা ফরম্যাট পরিবর্তন:

অনেক সময় তারিখ, মুদ্রা বা অন্যান্য সংখ্যার ফরম্যাট ভুল থাকতে পারে। এআই এখানেও সাহায্য করতে পারে। উদাহরণস্বরূপ, যদি আপনার তারিখগুলো ভিন্ন ফরম্যাটে থাকে:

• একটি নতুন কলামে (`J` কলাম) `Formatted Date` হেডার দিন।
• `J2` সেলে নিচের `GPT_FILL` ফর্মুলাটি ব্যবহার করুন (যদি আপনার তারিখ কলামে ভিন্ন ফরম্যাট থাকে):

```excel

=GPT_FILL(D2:D16, "Convert these dates to 'YYYY-MM-DD' format.", 1)

```

আমাদের বর্তমান ডেটাসেটে তারিখগুলো ইতিমধ্যেই `YYYY-MM-DD` ফরম্যাটে আছে। এটি কেবল দেখানোর জন্য যে এআই কিভাবে ডেটা ফরম্যাটিংয়ে সাহায্য করতে পারে।

3. সাদা স্থান (Whitespace) অপসারণ:

অনেক সময় ডেটা এন্ট্রির সময় অতিরিক্ত স্পেস বা সাদা স্থান (যেমন, ` Product A ` এর বদলে `Product A`) থেকে যায়। এটি যদিও সরাসরি এআই দিয়ে করা যায় না, তবে এআই ফর্মুলা জেনারেশনে আমরা এর জন্য ফর্মুলা চাইতে পারি। গুগল শিটস এর জন্য `TRIM()` ফাংশন আছে। এআই আপনাকে সঠিক ফাংশনটি সাজেস্ট করতে পারে।

• এআইকে জিজ্ঞাসা করুন: আপনি `GPT` ফাংশন ব্যবহার করে জিজ্ঞাসা করতে পারেন। উদাহরণস্বরূপ, একটি সেলে টাইপ করুন:

```excel

=GPT("How to remove leading/trailing spaces from a cell in Google Sheets?", "formula")

```

এআই আপনাকে উত্তর দেবে:

`=TRIM(A1)`

• এটি আপনাকে সঠিক ফাংশনটি জানতে সাহায্য করবে। এরপর আপনি এটি আপনার ডেটাতে প্রয়োগ করতে পারেন।

এই ধাপে আমরা দেখলাম কিভাবে `GPT_FILL` ব্যবহার করে `Region` কলামের অসামঞ্জস্যতা দূর করা যায় এবং কিভাবে এআইকে ডেটা ফরম্যাটিং বা ক্লিনিংয়ের জন্য প্রয়োজনীয় গুগল শিটস ফাংশন জানতে ব্যবহার করা যায়। সেরা এআই টুলস সংক্রান্ত আমাদের গাইডটিতে আপনি আরও অনেক কার্যকর এআই টুলের সন্ধান পাবেন যা আপনার ফ্রিল্যান্সিং কাজে গতি আনবে।

ক্লিন ডেটা প্রস্তুত করা

আমরা এখন ডুপ্লিকেট এবং অগোছালো ডেটা ক্লিনিংয়ের প্রাথমিক ধাপগুলো সম্পন্ন করেছি। আমাদের হাতে এখন `Raw Sales Data` শীটে মূল ডেটা সহ বেশ কিছু নতুন "Standardized" কলাম রয়েছে। এই কলামগুলো ব্যবহার করে আমরা একটি পরিচ্ছন্ন এবং নির্ভরযোগ্য ডেটাসেট তৈরি করব।

1. একটি নতুন ক্লিন শীট তৈরি করুন: আপনার গুগল শিটস ফাইলে আরেকটি নতুন শীট যুক্ত করুন এবং এর নাম দিন `Clean Sales Data`।

2. পরিষ্কার ডেটা কপি-পেস্ট করুন:

• `Raw Sales Data` শীটে ফিরে যান।
• এখন, মূল হেডার (Order ID থেকে Customer Name) এবং আপনার তৈরি করা Standardized কলামগুলোর হেডার (Standardized Product Name, Standardized Customer Name, Standardized Region) কপি করুন।
• `Clean Sales Data` শীটের `A1` সেলে পেস্ট করুন।
• এরপর, `Raw Sales Data` শীট থেকে `Order ID` (কলাম A) থেকে `Sales Amount` (কলাম C) পর্যন্ত ডেটা কপি করুন (A2:C16)।
• `Clean Sales Data` শীটের `A2` সেলে পেস্ট করুন।
• `Raw Sales Data` শীট থেকে `D` কলামের `Date` ডেটা কপি করে `Clean Sales Data` শীটের `D` কলামে পেস্ট করুন।
• `Raw Sales Data` শীট থেকে আপনার তৈরি করা `Standardized Region` কলামের ডেটা (I2:I16) কপি করুন।
• `Clean Sales Data` শীটের `E2` সেলে `Region` হেডার বরাবর পেস্ট করুন।
• একইভাবে, `Raw Sales Data` শীট থেকে `Standardized Customer Name` কলামের ডেটা (H2:H16) কপি করুন।
• `Clean Sales Data` শীটের `F2` সেলে `Customer Name` হেডার বরাবর পেস্ট করুন।
• এবং সবশেষে, `Raw Sales Data` শীট থেকে `Standardized Product Name` কলামের ডেটা (G2:G16) কপি করুন।
• `Clean Sales Data` শীটের `G2` সেলে `Product Name` হেডার বরাবর পেস্ট করুন।

একটু জটিল মনে হতে পারে, তাই না? আরেকটু সহজভাবে ভাবুন: আমরা শুধু সেই কলামগুলো নিচ্ছি, যেগুলো পরিষ্কার করা হয়েছে বা যেগুলো অপরিবর্তিত রাখা হবে। মূল `Product Name`, `Region`, `Customer Name` কলামের বদলে আমরা তাদের `Standardized` সংস্করণ ব্যবহার করছি। আপনি চাইলে `Clean Sales Data` শীটে কলামের ক্রম নিজের সুবিধা অনুযায়ী সাজিয়ে নিতে পারেন।

3. চূড়ান্ত ডুপ্লিকেট অপসারণ (ঐচ্ছিক কিন্তু ভালো):

`Clean Sales Data` শীটে, `Order ID` কলাম সিলেক্ট করুন এবং `Data` > `Data cleanup` > `Remove duplicates` ব্যবহার করে নিশ্চিত করুন যে কোনো `Order ID` ডুপ্লিকেট নেই।

এখন আপনার `Clean Sales Data` শীটে একটি পরিচ্ছন্ন এবং সামঞ্জস্যপূর্ণ ডেটাসেট রয়েছে, যা পরবর্তী বিশ্লেষণের জন্য প্রস্তুত। আমরা এই ডেটাসেটটি ব্যবহার করে শক্তিশালী ড্যাশবোর্ড এবং রিপোর্ট তৈরি করব।

পরের পর্বে যা আসছে

এই পর্বে আমরা সফলভাবে কাঁচা ডেটা ইম্পোর্ট এবং এআই ব্যবহার করে ডেটা ক্লিনিংয়ের কাজটি সম্পন্ন করেছি। আমাদের হাতে এখন একটি পরিচ্ছন্ন ডেটাসেট রয়েছে, যা আমাদের স্মার্ট সেলস রিপোর্টিং সিস্টেমের জন্য প্রস্তুত।

পরের পর্বে, অর্থাৎ পর্ব 3-এ, আমরা এআই ব্যবহার করে এই ক্লিন ডেটা থেকে প্রয়োজনীয় ক্যালকুলেশন এবং সামারি ডেটা তৈরি করব। আমরা শিখব কিভাবে এআইকে দিয়ে ডেটা এনালাইসিসের জন্য বিভিন্ন ফর্মুলা (যেমন, মোট বিক্রি, মাসিক গড়, সেরা পণ্য) তৈরি করানো যায়। এই ধাপটি আমাদের রিপোর্টিং সিস্টেমের মূল চালিকা শক্তি হবে।