ব্লগ সাইটের জন্য robots.txt ফাইল যা দ্বারা সহজেই সাইট গুগলে রেংক করবে
যারা ব্লগার সাইটে robots.txt ফাইল নিয়ে সংশয় আছেন, তাদের জন্য এই প্রবন্ধটি আলোচনা করা হলো। এই প্রবন্ধটি আপনি যদি সম্পুর্ন পড়েন তাহলে এই কোডিং এর কাজগুলো সম্পর্কে জানতে পারবেন। আর যদি আপনি ঝামেলা ছাড়াই আপনার সাইটকে রান করাতে চান তাহলে শেষের অংশটুকু পড়ুন। সময় নষ্ট করার কোন প্রয়োজন নেই।
চলুন, এই ফাইলের প্রতিটি অংশের অর্থ ব্যাখ্যা করা যাক:
User-agent: * এই লাইনটি নির্দেশ করে যে নিচের নিয়মগুলি সমস্ত সার্চ ইঞ্জিন ক্রলারদের (যেমন Googlebot, Bingbot ইত্যাদি) জন্য প্রযোজ্য।
Allow: / এই লাইনটি সমস্ত ক্রলারকে আপনার সাইটের প্রতিটি পেজ এবং কন্টেন্ট ক্রল করার অনুমতি দেয়। একটি ব্লগ সাইটের জন্য সাধারণত এটিই করা হয়, যাতে সমস্ত পোস্ট এবং পেজ সার্চ রেজাল্টে আসতে পারে। যদি আপনার সাইটে এমন কোনো অংশ থাকে যা আপনি সার্চ ইঞ্জিনে দেখাতে চান না (যেমন অ্যাডমিন প্যানেল, ব্যক্তিগত ফাইল), তাহলে Allow এর বদলে Disallow ব্যবহার করতে পারেন। তবে, সাধারণত একটি ব্লগ সাইটে সমস্ত কন্টেন্ট পাবলিক করার উদ্দেশ্য থাকে।
Sitemap: আপনার_ব্লগ_সাইটের_Sitemap_URL_এখানে_দিন: এটি অত্যন্ত গুরুত্বপূর্ণ। এখানে আপনার ব্লগ সাইটের XML সাইটম্যাপের সম্পূর্ণ URL দিতে হবে। সাইটম্যাপ আপনার সাইটের সমস্ত গুরুত্বপূর্ণ পেজের একটি তালিকা সরবরাহ করে, যা সার্চ ইঞ্জিন বটদের আপনার সাইটকে আরও কার্যকরভাবে ক্রল করতে এবং নতুন কন্টেন্ট দ্রুত খুঁজে পেতে সাহায্য করে।
গুরুত্বপূর্ণ বিষয়গুলি যা আপনাকে করতে হবে:
আপনার সাইটম্যাপের URL খুঁজে বের করুন: বেশিরভাগ ব্লগিং প্ল্যাটফর্ম (যেমন WordPress, Blogger) স্বয়ংক্রিয়ভাবে একটি সাইটম্যাপ তৈরি করে।
WordPress: যদি আপনি Yoast SEO বা Rank Math এর মতো প্লাগইন ব্যবহার করেন, তাহলে আপনার সাইটম্যাপ সাধারণত আপনার_ডোমেইন/sitemap_index.xml অথবা আপনার_ডোমেইন/sitemap.xml এর মতো হয়।
Blogger: Blogger-এর সাইটম্যাপ সাধারণত আপনার_ডোমেইন/sitemap.xml বা আপনার_ডোমেইনএর মতো দেখতে হয়। আপনি আপনার ব্লগারের সেটিংসে এটি খুঁজে নিতে পারেন।
তবে অনেকেই ভুল করে /atom.xml?redirect=false&start-index=1&max-results=500 এই ফাইলটি এখানে বসায়। এটা RSS feed. এটা রোবট টেক্স ফাইলন নয়। তাই এটি ব্যবহার করা উচিত না। না না না।
যদি আপনার সাইটে কোনো ব্যক্তিগত বা অপ্রয়োজনীয় ফোল্ডার থাকে যা আপনি সার্চ ইঞ্জিন থেকে লুকিয়ে রাখতে চান, তাহলে আপনি Disallow ব্যবহার করতে পারেন। যেমন:
User-agent: *
Allow: /
Disallow: /admin
Disallow: /private
Disallow: /cgi-bin
Sitemap: আপনার_ব্লগ_সাইটের_Sitemap_URL_এখানে_দিন
এখানে, /admin/, /private/, এবং /cgi-bin/ ফোল্ডারগুলো সার্চ ইঞ্জিন ক্রল করবে না।
একটি ব্লগ সাইটের জন্য, উপরের প্রথম উদাহরণটি (শুধুমাত্র Allow: /) সাধারণত সবচেয়ে ভালো কারণ আপনি চান আপনার সব কন্টেন্ট ইন্ডেক্স হোক।
আপনার ব্লগ সাইটের জন্য robots.txt ফাইলটি তৈরি করার পরে, আপনি Google Search Console ব্যবহার করে এটি পরীক্ষা করতে পারেন। এটি আপনাকে নিশ্চিত করবে যে ফাইলটি সঠিকভাবে কাজ করছে এবং Googlebot আপনার সাইটকে ঠিকভাবে ক্রল করতে পারছে।
ঝামেলা ছাড়াই আপনার সাইটকে রেংক করান
যদি মনে করেন আপনি উপরের আর্টিকেলের কিছুই বুঝেন নাই বা মগজে কিছু ঢুকে নাই, তাহলে কাস্টম robot.txt file এ নিচের কোড টি বসিয়ে দিন। এই কোড টি সরাসরি google-এর ব্লগার হেল্প সাইট থেকে নেয়া। yourdomain এর জায়গায় আপনার ওয়েবসাইটের নামটাই বসিয়ে দিন। আর কিছু করতে হবে না। এটা গ্যারান্টি।
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://yourdomain.blogspot.com/sitemap.xml
Sitemap: https://yourdomain.blogspot.com/sitemap-pages.xm
আপনি যদি উপরের robots.txt ফাইলটি ব্যবহার করে উপকার পান, যে ব্লগ সাইটের ফাইলগুলো ব্রাউজ করছে, তাহলে আমাকে জানাতে পারেন!
