আসসালামুয়ালাইকুম,
আপনি যদি সার্চ ইঞ্জিনে ভালো র্যাঙ্ক পেতে চান তবে Robots.txt ফাইলটি আপনার সাইটের জন্য গুরুত্বপূর্ণ ভূমিকা পালন করে। কিন্তু অনেক ওয়েবসাইটেই এই ফাইলটি খুজে পাওয়া যায়না কিংবা সঠিকভাবে ফাইলটি ব্যবহার করা হয় না, যা সার্চ ইঞ্জিন অপটিমাইজেশনে কুপ্রভাব ফেলতে পারে।
আপনার ওয়েবসাইটে যদি Robots.txt ফাইলটি না থেকে থাকে তবে যত দ্রুত সম্ভব কিভাবে তা তৈরি করতে হয় তা শিখে নিন। আর যদি ফাইলটি ইতিমধ্যেই আপনার ওয়েবসাইটে বা ব্লগে থেকে থাকে তবে এই পোস্টের টিপসগুলো দিয়ে, সেগুলো ফাইলটিকে আরও কার্যকরী করে তুলুন।
যখন সার্চ ইঞ্জিনের সার্চবট কিংবা স্পাইডারগুলো আমার ওয়েবসাইটে এসে আপনার পেজগুলোকে ইনডেক্স শুরু করে, তখন Robots.txt ফাইলটি দিক নির্দেশকের কাজ করে। এই ফাইলটি সার্চ ইঞ্জিন থেকে আগত ক্রওলার বা স্পাইডারকে জানাবে কোন পেজগুলো ইন্ডেক্স করতে হবে আর কোন পেজগুলো ইন্ডেক্স করতে হবে না। আপনার ওয়েবসাইটের পেজগুলো ইন্ডেক্স হওয়া বা না হওয়া অনেকটা এর ওপর নির্ভর করবে ।
ফাইলটি একটি সাধারণ টেক্সট ফাইল, এতে কোন বিশেষ কোডিং করা হয়নি, এটি আপনার ওয়েবসাইটের রুট ডিরেক্টরতে থাকতে হবে। উদাহরণস্বরূপ -
https://www.techtunes.io/robots.txt
আমি আগেই আপনাদের বলেছি Robots.txt ফাইলটি একটি সাধারণ টেক্সট ফাইল, তাই এটি যদি আপনার ওয়েবসাইটে না থেকে থাকে তবে এটি তৈরি করার জন্য আপনার পছন্দ মত টেক্সট ইডিটর (যেমনঃ নোটপ্যাড) খুলুন।
Robots.txt ফাইলটি এক বা একাধিক রেকর্ডের সমন্বয়ে গঠিত হয়। প্রতিটি রেকর্ড একেকটি সার্চ ইঞ্জিনের জন্য প্রয়োজনীয় তথ্য বহন করে। প্রতিটি রেকর্ডই দু’ভাগে বিভক্ত। যেমনঃ
User-agent: googlebot
Disallow: /cgi-bin
এটি যদি Robots.txt ফাইলটিতে লিখে সেভ করা হয় তবে এটি গুগল থেকে আগত বটকে বা স্পাইডারকে আপনার ওয়েবসাইটের সবগুলো পেজ ইন্ডেক্স করার ক্ষমতা দিবে বা অনুমতি দিবে, কিন্তু এটি আপনার রুট ডিরেক্টরিতে থাকা cgi-bin ফোল্ডারের কোন ফাইলকে ইন্ডেক্স করার অনুমতি দিবে না। তার মানে cgi-bin ফোল্ডারটি গুগলবট এড়িয়ে যাবে।
এভাবে Disallow অপশন ব্যবহারের মাধ্যমে আপনি আপনার ওয়েবসাইটের যেকোনো নির্দিষ্ট ফোল্ডার বা ফাইলকে ইন্ডেক্স করা থেকে বিরত রাখতে পারেন। অনেক সাইটে দেখা যায় যে তারা ডুপ্লিকেট কনটেন্ট এর আশংকা থেকে রেহাই পেতে ইচ্ছে করেই আর্কাইভ ফোল্ডারগুলোকে ইন্ডেক্স করা থেকে বিরত রাখে।
আপনি এটি আপনার ওয়েবসাইটের লগ ফাইলে পেতে পারেন, তবে আপনি যদি সার্চ ইঞ্জিন থেকে ভালো পরিমাণে ভিজিটর আশা করেন তবে আপনার উচিৎ সব ইউজার এজেন্টকেই সমান অধিকার দেয়া। মানে সব স্পাইডারকেই আপনার ওয়েবসাইট ইন্ডেক্স করতে দেয়া উচিৎ। সেক্ষেত্রে আপনি “User-agent: *” লিখে দিতে পারেন। যেমনঃ
User-agent: *
Disallow: /cgi-bin
এতে সব সার্চ ইঞ্জিনই আপনার ওয়েবসাইট ইন্ডেক্স করবে।
User-agent: *
Dis allow: /support
এভাবে লিখবেনঃUser-agent: *
Disallow: /support
Disallow: /support
User-agent: *
এভাবে লিখবেনঃUser-agent: *
Disallow: /support
User-agent: *
Disallow: /support /cgi-bin /images/
এভাবে লিখবেনঃUser-agent: *
Disallow: /support
Disallow: /cgi-bin
Disallow: /images
User-agent: *
Disallow:
User-agent: *
Disallow: /
Robots.txt ফাইলটি সম্পাদনা শেষ হয়ে গেলে যেকোনো এফটিপি সফটওয়ারের মাধ্যমে আপনার সাইটের হোম ডাইরেক্টরী / রূট ডাইরেক্টরীতে আপলোড করে দিন।
আপনি যদি উদাহরণ চান তবে এগুলো দেখতে পারেনঃ
আশা করি পোস্টটি সকলের ভালো লেগেছে। আমার লেখা সম্পর্কে আপনার ভালো লাগা-মন্দ লাগা, উপদেশ, অনুরোধ কমেন্টের মাধ্যমে জানালে খুশি হবো।
ধন্যবাদ।
লেখাটি পূর্বে জিন্নাত ভাইয়ের ব্লগে প্রকাশিত
আমি ডিজে আরিফ। বিশ্বের সর্ববৃহৎ বিজ্ঞান ও প্রযুক্তির সৌশল নেটওয়ার্ক - টেকটিউনস এ আমি 14 বছর 3 মাস যাবৎ যুক্ত আছি। টেকটিউনস আমি এ পর্যন্ত 60 টি টিউন ও 1479 টি টিউমেন্ট করেছি। টেকটিউনসে আমার 1 ফলোয়ার আছে এবং আমি টেকটিউনসে 0 টিউনারকে ফলো করি।
আমি আরিফ, সাধারণ একজন আরিফ! চাই অসাধারণ কিছু করতে, সম্ভব কিনা জানিনা কিন্তু ইচ্ছাশক্তির বলে অনেক কিছুই করতে চাই। ব্লগিং - এর সাথে পরিচয় খুব বেশি দিনের না, তবুও বিষয়টাকে ব্যাপকভাবে উপভোগ করছি। ভালো মানের ব্লগার হওয়ার ইচ্ছা আছে। বর্তমানে আমি দশম শ্রেণীতে ঢাকার স্বনামধন্য বিদ্যালয়ে পড়ালেখা করছি।
অনেক কিছু নতুন করে জানলাম।অনেক ধন্যবাদ।এরকম টিউন আরো চাই।