robots.txt फ़ाइल क्या है और इसका उपयोग कैसे करें?

robots.txt फ़ाइल क्या है और इसका उपयोग कैसे करें? 

“robots.txt” एक टेक्निकल स्टैंडर्ड है जो वेबसाइट ओवनर्स (वेबसाइट के मालिक) का वेब क्रॉलर्स (जैसे कि गूगल बॉट) के लिए वेबसाइट की यात्रा को नियंत्रित करने में मदद करता है। यह एक पाठ फ़ाइल होती है जिसे वेबसाइट के रूट डायरेक्टरी में रखा जाता है और वेब क्रॉलर्स को बताती है कि किस भाग को क्रॉल करने की अनुमति है और किसे नहीं।

Yoast SEO से अपनी वेबसाइट को कैसे रैंक करें
Yoast SEO से अपनी वेबसाइट को कैसे रैंक करें

“robots.txt” फ़ाइल का उपयोग कुछ मुख्य कार्यों के लिए किया जाता है🔴

  1. क्रॉलिंग नियंत्रण🔴 वेबसाइट ओवनर्स यह निर्धारित कर सकते हैं कि कौनसे वेब पृष्ठों को वेब क्रॉलर्स को क्रॉल करने की अनुमति है और कौनसे को नहीं। इसके जरिए, वे विशिष्ट वेब पृष्ठों को या फाइलों को क्रॉलिंग से बचा सकते हैं, जो वेबसाइट के लिए उपयोगी नहीं हो सकते हैं, जैसे कि लॉगिन पृष्ठ या प्राइवेट डेटा।
  2. वेब क्रॉलर का नाम🔴 “robots.txt” फ़ाइल में वेबसाइट के लिए कौन से वेब क्रॉलर्स की अनुमति है, वे वेब क्रॉलर के नाम और आईपी पतों की एक सूची के रूप में स्पेसिफाइ कर सकते हैं।

“robots.txt” फ़ाइल का उपयोग करने के लिए, आपको एक पाठ फ़ाइल बनानी होती है और इसे अपने वेबसाइट के रूट डायरेक्टरी में रखना होता है। फिर, आप इस फ़ाइल में आवश्यक निर्देशों को जोड़ सकते हैं जो वेब क्रॉलर्स को आपकी वेबसाइट की यात्रा को कैसे नियंत्रित करनी है।

ध्यान दें कि “robots.txt” फ़ाइल केवल वेब क्रॉलर्स के लिए सुझाव होती है और वे इसे अनुमानित रूप से फॉलो करते हैं, लेकिन यह किसी भी प्रकार की गैर-सुरक्षितता के लिए एक सुरक्षा उपाय नहीं है। क्राइमिनल्स और बढ़ती तकनीकी चुनौतियों के साथ, वेब क्रॉलर्स किसी भी निर्देशों का पालन नहीं कर सकते हैं, इसलिए आपको वेबसाइट की सुरक्षा को सुनिश्चित करने के लिए अन्य सुरक्षा उपायों का भी उपयोग करना हो सकता है।

robots.txt फ़ाइल का इसका उपयोग कैसे करें? 

“robots.txt” एक प्रकार की टेक्निकल फ़ाइल है जो वेबसाइट प्रशासकों द्वारा उपयोग की जाती है ताकि वेब रोबोट्स (जैसे कि गूगल बॉट्स) को साइट के विभिन्न भागों की एक्सेस की अनुमति दी जा सके या विशेष भागों से उन्हें ब्लॉक किया जा सके।

robots.txt फ़ाइल का प्राथमिक उद्देश्य है किसी खोज इंजन को बताना कि किस भाग कोली वेबसाइट के रोबोट्स को क्रॉल और इंडेक्स करने की अनुमति है और किन भागों को नहीं क्रॉल करने की अनुमति नहीं है।

robots.txt फ़ाइल का एक सामान्य रूप से इस तरह से दिख सकता है🔴

javascript
User-agent🔴 *
Disallow🔴 /private/
Allow🔴 /public/

इस robots.txt फ़ाइल में दो प्रमुख डायरेक्टिव्स हैं🔴

  1. User-agent🔴 यह बताता है कि इस डिसालो और एलो कमांड को कौनसा वेब रोबोट (उपयोगकर्ता एजेंट) मानेगा। * यहां एक विशेष उपयोगकर्ता एजेंट के लिए सभी रोबोट्स को संकेत देता है।
  2. Disallow🔴 यह बताता है कि किस URL पैथ को रोबोट्स क्रॉल नहीं कर सकते हैं। /private/ पैथ को यहां पर नकारा किया गया है, इसका मतलब है कि रोबोट्स उस पैथ को क्रॉल नहीं करेंगे।
  3. Allow🔴 यह बताता है कि किस URL पैथ को रोबोट्स क्रॉल कर सकते हैं, चाहे वे Disallow की अनुमति देते हैं। /public/ पैथ को यहां पर अनुमति दी गई है, इसका मतलब है कि रोबोट्स इस पैथ को क्रॉल कर सकते हैं।

वेबसाइट प्रशासकों को यह अनुमति देता है कि वे वेबसाइट की विशिष्ट भागों को अलग-अलग तरीके से क्रॉल करने की अनुमति दें और वेब रोबोट्स को अपनी साइट की सामग्री को सही तरीके से समझने में मदद कर सकता है।

Dayanand Kumar Deepak

Dayanand Kumar Deepak is the MD (Managing Director) and CEO (Chief Executive Officer) of YouTubPRO.com and Whole Time Director, Independent Director, Shareholder/Investor Grievance Committee, Remuneration Committee.

Leave a Reply

Your email address will not be published. Required fields are marked *