What is Robots.txt? इसे कैसे create और Blog में Add करें?

यदि आप Blogger है तो आपके मन में Robots.txt से related सवाल उठ रहे होंगे जैसे- Robots.txt क्या है? इसे कैसे Create और Blog में add करे? इसे कैसे बनाते है? तो चलिए आज हम इस पोस्ट में इन्हीं सब चीजो के बारे में सीखेंगे|



Robots.txt क्या है?

Robots.txt एक file जो कि आपकी website या blog में use होती है|

जब आपकी वेबसाइट या ब्लॉग पर crawler आता है और indexing करता है तब हम robots.txt के माध्यम से सर्च इंजन को bot को instruction दे सकते है कि उसे कौन-से page पर जाना है और कौन-से पर नहीं|

यदि आपके Blog या Website में Robots.txt नहीं होगी तो क्या होगा? 
अगर Robots.txt नहीं होगी तो search engine bots या spider आपकी वेबसाइट या ब्लॉग के उन page या content को भी crawl करना start कर देगा जिन्हें आप index करवाना नहीं चाहते है इसलिए robots.txt जरुरी होती है|

Robots.txt को कैसे check करे?  
अगर आप किसी वेबसाइट में robots.txt check करना चाहते है तो आप अपने Browser के URL में वेबसाइट टाइप करें,
उसके बाद /robots.txt लिखें और enter button press करे|
अगर आप मेरे ब्लॉग की robots.txt देखना चाहते है तो url में ऐसा https://www.mydigitalemotions.com/robots.txt लिखें इसके बाद enter press तब आपके सामने एक page open होगा और उसमे कुछ निम्नानुसार text लिखा होगा-

User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.mydigitalemotions.com/atom.xml?redirect=false&start-index=1&max-results=500
इसे ही Robots.txt कहते है|

Robots.txt कैसे create करें?

Robots.txt create करने से पहले हमे इस file के format या syntax के बारे में जानना होगा तो आइये इसके format के बारे में जानते है -

User-agent- यहाँ user agent या bots का नाम आता है|

Disallow- मतलब वह page या url जिसे आप crawl नही करवाना चाहते |

Allow- यह सर्च इंजन bots को crawling और indexing की अनुमति देता है|

Robots.txt Creation
इसे create करने के लिए आप निचे लिखे अनुसार code लिखे -


User-agent: *
Disallow: /search
Allow: /
Sitemap: https://यहाँ आप अपने ब्लॉग या वेबसाइट का डोमेन नाम लिखें.com/sitemap.xml  
User-agent: *  
User-agent के बाद * sign का use तब किया जाता है जब हमें search engine के सभी bots द्वारा crawling करवाना हो|

Disallow: /search 
Disallow के बाद /search लिखने से आपके डोमेन के बाद जैसे ही /search आएगा तो सर्च इंजन bots /search के बाद कुछ भी crawl नहीं करेगा|

Allow: /  
इसका मतलब आप सभी page को crawling और indexing करवाना चाहते है|  

Sitemap
यह इसलिए use किया जाता है ताकि सर्च इंजन आपकी वेबसाइट या ब्लॉग को आसानी से crawl और indexing कर सके| 
   
        

Robots.txt का ब्लॉगर ब्लॉग में कैसे Add करे?

Step 1- सबसे पहले आप अपना Blogger login कर लें|
Step 2- फिर setting पर click करें|
Step 3- अब आपको Search Preferences दिख रहा होगा उस पर क्लिक कीजिये |
Step 4- अब आपको custom robots.txt option दिख रहा होगा, उसके सामने edit पे क्लिक कीजिये|
Step 5- अब Enable custom robots.txt content? के सामने yes पर click करे|
Step 6- अब आप निचे text box में आपकी robots.txt का code लिखिए जैसा कि मेने आपको ऊपर बताया था| उसके बाद Save changes पे क्लिक करके save कर दीजिये|

इस तरह आप आसानी से ब्लॉगर ब्लॉग में robots.txt Add कर सकते है|       
-------------------------------------------------------------------------------------
         
       

Post a Comment

2 Comments

  1. Helpful post...that is too in Hindi :)

    ReplyDelete
  2. A few robots are all around planned, expertly worked, cause no mischief and offer important support to humanity (don't we as a whole prefer to "google"). A few robots are composed by novices (recall, a robot is only a program). targonca szállítás Debrecen Europa-Road Kft.

    ReplyDelete