مواضيع جاهزة للنشر للمدونات الحديثة - تحميل تدوينات مجانية

اضافة ملف Robots.txt مخصص لبلوجر بالطريقة الصحيحة 

في هذا المقال سنتعلم كيفية انشاء ملف Robots.txt مخصص لبلوجر وتصدر محركات البحث بالطريقة الصحيحة ان شاء الله .

كيفية انشاء ملف Robots.txt مخصص لبلوجر وتصدر محركات البحث

يستخدم أصحاب مواقع الويب ملف robots.txt لتقديم إرشادات حول مواقعهم إلى روبوتات الويب؛ يسمى هذا بروتوكول استبعاد أو السماح للروبوتات أو العناكب بتصفح موقعك.

حيث يعمل ذلك على النحو التالي:

يريد روبوت أن يزور عنوان URL لموقع الويب ، على سبيل المثال ،

http://www.example.com/welcome.html. 

قبل القيام بذلك
يقوم أولاً بالتحقق من http://www.example.com/robots.txt ، ويعثر على: 

User-agent: * 

Disallow: / 

فهم الأوامر الموجودة في الملف :

================================================

The "User-agent: *" 

يعني أن هذا القسم ينطبق على جميع برامج الروبوت.

================================================

"Disallow: /"

يخبرالروبوتات أنه لا ينبغي زيارة أي صفحات على الموقع.

================================================

Sitemap:https://www.example.com/atom.xml?redirect=false&start-index=1&max-results=500

هذا أمر خاص بخريطة الموقع التي ستقوم الربوتات بتصفحها

================================================

انشاء خريطة الموقع Sitemap

أولا نذهب للموقع :

http://ctrlq.org/blogger/

ثم تقوم بلصق رابط مدونتك أو موقعك في المربع وتضغط على

Generate Sitemap

يظهر لك ملف ال SiteMap جاهز, كل ماعليك فعله هو التحقق منه واضافة الجزء الخاص باعلانات جوجل أدسنس ليصبح الملف كاملاً كالشكل التالي :

(يمكنك نسخ الكود التالي جاهز فقط استبدل الرابط الموجود برابط مدونتك أو موقعك )

User-agent: Mediapartners-Google
Disallow:User-agent: *
Disallow: /search
Allow: /
Sitemap:https://Example.com/atom.xml?redirect=false&start-index=1&max-results=500

ملاحظة:

الملف /robots.txt هو ملف متاح للجمهور. يمكن لأي شخص الاطلاع على أقسام الخادم التي لا تريد أن يستخدمها الروبوت. لذلك لا تحاول استخدام /robots.txt لإخفاء المعلومات.