ما هو Robot.txt وكيفية إعداده؟
Robot.txt هو ملف نصي مملوك لموقع ويب / مدونة ، يعمل على توجيه روبوتات محرك البحث حول كيفية التفاعل مع موقع الويب أو المدونة. يستخدم العديد من مشرفي المواقع عادةً ملفات Robot txt لإرشاد
الروبوتات حول الصفحات والأدلة وعناوين URL التي يجب الزحف إليها والأجزاء التي يجب عدم الزحف إليها. يمكنه حظر جميع روبوتات محركات البحث التي تأتي إلى الموقع. لتسهيل الفهم ، يرجى تابع الشرح أدناه.
يمكن تشبيه ملف Robot TXT هذا بمالك المنزل ، كما أن روبوت محرك البحث يشبه الضيف. لذلك ، يحق لصاحب المنزل إرشاد جميع الضيوف الذين يأتون إلى الغرفة / الغرفة التي يمكنهم الدخول إليها
والغرفة / الغرفة التي لا يُسمح لهم بالدخول إليها. لذلك ، في الأساس ، ملف robot txt هذا هو ملف .txt تم إنشاؤه بواسطة مشرفي
المواقع بلغة برمجة يفهمها روبوتات محرك البحث حول أقسام الصفحة والأدلة وعناوين URL التي يمكن الزحف إليها وفهرستها في محركات البحث.
قائمة أوامر Robot.txt
فيما يلي لغة برمجة أساسية يتم تضمينها غالبًا في ملف robot.txt.
- User-agent: * : هذا الأمر يعني رمز الأمر الذي ينطبق على جميع برامج الروبوت ، سواء كان google bot ، أو google mobile bot ، أو google image bot ، أو Bing bot ، وما إلى ذلك ، للإرسال إلى الأوامر التي تم تحميلها في ملف robot.txt
- User-agent: Googlebot-mobile : طلب مخصص لـ Googlebot-mobile فقط.
- "Disallow:" : يعمل هذا الأمر على توضيح الأجزاء التي لا يسمح الروبوت بالزحف إليها.
- "Allow: /" : تسمح وظائف هذا الأمر للروبوتات بالزحف إلى جميع صفحات الويب باستثناء تلك المدرجة في الأمر disallow.
إذا كنت لا تزال في حيرة من أمرك ، فسأكمل البرامج التعليمية التالية لتسهيل فهمها
البرنامج التعليمي 1 : كيفية تحرير جميع روبوتات محركات البحث للزحف إلى جميع محتويات الويب إلى أجل غير مسمى
User-agent: *
Disallow:
البرنامج التعليمي 2 : كيفية منع جميع روبوتات محركات البحث من الزحف إلى كل محتوى الويب
User-agent: *
Disallow: /
البرنامج التعليمي 3 : كيفية منع جميع الروبوتات في عدة أدلة
User-agent: *
Disallow: / cgi-bin /
Disallow: / tmp /
Disallow: / wp-admin /
البرنامج التعليمي 4 : كيفية حظر نوع واحد فقط من الروبوتات. على سبيل المثال ، نريد فقط حظر برنامج Yandex bot.
User-agent: YandexBot
Disallow: /
كيفية تعيين ملف Robot.txt لجعله أكثر ملاءمة ل سيو
تعرف أنه كلما زادت الحرية التي نمنحها لروبوتات محرك البحث للزحف إلى موقع ويب ، كلما كان تأثيره أسوأ على نتائج البحث في نتائج محرك البحث. هذا لأنه لا يمكن تصنيف جميع الصفحات الموجودة على
موقع ويب / مدونة على أنها صفحات عالية الجودة في عيون محركات البحث ، وفي النهاية كلما تمت فهرسة المزيد من الصفحات منخفضة الجودة ، كانت جودة موقع الويب أو المدونة أسوأ في العيون من
محركات البحث. لذلك ، يعد إعداد robot.txt أحد الأشياء التي يجب القيام بها في تحسين Onpage SEO . لتسهيل الفهم ، قسمت هذا البرنامج التعليمي إلى جزأين: إعداد ملف robot.txt في استضافة Wordpress الذاتية و blogger.
كيفية إعداد ملف robot.txt على الاستضافة الذاتية لـ WordPress
فالرجاء إنشاء ملف جديد في public_html وتسمية الملف robots.txt
بعد إدخال ملف robots.txt ، يرجى إدخال البرنامج النصي أدناه
sitemap: http://www.dmbrom.com/sitemap.xml
User-agent: *
# disallow all files in these directories
Disallow: / wp-admin /
Disallow: / wp-includes /
Disallow: / cgi-bin /
Disallow: / wp-content /
Disallow: / archives /
Disallow: / *? *
Disallow: *? replytocom
Disallow: / author
Disallow: / comments / feed /
Disallow: * / trackback /
Disallow: / wp- *
Disallow: / *? *
User-agent: Mediapartners-Google *
Allow: /
User-agent: Googlebot-Image
Allow: / wp-content / uploads /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
لا تنس استبدال اسم الدمين sitemap: www.dmbrom.com بنطاقك.
كيفية ضبط ملف robot.txt للمدون
يرجى تسجيل الدخول إلى حساب blogger الخاص بك ، وتحديد الإعدادات -> تفضيلات البحث -> تنشيط ملف robot.txt خاص
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: / search
Disallow: /? M = 1
Disallow: /? M = 0
Disallow: / *? M = 1
Disallow: / *? M = 0
User- agent: *
Disallow: / search
Sitemap: http://dmbrom.com/feeds/posts/default?orderby=UPDATED
لا تنس استبدال خريطة الموقع بنطاقات Blogspot الخاصة بها.
تحتاج إلى معرفة أن هناك الكثير من توصيات robot.txt للمدونين على الإنترنت ، لكنني أفضل إعداد ملف robot.txt في النص أعلاه لأنه ، في رأيي الشخصي ، يمكن للإعدادات المذكورة أعلاه أن تمنع المحتوى المكرر.
تعليقات
إرسال تعليق