 |
| طريقة إنشاء خريطة sitemap و ملف robot txt |
ماهو ملف الروبوتس Robot.txt
Robots.txt هو ملف نصي يُستخدم لإخبار روبوتات الويب (عادةً روبوتات محركات البحث) بكيفية الزحف إلى الصفحات الموجودة على موقع الويب. إنه جزء من بروتوكول استبعاد الروبوتات (REP)، وهو عبارة عن مجموعة من معايير الويب التي تنظم كيفية زحف الروبوتات إلى الويب والوصول إلى المحتوى وفهرسته وعرض هذا المحتوى للمستخدمين. يشتمل الملف على توجيهات مثل meta robots.
بالإضافة إلى صفحة أو دليل فرعي أو إرشادات على مستوى الموقع لكيفية تعامل محركات البحث مع الروابط (مثل "متابعة" أو "nofollow"). يشير إلى ما إذا كان بإمكان وكلاء مستخدم معينين (برامج زحف الويب) الزحف إلى أجزاء من موقع الويب من خلال تحديد سلوك "عدم السماح" أو "السماح" لبعض وكلاء المستخدم. يجب وضع الملف في دليل المستوى الأعلى لموقع الويب وتسميته "robots.txt"، وقد يختار بعض وكلاء المستخدم (برامج الروبوت) تجاهله.
أهمية ملف الروبوتس Robot.txt
يعد ملف robots.txt أداة أساسية لأصحاب مواقع الويب، حيث يساعد في تسريع فهرسة مواقع الويب الخاصة بهم على محركات البحث. ملف robots.txt هو ملف نصي عادي يحتوي على تعليمات برمجية بسيطة لمنع الزحف إلى صفحات معينة بواسطة عناكب محركات البحث، وبالتالي تقليل كمية البيانات التي يحتاجون إليها للفهرسة. وهذا بدوره يساعد على ضمان فهرسة موقع الويب الخاص بك بسرعة على محركات البحث، مما يحسن فرصك في الظهور في الصفحة الأولى من النتائج.
يساعد ملف robots.txt أيضًا في تقليل استخدام الخادم عن طريق منع الروبوتات من إهدار الموارد، ويمكن أن يساعد في منع التحميل الزائد للخادم من الطلبات المتعددة من زاحف Google. بالإضافة إلى ذلك، يمكن أن يساعد في إخفاء صفحات معينة عن الزوار إذا كانوا يعرفون نقاط الضعف المحتملة في موقع WordPress الخاص بك. لذلك، يعد ملف robots.txt أداة مهمة للغاية لأصحاب مواقع الويب.
ماهي خريطة Sitemap
ملف Sitemap هو ملف يتم تحميله على خادم موقع الويب، عادةً في دليله الرئيسي. يحتوي على جميع الروابط الموجودة على الموقع، مما يساعد عناكب Google وعناكب محركات البحث الأخرى في الزحف إلى الموقع. الملف بتنسيق XML ويتضمن معلومات حول آخر مرة تم فيها تغيير كل صفحة ومدى أهمية كل رابط.
ويوفر لمحركات البحث دليلاً لهيكلية الموقع وروابطه. لا تضمن خريطة الموقع أن تقوم محركات البحث بالزحف إلى موقع ويب بطريقة معينة، ولكن يوصى بها من قبل Google ومحركات البحث الأخرى. إنه مهم بشكل خاص للمواقع الجديدة أو المواقع الكبيرة التي تحتوي على العديد من الصفحات أو المواقع التي لا يتم ربط الصفحات بها بشكل صحيح.
أهمية خريطة sitemap
تعد خريطة الموقع جزءًا مهمًا من تحسين موقع الويب لرؤية محرك البحث. إنه ملف يحتوي على قائمة بجميع صفحات موقع الويب، والتي تستخدمها محركات البحث للزحف إلى الصفحات وفهرستها. تساعد خريطة الموقع برامج الزحف لمحركات البحث على فهم بنية موقع الويب وكيفية ارتباط كل صفحة بالآخر. هذا يجعل من السهل على الزاحف فهم المحتوى وفهرسته بشكل صحيح من أجل رؤية أفضل.
علاوة على ذلك، يمكن لخريطة الموقع أن تساعد مالكي مواقع الويب على إبلاغ برامج زحف محركات البحث بالمحتوى الجديد أو التغييرات التي تم إجراؤها على المحتوى الموجود على موقع الويب. لا يمكن إنكار أهمية وجود خريطة موقع، حيث إنها تساعد على ضمان قيام محركات البحث بالعثور على جميع صفحات موقع الويب وفهرستها، وبالتالي تحسين الرؤية والتصنيفات.
خطوات انشاء ملف Robot.txt
- انتقل إلى صفحة الإعدادات في مدونة Blogger الخاصة بك وقم بتمكين ملف robots.txt.
- انقر فوق Custom Robots.txt لإضافة ملف robots مخصص.
- انسخ الكود التالي والصقه في مربع الإدخال: User-agent: Mediapartners-Google Disallow: User-agent: * Allow: / Allow: / search / label Sitemap: https://www.yoursite.com/sitemap. xml
- استبدل "yoursite" باسم موقعك.
- احفظ التغييرات.
خطوات انشاء خريطة Sitemap
يعد إنشاء خريطة موقع جزءًا أساسيًا من مُحسّنات محرّكات البحث، حيث يساعد عناكب محركات البحث على فهم موقع الويب الخاص بك بشكل أفضل ويضمن الزحف إلى موقع الويب الخاص بك وفهرسته بشكل صحيح. فيما يلي خطوات إنشاء خريطة موقع لموقع الويب الخاص بك:
- اختر منشئ ملفات Sitemap: هناك العديد من مولدات ملفات Sitemap متاحة مجانًا على الإنترنت. حدد أفضل ما يناسب متطلبات موقع الويب الخاص بك.
- قم بإنشاء ملف Sitemap الخاص بك: ابدأ بإدخال عنوان URL لموقع الويب الخاص بك وسيقوم المُنشئ بإنشاء قائمة بجميع الصفحات الموجودة على موقع الويب الخاص بك.
- تخصيص ملف Sitemap الخاص بك: يمكنك تخصيص ملف Sitemap الخاص بك ليشمل صفحات أو صورًا أو مقاطع فيديو أو محتوى آخر. سيساعد هذا محركات البحث على فهم هيكل موقع الويب الخاص بك بشكل أفضل.
- إرسال ملف Sitemap الخاص بك: بمجرد اكتمال ملف Sitemap، قم بإرساله إلى Google Search Console. سيساعد هذا محركات البحث في الزحف إلى موقع الويب الخاص بك والعثور على كل المحتوى.
- مراقبة ملف Sitemap الخاص بك: تأكد من مراجعة ملف Sitemap بانتظام للتأكد من فهرسة جميع الصفحات بشكل صحيح بواسطة محرك البحث. قم بإجراء أي تحديثات ضرورية للحفاظ على موقع الويب الخاص بك محسنًا لنتائج محرك البحث.
اترك رساله هنا لتقديم نصيحه او لملاحظه تود اخبارنا بها