robots.txt nima va qanday yoziladi?

robots.txt — sayt ildizidagi oddiy matn fayl. U crawlerlarga qaysi yo'llarni ko'rish mumkinligini bildiradi. Manzili doim shunga o'xshaydi:

https://example.uz/robots.txt

Bu xavfsizlik devori emas. Yopilgan URL baribir odamga ochiq bo'lishi mumkin. Maxfiy sahifani login va ruxsat bilan himoyalang.

1-qadam: mavjud faylni tekshiring

Brauzerda /robots.txtni oching. Fayl yo'q bo'lsa, ko'p crawlerlar saytni ochiq deb qabul qiladi. Eng xavfli qoida:

User-agent: *
Disallow: /

Bu barcha crawlerlarga butun saytni crawl qilmaslikni aytadi. Production saytida testdan qolib ketmasin.

2-qadam: sodda fayldan boshlang

Ko'p sayt uchun quyidagi shakl yetarli:

User-agent: *
Disallow: /admin/
Disallow: /cabinet/

Sitemap: https://example.uz/sitemap.xml

User-agent: * barcha botlar uchun guruh. Disallow crawl qilinmaydigan yo'lni, Sitemap esa sitemap manzilini ko'rsatadi.

3-qadam: kerakli sahifani tasodifan yopmang

CSS, JavaScript va muhim rasmlarni sababsiz bloklamang. Google sahifani foydalanuvchi kabi ko'rishi uchun bu resurslarga kirishi kerak bo'lishi mumkin.

Qoida prefix bo'yicha ishlashi mumkin. Masalan, Disallow: /blog /blog/ ichidagi hamma URLlarga ta'sir qilishi ehtimoli bor. O'zgarishdan oldin aniq yo'lni yozing va tekshiring.

4-qadam: robots.txt va noindex farqini biling

• robots.txt — crawlni boshqaradi;
• noindex — qidiruv natijasida ko'rsatishni boshqaradi.

Google rasmiy qo'llanmasida noindex ishlashi uchun crawler sahifaga kira olishi kerakligi aytiladi. Sahifani indeksdan chiqarish kerak bo'lsa, uni robots.txt'da ochiq qoldirib, sahifaning o'ziga noindex qo'ying.

5-qadam: xatolardan saqlaning

• robots.txtga parol yoki maxfiy URL yozmang;
• saytning eski test qoidalarini productionga ko'chirmang;
• Disallowni Google indeksidan o'chirish vositasi deb bilmang;
• turli subdomenlar uchun alohida robots.txt kerakligini unutmang;
• syntaxni o'zgartirgach Search Console orqali tekshiring.

6-qadam: natijani kuzating

Faylni yangilagach Search Console'dagi crawl va indexing hisobotlarini kuzating. Natija darhol o'zgarmasligi mumkin. TopSayt SEO Audit Googlebot uchun robots.txt holatini ham tekshiradi.