robots.txt nima va qanday yoziladi?
robots.txt vazifasi, xavfsiz yozish tartibi va butun saytni tasodifan yopib qo'ymaslik uchun amaliy misollar.
robots.txt — sayt ildizidagi oddiy matn fayl. U crawlerlarga saytning qaysi yo'llarini ko'rish mumkinligini bildiradi. Manzili doim shunga o'xshaydi:
https://example.uz/robots.txt
Fayl kichik bo'lsa-da, ta'siri katta: bitta noto'g'ri qator butun saytni qidiruvdan uzib qo'yishi mumkin. Shu bilan birga u xavfsizlik vositasi emas — yopilgan URL baribir odamga ochiq bo'lib qolaveradi. Maxfiy sahifani login va ruxsat tizimi bilan himoyalang.
1-qadam: mavjud faylni tekshiring
Brauzerda /robots.txtni oching. Fayl yo'q bo'lsa, ko'p crawlerlar saytni to'liq ochiq deb qabul qiladi — bu ko'pincha muammo emas. Haqiqiy xavf boshqa qatorda:
User-agent: *
Disallow: /
Bu ikki qator barcha crawlerlarga butun saytni crawl qilmaslikni aytadi. Odatda u ishlab chiqish muhitida yoziladi va productionga ko'chirilganda unutiladi. Sayt yangi ochilgan bo'lsa va Google'da ko'rinmasa, birinchi navbatda shu qatorni tekshiring.
2-qadam: sodda fayldan boshlang
Ko'p sayt uchun quyidagi shakl yetarli:
User-agent: *
Disallow: /admin/
Disallow: /cabinet/
Sitemap: https://example.uz/sitemap.xml
User-agent: * barcha botlar uchun guruh ochadi. Disallow crawl qilinmaydigan yo'lni ko'rsatadi, Sitemap esa sitemap manzilini bildiradi. Oxirgi qator ixtiyoriy, lekin uni yozish tavsiya etiladi: crawler sitemapni izlab yurmaydi.
Boshqaruv paneli va shaxsiy kabinet kabi bo'limlarni yopish mantiqan to'g'ri — ular qidiruv natijasida kerak emas va crawl byudjetini behuda sarflaydi.
3-qadam: kerakli sahifani tasodifan yopmang
CSS, JavaScript va muhim rasmlarni sababsiz bloklamang. Google sahifani foydalanuvchi ko'rgandek render qilishi kerak; uslub va skript fayllari yopiq bo'lsa, sahifa buzilgan holda baholanishi mumkin.
Qoidalar prefix bo'yicha ishlaydi. Masalan, Disallow: /blog faqat /blog sahifasini emas, /blog/ bilan boshlanadigan barcha URLlarni — ya'ni butun blogni — qamrab oladi. Papkani nazarda tutayotgan bo'lsangiz, yo'lni yopuvchi slesh bilan yozing va o'zgarishdan oldin aniq tekshiring.
4-qadam: robots.txt va noindex farqini biling
Bu ikkisi eng ko'p chalkashtiriladigan tushuncha:
robots.txt— crawlni, ya'ni sahifani o'qishni boshqaradi;noindex— sahifani qidiruv natijasida ko'rsatishni boshqaradi.
Google rasmiy qo'llanmasida noindex ishlashi uchun crawler sahifaga kira olishi kerakligi aytiladi. Mantiq sodda: agar sahifa robots.txt bilan yopiq bo'lsa, Google uning ichidagi noindex ko'rsatmasini umuman ko'rmaydi va sahifa boshqa saytlardagi havolalar orqali baribir indeksga tushishi mumkin.
Shuning uchun sahifani indeksdan chiqarish kerak bo'lsa, uni robots.txt'da ochiq qoldiring va sahifaning o'ziga noindex meta tegini qo'ying.
5-qadam: xatolardan saqlaning
Qisqacha ro'yxat:
robots.txtga parol yoki maxfiy URL yozmang — fayl hammaga ochiq;- eski test qoidalarini productionga ko'chirmang;
Disallowni indeksdan o'chirish vositasi deb bilmang;- har subdomen uchun alohida fayl kerakligini unutmang;
- sintaksisni o'zgartirgach Search Console orqali tekshiring.
6-qadam: natijani kuzating
O'zgarish kiritgach, uni tekshirmasdan qoldirmang. Amaliy tartib quyidagicha.
Avval faylning o'zi to'g'ri ochilishini ko'ring: example.uz/robots.txt brauzerda matn sifatida chiqishi va 200 javob qaytarishi kerak. Keyin Search Console'dagi robots.txt hisobotida Google faylning qaysi versiyasini o'qiganini va sintaksis xatosi bor-yo'qligini tasdiqlang. Muhim sahifalarni URL tekshiruvi orqali bittalab sinab ko'ring — natijada "crawl qilishga ruxsat berilgan" deb chiqishi kerak.
Natija darhol ko'rinmaydi. Google faylni odatda bir necha soatdan bir kungacha oraliqda qayta o'qiydi, indeksdagi o'zgarishlar esa undan ham sekinroq aks etadi. Shu sababli keyingi bir-ikki hafta davomida crawl statistikasi va indekslangan sahifalar sonini kuzatib boring: to'g'ri tuzatishdan keyin indekslangan sahifalar soni asta-sekin tiklanadi.
TopSayt SEO Audit shu tekshiruvni avtomatlashtiradi — Googlebot uchun robots.txt holatini ham ko'rsatadi.
Sintaksis: qanday yoziladi
robots.txt sintaksisi sodda, lekin bir necha qoidani bilish kerak. Har guruh User-agent bilan boshlanadi, keyin Allow va Disallow qoidalari keladi. Masalan, faqat Googlebot uchun alohida qoida yozmoqchi bo'lsangiz:
User-agent: Googlebot
Disallow: /private/
User-agent: *
Disallow: /admin/
Bu misolda Googlebot /private/ni ko'rmaydi, qolgan barcha botlar esa /admin/ni ko'rmaydi. Muhim nuance: bot faqat o'ziga tegishli guruhga bo'ysunadi. Googlebot uchun alohida guruh yozilgan bo'lsa, u User-agent: * guruhidagi qoidalarni umuman o'qimaydi — kerakli qoidalarni o'sha guruh ichida takrorlash kerak.
Allow qachon kerak
Ba'zan butun papkani yopib, ichidagi bitta yo'lni ochiq qoldirish kerak bo'ladi. Shunda Allow ishlatiladi:
User-agent: *
Disallow: /media/
Allow: /media/public/
Google ziddiyatli qoidalar orasidan eng aniq — ya'ni uzunroq — mos qoidani tanlaydi. Shuning uchun /media/public/ ochiq qoladi, /media/ ichidagi boshqa yo'llar esa yopiq holicha saqlanadi.
Fayl qayerda saqlanadi
robots.txt doim sayt ildizida — example.uz/robots.txt manzilida bo'lishi shart. Papka ichiga qo'yilgan fayl (example.uz/blog/robots.txt) crawlerlar tomonidan o'qilmaydi.
Sayt subdomenlardan iborat bo'lsa (blog.example.uz, shop.example.uz), har biri o'z alohida robots.txt fayliga ega bo'lishi kerak — asosiy domendagi fayl subdomenlarga ta'sir qilmaydi. Protokol va port ham alohida hisoblanadi: http:// va https:// versiyalari texnik jihatdan turli manbalar.
