Robots.txt Nədir və Nə üçün Vacibdir?

Robots.txt — saytınızın kök qovluğunda yerləşən sadə mətn faylıdır. Bu fayl axtarış sistemlərinin (Google, Yandex, Bing) qrawlerlərini saytınızda necə davranması lazım olduğunu göstərir. Qrawlər saytınıza dəqiqələrlə vizit edib səhifələri analiz edərkən, bu fayla baxır və sizin icazə verdiklərinizi indekslər. Azərbaycanda çox şirkət bu faylu gözardı edir, lakin səhv konfigurası Google axtarışında saytınızın görünürlüyünü xeyli azalda bilər.

Robots.txt-də Nəyi Blok Etməli?

Bütün səhifələri blok etməməlisiniz. Yalnız aşağıdakıları qorumalısınız:

Admin paneli: /admin, /wp-admin (WordPress saytlarda) — müştərilərin görmə icazəsi yoxdur
Axtarış nəticə səhifəsi: /search/, /results/ — dublikat məzmun yaratır
Fərdi hesab səhifələri: /profile/, /account/ — müştəri panelləri SEO-ya kömək etmir
Tekin URL parametrləri: /product/?sort=price&filter=color — mobil versiyalar, sənədci səhifələr
Tekrar məzmun: /print/, /pdf/, /mobile/ versiyaları
Səhv səhifələri: /404/, /error/ — insanlar bu səhifələr görmə istəmir

Ümumi qayda: qrawler indeksləməməsi lazım olan şeyləri blok edin, amma məhsul səhifələri, blog məqalələri və faydalı məzmun həmişə icazəli olmalıdır.

Robots.txt Yazması Necə Olmalıdır?

Azərbaycanda çoğu saytda sadə bir nümunə yetərlidir. Hər sətir ayrı bir qayda olur:

User-agent: * — bu bütün qrawlerlərə tətbiq olunur

Disallow: /admin — bu yolu qrawlerdən qoruyan söylər

Allow: /admin/public — ama bu spesifik yolu icazə verir

Crawl-delay: 2 — qrawlər arasında 2 saniyə gəzinti məcbur edir, host-a yükü azaldır

Sitemap: https://example.com/sitemap.xml — Google-a siteniz haqqında məlumat verir

Yadda saxlayın: robots.txt təhlükəsiz deyildir. Hər kəs onu /robots.txt adresində oxuya bilər. Heç bir gizli məlumat burada olmayıb.

Azərbaycanda Tipik Səhvlər

E-ticarət saytlarında bu səhvlər tez-tez baş verir:

Bütün saytı blok etmək: "Disallow: /" — bu Google-un saytınızı tamamilə görmə imkanını götürür
Wildcard qaydaları səhv yazılması: "Disallow: *.php" işləməz. Lazımdır "Disallow: /*.php" olmalıdır
Kiçik-böyük hərf xətası: "Disallow: /Admin" və "Disallow: /admin" müxtəlif yolları blok edər
Sitemap referensyası unudulmaq: "Sitemap: https://example.com/sitemap.xml" əlavə edin — Google saytınızı daha tez indexləyir
Hosting dəyişdirmə zamanı faylın sıfırlanması: Hosting dəyişdirkən robots.txt əvvəlki versiya qayıda bilər

Robots.txt-i Google Search Console-da Sınayın

Hər dəyişiklikdən sonra Google Search Console (search.google.com) açıp sol menyudən "Robots.txt Tester" aləti ilə yoxlayın. Bu vasitə faylınızda sintaksis səhvləri varsa göstərir və həqiqi qrawlər davranışını simulyasiya edir. URL daxil edib "TEST" düyməsinə basın — Google size söyləyəcəkdir ki, bu səhifə blok edilib-edilməyib.

Nəticə

Robots.txt böyük SEO avadanlığıdır, amma çox sıx səhv yazılır. Saytınız qurduqdan sonra bir dəfə konfigurə edin, sonra hər üç həftədə Google Search Console-da yoxlayın. Səhv varsa, düzəlt. Creative Group-da hosting xidmətləri götürsünüz, texniki SEO konfigurasyonda kömək verə bilərik.