Жаңартылған немесе жаңа Robots.txt файлын қалай қайта жіберуге болады

роботтар txt

Біздің агенттік айналысады органикалық іздеу бойынша кеңес беру саладағы бірнеше SaaS жеткізушілері үшін. Жақында біз жұмыс істей бастаған клиент өзінің қосымшасын қосалқы доменге орналастырып, брошюралық сайтты негізгі доменге көшіріп, стандартты тәжірибе жасады. Бұл стандартты тәжірибе, өйткені ол сіздің өндірістік топқа да, маркетинг тобыңызға да бір-біріне тәуелді болмай, қажет болған жағдайда жаңартулар енгізуге мүмкіндік береді.

Олардың органикалық іздеу денсаулығын талдаудың алғашқы қадамы ретінде біз брошюраны да, қолданбалы домендерді де Вебмастерлерде тіркедік. Сол кезде біз жедел мәселені анықтадық. Іздеу жүйелері қолданбаның барлық беттерін индекстеуге тыйым салды. Біз олардың веб-шеберлеріндегі robots.txt жазбасына өтіп, мәселені бірден анықтадық.

Көші-қонға дайындық кезінде олардың әзірлеушілер тобы қосымшаның доменді іздеу арқылы индекстеуін қаламады, сондықтан олар іздеу жүйелеріне кіруге тыйым салды. Robots.txt файлы бұл сіздің сайтыңыздың түбірінде кездесетін файл - yourdomain.com/robots.txt - бұл іздеу жүйесіне сайтты тінтуірлеу керек немесе қажет еместігін білуге ​​мүмкіндік береді. Сіз бүкіл сайтта немесе белгілі бір жолдарда индекстеуге мүмкіндік беретін немесе тыйым салатын ережелер жаза аласыз. Сіз өзіңіздің сайтыңыздың файлын көрсету үшін жол қосуға болады.

The robots.txt файлда іздеу нәтижелерінің рейтингінде сайтты тексеріп шығуға және индекстеуге мүмкіндік бермейтін келесі жазба болды:

Пайдаланушы-агент: * Рұқсат етілмейді: /

Ол былай жазылуы керек еді:

Пайдаланушы-агент: * Рұқсат ету: /

Соңғысы сайтты қарап шығатын кез-келген іздеу жүйесіне сайт ішіндегі кез-келген каталогқа немесе файлға кіруге рұқсат береді.

Керемет ... сондықтан қазір Robots.txt файл өте жақсы, бірақ Google қайдан біледі және олар қашан сайтты тексереді? Сіз өзіңіздің robots.txt-ті Google-дан тексеруді сұрай аласыз, бірақ бұл өте интуитивті емес.

Кілтсөзге өтіңіз Google Search Console іздеу консолі қарай Crawl> robots.txt тестері. Сіз тексерушінің ішінен ең соңғы тексерілген robots.txt файлының мазмұнын көресіз. Егер сіз robots.txt файлын қайта жібергіңіз келсе, Жіберу түймесін басыңыз, сонда қалқымалы терезе бірнеше нұсқаны ұсынады.

robots.txt қайта жіберу

Соңғы нұсқа Google-ден жаңартуды сұраңыз. Осы опцияның жанындағы көк Жіберу түймесін басыңыз, содан кейін қайтадан өтіңіз Crawl> robots.txt тестері бетті қайта жүктеуге арналған мәзір параметрі. Сіз енді жаңартылған robots.txt файлын қайтадан тексеріп шыққанын көрсететін күн белгісімен бірге көруіңіз керек.

Егер сіз жаңартылған нұсқасын көрмесеңіз, жіберу түймесін басып, таңдауыңызға болады Жүктелген нұсқасын қарау нақты robots.txt файлына өту үшін. Көптеген жүйелер бұл файлды кэштейді. Іс жүзінде IIS бұл файлды олардың қолданушы интерфейсі арқылы енгізілген ережелер негізінде динамикалық түрде жасайды. Жаңа robots.txt файлын шығару үшін сізге ережелерді жаңартып, кэшті жаңартуыңыз керек.

роботтар-txt-tester

Сен не ойлайсың?

Бұл сайт спамның төмендеуі үшін Akismet пайдаланады. Деректеріңіздің қалай өңделетінін біліңіз.