Back to Question Center
0

Semalt robots.txAn przykład doskonałego SEO Przykład Semalt robots.txt dla doskonałego SEO

1 answers:

Roboty. Plik txt jest bardzo potężnym plikiem, jeśli pracujesz nad pozycjonowaniem strony. Jednocześnie należy go również stosować ostrożnie. Pozwala odmówić dostępu do wyszukiwarek do niektórych plików i folderów, ale to bardzo często nie to, co chcesz zrobić - long term care insurers. Z biegiem lat, zwłaszcza Google bardzo się zmienił w sposobie przeszukiwania sieci, więc stare sprawdzone metody nie są już aktualne. Ten post wyjaśnia, jakie są obecne najlepsze praktyki dla robotów WordPress. txt i dlaczego.

Google w pełni renderuje witrynę

Nie jest już Google głupie małe dziecko, które pobiera tylko HTML witryny i ignoruje styl i JavaScript. Sprowadza wszystko i renderuje twoje strony całkowicie. Oznacza to, że gdy odmawiasz dostępu Google do swoich plików CSS lub JavaScript, to w ogóle nie podoba . Ten post dotyczący Google Panda 4 pokazuje przykład tego. Powiedzieliśmy to jeszcze raz później i będziemy powtarzać: nie blokuj swoich plików CSS i JavaScript.

Stare najlepsze praktyki posiadania robotów. txt , który blokuje dostęp do twojego katalogu wp-includes , a katalog wtyczek nie jest już ważny. Dlatego w WordPress 4. 0, otworzyłem problem i napisałem łatkę do usunięcia wp-includes /. * z domyślnych robotów WordPress . txt .

Wiele motywów wykorzystuje również asynchroniczne żądania JavaScript, tak zwane AJAX, do dodawania treści do strony. Domyślnie WordPress służy do blokowania tych. Stworzyłem więc bilet do WordPressa, aby umożliwić Google indeksowanie admin-ajax. php URL w wp-admin . Zostało to naprawione w WordPress 4. 4.

Roboty. txt odrzuca linki ich wartość

Coś innego jest bardzo ważne, o czym należy pamiętać. Jeśli zablokujesz URL robotami Twojej strony . txt , wyszukiwarki nie będą indeksować tych stron. Oznacza to również, że nie mogą rozpowszechniać wartości linków wskazujących na te adresy URL. Jeśli więc masz część witryny, której nie chcesz wyświetlać w wynikach wyszukiwania, ale masz dużo linków, nie używaj robotów. Plik txt . Zamiast tego użyj metatagu robots o wartości noindex, wykonaj . Dzięki temu wyszukiwarki mogą prawidłowo dystrybuować wartość linku dla tych stron w Twojej witrynie.


Nasze roboty WordPress. txt example

Więc, co powinno być w twoich robotach WordPress. tekst? Nasz jest bardzo czysty teraz. Nie blokujemy niczego ! Nie blokujemy naszego katalogu / wp-content / plugins / , ponieważ wtyczki mogą wyprowadzać JavaScript lub CSS, których Google potrzebuje do renderowania strony. Nie blokujemy również naszego katalogu / wp-includes / , ponieważ domyślne skrypty JavaScript dołączone do WordPressa, z których korzysta wiele motywów, pochodzą z tych katalogów.

Nie blokujemy również naszego folderu / wp-admin / . Powód jest prosty: jeśli go zablokujesz, ale odsyłasz do niego gdzieś przez przypadek, ludzie nadal będą mogli zrobić proste zapytanie [inurl: wp-admin] w Google i znaleźć twoją witrynę. Tego typu zapytanie jest typu zapytania hakerów złośliwych do miłości . Jeśli nic nie robisz, WordPress ma (moim działaniem) nagłówek meta x-http robotów na stronach administratora, który uniemożliwia wyszukiwarkom wyświetlanie tych stron w wynikach wyszukiwania, o wiele czystsze rozwiązanie.

Co powinieneś zrobić z Twoimi robotami. txt

Powinieneś zalogować się do Google Search Console i na stronie Crawl → Pobierz jako Google, użyj opcji Pobierz i Semalt:

Semalt robots.txAn example for great SEO
Semalt robots.txt example for great SEO

Jeśli nie wygląda na to, co widzisz podczas przeglądania swojej witryny lub generuje błędy lub uwagi: napraw je, usuwając linie blokujące dostęp do tych adresów URL z twoich robotów. Plik txt .

Powinieneś połączyć się z twoją mapą mapy XML z twoich robotów. txt ?

Zawsze czuliśmy link do twojej mapy witryny XML z twoich robotów. txt to trochę nonsens. To jest powód, dla którego nasza wtyczka Yoast SEO nie dodaje jej do twoich robotów. txt . Nie polegaj na nich, aby dowiedzieć się o mapie witryny XML za pośrednictwem robotów. txt .

Czytaj więcej: "roboty. txt: ostateczny przewodnik "»

March 1, 2018