1. dawidmed.com
  2. ÔÇ║
  3. SEO blog
  4. ÔÇ║
  5. SEO Podcast
Problem indeksacji stron w Google

#028: Problem indeksacji stron w Google - Marek, Roland & Tomek

Coraz cz─Ö┼Ťciej s┼éyszymy, ┼╝e Google ma problem z indeksowaniem nowych zasob├│w. Strony niskiej jako┼Ťci indeksuj─ů si─Ö nader cz─Östo, natomiast warto┼Ťciowe tre┼Ťci czekaj─ů na to tygodniami. O co w tym chodzi i jak sobie poradzi─ç z tym problemem? Na to pytanie spr├│buj─ů odpowiedzie─ç moi dzisiejsi Go┼Ťcie. Zapraszam!

Listen to "#028: Problem indeksacji stron w Google - Marek, Roland & Tomek" on Spreaker.

Rozdziały odcinka

Go┼Ťcie odcinka

Marek Foltański
Marek Foltański

Marek Folta┼äski - w bran┼╝y od 6 lat. W tym czasie pracowa┼é w mniejszych i wi─Ökszych agencjach SEO oraz in-house'owo w wewn─Ötrznych Dzia┼éach Marketingu. Aktualnie freelancer SEO i samozwa┼äczy Web Developer. Hobbystycznie stworzy┼é kilka narz─Ödzi, kt├│re okaza┼éy si─Ö ca┼ékiem popularne (cssgenerator.pl, drzewko.io, Indexing API), a w planach ma kolejne. Jest zwolennikiem automatyzacji powtarzalnych zada┼ä w SEO, a jego ostatni─ů mi┼éo┼Ťci─ů jest po┼é─ůczenie Google Sheets + Apps Script.

Roland Adamczyk
Roland Adamczyk

Roland Adamczyk - uko┼äczy┼é Informatyk─Ö i Ekonometri─Ö na Uniwersytecie Ekonomicznym w Katowicach. SEO zajmuje si─Ö od ponad 5 lat, pracowa┼é dotychczas w dw├│ch agencjach SEO, a na ten moment pracuje w 100% jako freelancer. Zajmuje si─Ö g┼é├│wnie ┼Ťrednimi i du┼╝ymi sklepami internetowymi, hobbystycznie u┼éatwia sobie prac─Ö seowca za pomoc─ů Pythona i r├│┼╝nych automatyzacji opartych na Pythonie. Tw├│rca narz─Ödzia SEOgrajek.pl

Tomek Rudzki
Tomek Rudzki

Tomek Rudzki - pracuje jako Head of Research and Development w Onely, wroc┼éawskiej agencji technicznego SEO. Wraz z swoim szefem, Bartkiem G├│ralewiczem, jest znany za granic─ů w kontek┼Ťcie szerzenia wiedzy o JavaScript SEO. Jego artyku┼éy pojawi┼éy si─Ö na MOZ'ie czy te┼╝ na Search Engine Journal. Jego Ultimate Guide to JavaScript SEO by┼éo czytane ponad 100 000 razy.

Czym jest indeksacja w Google i dlaczego jest wa┼╝na?

Roland: Indeksacja to dodawanie wpis├│w do bazy danych wyszukiwarki. Podczas samego crawlowania, kt├│re nast─Öpuje przed indeksacj─ů, Google podbiera informacje, kt├│re s─ů zawarte na stronie i analizuje tre┼Ťci. Na tej podstawie kategoryzuje je i dodaje do indeksu w swojej bazie danych.

Marek: Indeksacja polega na tym, ┼╝e adres URL strony internetowej finalnie znajdzie si─Ö w indeksie wyszukiwarki. Je┼╝eli chcesz, aby Twoja strona pojawi┼éa si─Ö w wyszukiwarce, najpierw musi zosta─ç zindeksowana. Jak zostanie zaindeksowana, jest szansa, ┼╝e zacznie si─Ö pojawia─ç podczas wyszukiwania s┼é├│w kluczowych. Ale najpierw musi nast─ůpi─ç proces indeksacji, kt├│ry ostatnio jest troch─Ö rozwalony.

Tomek: Je┼Ťli nie ma Ci─Ö w indeksie, znaczy, ┼╝e "nie rankujesz". Jak "nie rankujesz", to nie masz zysku z wyszukiwarki.

Jak sprawdzi─ç, czy strona jest zaindeksowana w Google?

Tomek: Najpro┼Ťciej - zobaczy─ç w Google Search Console. Tam mo┼╝emy sprawdzi─ç dany URL i zobaczy─ç, czy jest zaindeksowany, czy nie.

Roland: Sprawdzenie w Google Search Console jest najskuteczniejsz─ů metod─ů. Innym sposobem jest wyszukanie w samej wyszukiwarce za pomoc─ů operatora ÔÇ×site:ÔÇŁ konkretny URL lub ca┼é─ů domen─Ö. Mo┼╝na te┼╝ zweryfikowa─ç URL za pomoc─ů operatora ÔÇ×inurl:ÔÇŁ ÔÇô dzia┼éa on na podobnej zasadzie. Czwartym sposobem jest wyszukanie cytatu. Nale┼╝y skopiowa─ç kawa┼éek tekstu z wpisu blogowego, wstawi─ç go w cudzys┼é├│w i klikn─ů─ç "Szukaj". Je┼╝eli Google zwr├│ci adres danego wpisu (URL danego wpisu), to znaczy, ┼╝e dana strona lub dany fragment tekstu s─ů zaindeksowane.

Marek: Sprawdzaj─ůc ÔÇ×site:ÔÇŁ trzeba mie─ç na uwadze, ┼╝e je┼Ťli chcemy sprawdzi─ç kategori─Ö w sklepie, kt├│ra jest zbudowana na zasadzie katalog├│w w adresach URL, to je┼╝eli wpiszemy kategori─Ö, kt├│ra ma potem dalsze zagnie┼╝d┼╝enia, to wy┼Ťwietli si─Ö kilka adres├│w URL. Z tego wzgl─Ödu nale┼╝y zweryfikowa─ç czy w indeksie pojawia si─Ö adres, kt├│rego szukamy. Mog─ů si─Ö pojawia─ç adresy zawieraj─ůce jakie┼Ť parametry w URL, dlatego wymaga to r─Öcznej weryfikacji.

Kiedy i z jakiego powodu Google mo┼╝e nie zaindeksowa─ç zasob├│w naszej strony?

Tomek: Mo┼╝e by─ç tak, ┼╝e tekst jest obs┼éugiwany przez kod JavaScript lub Google stwierdzi, ┼╝e dana cz─Ö┼Ť─ç podstrony nie pasuje do reszty i wtedy nie jest ona zaindeksowana.

Roland: Powod├│w jest mn├│stwo. Mo┼╝e si─Ö zdarzy─ç, ┼╝e bud┼╝et skalowania jest niszczony przez u┼╝ycie drop down menu w samym menu. Czyli ca┼ée menu b─Ödzie si─Ö ┼éadowa┼éo JavaScriptem. W takiej sytuacji Google, gdy skanuje witryn─Ö, nie jest w stanie przej┼Ť─ç do poszczeg├│lnych podstron. Tak samo jest, gdy linkowanie wewn─Ötrzne nie jest dobrze rozprowadzone (r├│wnie┼╝ w menu). Je┼╝eli chcemy, aby strona wyl─ůdowa┼éa w indeksie, powinny do niej prowadzi─ç jakiekolwiek linki, poniewa┼╝ je┼Ťli ich nie b─Ödzie, u┼╝ytkownik nie znajdzie tej strony i tego nie zrobi te┼╝ Googlebot.

Marek: Wszystko zale┼╝y od indywidualnego przypadku. Jednym z powod├│w mo┼╝e by─ç b┼é─Ödne renderowanie strony. Je┼Ťli Google nie ma dost─Öpu do zasob├│w CSS i JavaScriptu, w dodatku dostaje czyste dokumenty HTML, w kt├│rych jest mn├│stwo produkt├│w z podobnym, domy┼Ťlnym meta-tagiem, strona b─Ödzie oznaczona jako odkryta przez Googlebota, ale nie zindeksowana. W Google Search Console zostanie zaznaczona jako duplikat.

Jak przyspieszy─ç indeksowanie stron?

Ci─ůg┼éym zg┼éaszaniem do indeksacji w Google Search Console, czy mo┼╝e skorzysta─ç z rozwi─ůzania wykorzystuj─ůcego Indexing API?

Marek: U nas Indexing API działa - strony, które nie chciały się zindeksować ręcznie, przy użyciu programu z marszu wchodziły.

Roland: Indexing API dzia┼éa. Indeksuj─Ö nim codziennie kilka stron i zazwyczaj trafiaj─ů one do indeksu w ci─ůgu 24 godzin. Kilka razy zdarzy┼éo si─Ö, ┼╝e proces trwa┼é d┼éu┼╝ej. Dzi─Öki tej aplikacji uda┼éo mi si─Ö zaindeksowa─ç du┼╝y sklep (ponad 2000 produkt├│w) sam─ů aplikacj─ů - niczego nie dodawa┼éem w Google Search Console, tylko od razu za pomoc─ů skryptu przez Indexing API. Aby zautomatyzowa─ç proces, w Pythonie stworzy┼éem skrypt, kt├│ry zwraca r├│wnie┼╝ uwag─Ö na limity Indexing API.

Dawid: Czym r├│┼╝ni si─Ö Ziptie.dev od rozwi─ůzania ch┼éopak├│w?

Tomek: To narz─Ödzie do diagnostyki indeksacji. Wychodzimy z za┼éo┼╝enia, ┼╝e aby skutecznie poprawi─ç indeksacje na wi─Ökszych stronach, musimy popatrze─ç na serwis ca┼éo┼Ťciowo. Czyli musimy sprawdzi─ç, kt├│re podstrony nie s─ů zaindeksowane i zastanowi─ç si─Ö dlaczego. Dzi─Öki Ziptie.dev naprawiamy przyczyn─Ö, a nie skutek.

Sk─ůd si─Ö bior─ů problemy z indeksacj─ů i wyindeksowaniem zasob├│w?

Tomek: Selekcja przy indeksowaniu jest coraz bardziej restrykcyjna. Kiedy┼Ť nie by┼éo du┼╝o zasob├│w, wi─Öc baza Google by┼éa bardzo ma┼éa. Gdy Internet si─Ö rozrasta┼é, okaza┼éo si─Ö, ┼╝e wiele witryn u┼╝ywa JavaScriptu i pojawi┼éy si─Ö problemy. Wed┼éug Google renderowanie JavaScriptu czy og├│lnie tre┼Ťci zwi─Öksza koszt ca┼éego procesu 20-krotnie. Do tego dochodz─ů kolejne warstwy algorytmu, kt├│re nale┼╝y zrobi─ç w przypadku Indexingu.

Jaki jest cel Google?

Tomek: Szybko zwr├│ci─ç warto┼Ťciowe wyniki. Je┼Ťli indeks puchnie, samo przeszukiwanie bazy jest bardziej czasoch┼éonne. Z tego powodu Google zastanawia si─Ö dwa razy czy co┼Ť zaindeksowa─ç, czy nie. Mo┼╝e doj┼Ť─ç do sytuacji, w kt├│rej Google odwiedzi┼é stron─Ö, ale jej nie zaindeksowa┼é, a mo┼╝e by─ç tak, ┼╝e Google wie, ┼╝e strona istnieje, ale jeszcze jej nie odwiedzi┼é - w takiej sytuacji mo┼╝e pom├│c Indexing API.

Co jest celem indexingu?

Tomek: Samo zaindeksowanie i upewnienie si─Ö, ┼╝e strona jest w indeksie to pierwszy krok. Trzeba si─Ö zastanowi─ç, czy to wystarczy. Powinni┼Ťmy si─Ö upewni─ç, ┼╝e strona jest nie tylko zaindeksowana, ale r├│wnie┼╝, ┼╝e "rankuje". Do tego potrzebne jest odpowiednie linkowanie wewn─Ötrzne, analiza tre┼Ťci itd. Trzeba patrze─ç na proces ca┼éo┼Ťciowo, aby i zaindeksowa─ç i "rankowa─ç".

W Ziptie.dev mamy modu┼é, w kt├│rym weryfikujemy status stron w indeksie. Zauwa┼╝yli┼Ťmy, ┼╝e w przypadku helpful content update wiele witryn pospada┼éo w indeksacji, ale wr├│ci┼éy w ostatnim core update. Mo┼╝liwe, ┼╝e wyst─ůpi┼éy jakie┼Ť bugi, kt├│re wp┼éyn─Ö┼éy na wyindeksowanie stron. W przypadku core update widzimy wahania w indeksacji - jakby Google przelicza┼éo sygna┼éy i na ich podstawie zdecydowa┼éo, ┼╝e danych stron ju┼╝ nie indeksuje.

Search Console URL Inspection API

Marek: Z tego URL Inspection API korzystam, gdy wykorzystuj─Ö Screaming Frog'a. Dzi─Öki temu mog─Ö sprawdzi─ç, czy dany adres jest zaindeksowany w Google i jaki ma status w Search Console. Czyli weryfikuj─Ö, czy zosta┼é odwiedzony, ale jeszcze nie zaindeksowany, czy mo┼╝e nie zosta┼é odwiedzony i nie zosta┼é zaindeksowany. Mog─Ö te┼╝ sprawdzi─ç, kiedy ostatni raz zosta┼é odwiedzony przez robota. U┼╝ywam, aby sprawdza─ç indeksacj─Ö serwis├│w i zobaczy─ç, czy s─ů jakie┼Ť zale┼╝no┼Ťci. W aplikacji mo┼╝na sprawdzi─ç tylko strony, do kt├│rych mamy dost─Öp w Google Search Console. Je┼╝eli kto┼Ť chce sprawdzi─ç zaindeksowane linki czy strony konkurencji, to tego nie zrobi.

Po┼é─ůczenie Google Indexing API i URL Inspection API

Roland: Zbudowa┼éem narz─Ödzie, kt├│re korzysta i z tego i z tego. Mo┼╝na najpierw wrzuci─ç do sprawdzenia adresy do URL Inspection, nast─Öpnie dostajemy zwrotk─Ö i te, kt├│re nie s─ů zaindeksowane, mo┼╝emy przes┼éa─ç do indeksacji. Aplikacja sprawdzi si─Ö przy mniejszej liczbie URLi. Je┼Ťli mamy 50 000 URLi to moje narz─Ödzie si─Ö nie sprawdzi, bo limit dzienny jak taki sam, jak ma ustalone Google.

Je┼Ťli mamy portal z 50 000 URLi i chcieliby┼Ťmy je sprawdzi─ç jednym Search Console, to mo┼╝na pu┼Ťci─ç skrypt, kt├│ry b─Ödzie wykonywa┼é si─Ö przez miesi─ůc. Oczywi┼Ťcie b─Ödzie mia┼é odst─Öp czasowy, aby nie trafi─ç na blokady w postaci limitu. Wyniki mog─ů si─Ö zapisywa─ç do CSV lub Google Sheets, czy gdzie┼Ť indziej i dzi─Öki temu mo┼╝emy monitorowa─ç stron─Ö za pomoc─ů Inspection API, tylko dok┼éadne dane b─Öd─ů raz w miesi─ůcu. Ewentualnie mo┼╝na nadpisywa─ç poprzednie dane i co jaki┼Ť czas sprawdza─ç, ile adres├│w by┼éo ju┼╝ przeskanowanych.

Narz─Ödzie ma dzia┼éa─ç szybko. Je┼Ťli chc─Ö sprawdzi─ç indeksacj─Ö 50 URLi, otwieram aplikacj─Ö, wrzucam URL, autoryzuj─Ö plikiem JS, dodaj─Ö domen─Ö do autoryzacji, klikam "sprawd┼║" i id─Ö zrobi─ç kaw─Ö. Zazwyczaj jak wracam, dane s─ů ju┼╝ sprawdzone, a ja tylko przegl─ůdam tabel─Ö z danymi, co si─Ö zadzia┼éo, czy co┼Ť nie wypad┼éo, czy co┼Ť nie by┼éo dawno odwiedzone/zeskanowane.

Chc─Ö przetestowa─ç, czy b─Ödzie mo┼╝na w moim narz─Ödziu sprawdzi─ç, kiedy strona zosta┼éa odkryta, ale nie zaindeksowana, oraz czy Indexing API dzia┼éa, gdy strona zosta┼éa odwiedzona miesi─ůc wcze┼Ťniej. W skrypcie za┼éo┼╝─Ö, ┼╝e miesi─ůc wcze┼Ťniej by┼é na niej Googlebot i dzi─Öki temu mo┼╝emy pu┼Ťci─ç jeszcze raz przez Indexing API.

Wszystkie informacje, kt├│re sprawdzamy wrzucaj─ůc adres URL do Google Search Console, otrzymujemy w postaci suchego pliku JS, kt├│ry mo┼╝na przerobi─ç na tabelk─Ö czy CSV, wrzuci─ç do Google Sheets, posortowa─ç i przegl─ůda─ç. Samym Pythonem mo┼╝na r├│wnie┼╝ zautomatyzowa─ç sprawdzanie strony. Mo┼╝na wrzuci─ç mu wszystkie strony i zautomatyzowa─ç, aby sprawdza┼é co 2 tygodnie ich status i zapisywa┼é w Google Sheets. Dzi─Öki temu b─Ödziemy widzie─ç, jakie s─ů zmiany w zachowaniu Googlebota na naszej stronie.

To tylko wycinek. Ca┼éo┼Ť─ç naszej rozmowy, oraz linki do materia┼é├│w o kt├│rych m├│wimy, znajdziesz w nagraniu na YouTube, Apple Podcasts, Google Podcasts, Spotify i w innych aplikacjach do s┼éuchania podcast├│w!

Partnerzy Podcastu

UpContent

Marketin9

ORION Media Group

ÔÇö
­čÄÖ´ŞĆ #SEOFridays Podcast

ԜŴŞĆ Facebook: https://www.facebook.com/seofridays/
ԜŴŞĆ Twitter: https://twitter.com/seo_fridays

14. Wrocławskie #seopiwo w jesiennych klimatach - https://www.facebook.com/events/506562504708636

 

Komentarze

Zapraszam do kontaktu!

W celu nawi─ůzania wsp├│┼épracy wype┼énij formularz. W ci─ůgu 24 godzin skontaktuj─Ö si─Ö z Tob─ů.