Ponad trylion adresów w indeksie Google

Wyszukiwarka Google to najpopularniejszy indeks adresów oraz stron internetowych na naszej planecie. Mimo że na rynku IT znajdują się też inni giganci tacy jak Microsoft to nikt nie dorównywał pod względem ilości zgromadzonych danych wyszukiwarce Google.

Ponad trylion adresów stron WWW w indeksie Google

Wyszukiwarka Google do października 2021 roku wiodła prym w indeksowaniu wszystkich adresów dostępnych w światowej sieci. Władze wyszukiwarki Google postawiły sobie za cel posiadać największą bazę danych dostępnych adresów WWW. Przez długie lata bo od 1999 roku do 2021 roku, skrzętnie zbudowana maszyneria z serwerów oraz oprogramowania odwiedzała przy pomocy robotów Google (Google Bot), niemal każdą stronę internetową zapisując kopię pozyskanych danych w swojej bazie danych. Ilość informacji zebranych przez lata spowodowała przerost parku maszynowego do takiego stopnia iż władze wyszukiwarki Google musiały poszukać innego rozwiązania w celu utrzymania swojej pozycji na rynku nie zaniżając jakości zwracanych danych z wyszukiwania przy zachowaniu opłacalności podczas skanowania internetu.

Konsekwencja utrzymywania tak wielkiej bazy danych

Wyszukiwarka Google (a raczej zarządcy), mieli za cel posiadać największą bazę danych istniejących stron i podstron serwisów internetowych. Algorytm służący do oceny witryn internetowych został tak zbudowany, że wymuszał skanowanie wszystkich dostępnych adresów WWW aby posiadać dane umożliwiające prawidłowe rozmieszczenie poszczególnych adresów internetowych na liście zwracanej internautom podczas wyszukiwania konkretnych fraz. Jednak takie podejście generuje konkretne konsekwencje dla zarządcy tak dużej bazy danych. Mimo iż postęp technologiczny cały czas trwa, firmy projektujące procesory oraz pozostałe podzespoły komputerów, stale zwiększają ich wydajność a dyski twarde do przechowywania informacji są sukcesywnie powiększane, to ilość danych przerosła najśmielsze wyobrażenia. Taki obrót spraw wymusił na zarządcach wyszukiwarki Google zmianę podejścia do pozyskiwania danych. Dodatkowo podczas pandemii z 2020, doszło do pewnego zwrotu akcji. Osoby którym rządy zakazały prowadzić standardowej działalności usługowej (restauracje, kelnerzy, barmani, kucharze), postanowili poszukać nowego zajęcia, głównie przed komputerem skoro i tak zostali uwięzieni w swoich mieszkaniach. To sprawiło niestety przyrost osób zajmujących się budową stron internetowych służących za tak zwane zaplecza techniczne mających na celu wspieranie pozycjonowania stron klientów. Władze wyszukiwarki Google w lipcu 2022 roku poinformowały że w indeksie Google znajduje się ponad trylion adresów domen, z czego uważa się ze 30 do 40 % to strony służące jako zaplecze.

Zmiana podejścia wymuszona przerostem ilości danych

Przez przerost ilości domen szczególnie tych które są budowane w celu reklamowania innych witryn, władze wyszukiwarki Google w październiku 2021 częściowo zablokowały automatyczne indeksowanie, ograniczając się do indeksowania tych stron, które z dostępnych danych w indeksie wyszukiwania były często aktualizowane oraz przedstawiały największą wartość merytoryczną dla internautów. Ta sytuacja była pogłębiana przez kolejne miesiące a internauci na grupach skupiających osoby zajmujące się pozycjonowaniem (SEO), informowali że kolejne metody zgłaszania adresów do indeksowania przestają działać. Ograniczenie na ponad pół roku automatycznego indeksowania pozwoliło firmie zarządzającej wyszukiwarką Google zaoszczędzić kilka miliardów dolarów na energii elektrycznej potrzebnej serwerom do skanowania adresów stron internetowych. Jednak taki stan rzeczy nie mógł się dalej utrzymywać gdyż zaniżało to jakość zwracanych wyników wyszukiwania. Dlatego 18 lipca władze wyszukiwarki Google ogłosiły nową metodę indeksowania adresów stron jednocześnie udostępniły nowe API dla wydawców czasopism i gazet internetowych.

Wracamy do gry

Wraz z odblokowaniem indeksowania, część osób zajmujących się pozycjonowaniem odzyska swoje zajęcie zarobkowe. Część osób zrezygnuje z zawodu SEOwca gdyż obecna metoda indeksowania nie ma nic wspólnego z automatycznym działaniem. Obecnie aby zgłosić nowe podstrony do indeksu należy wykonać szereg czynności. Metoda została tak opracowana aby serwery wyszukiwarki Google mogły identyfikować kto zarządza daną stroną jednocześnie zmuszając właściciela do kilku konkretnych działań. Nie będziemy tutaj jeszcze zdradzać całej metody, jednak testy zostały przeprowadzone na starych jak i całkiem nowych domenach. Uzyskane efekty świadczą o tym że bardzo dobrze zinterpretowaliśmy obecne metody indeksowania gdyż strony użyte do testów zostały całkowicie zindeksowane oraz znalazły się na lepszych pozycjach niż przed 18 lipca.