W tym wpisie chciałbym przybliżyć mój sposób na śledzenie działań konkurencji na stronie internetowej używając oprogramowania Screaming Frog. To podejście sprawdzi się także kiedy pozycjonujesz dużą stronę np. e-commerce, która ma osobny dział programistów i chciałbyś wiedzieć czy Twoje rekomendacje są sukcesywnie wdrażane lub ogólnie wiedzieć czy sprawy idą w dobrym kierunku. Więc jeśli masz już swojego konkurenta w SEO to zaczynamy!
Screaming Frog SEO Spider jest szeroko używany wśród SEOwców, jednak głównie na początku pracy nad stroną w obszarze przygotowywania audytu strony www. Później często zapomina się o regularnym crawlowaniu strony, ja jestem zwolennikiem przeprowadzania takiego mini audytu technicznego co miesiąc. Istnieje ku temu kilka przesłanek, mianowicie np. tworzenie kopii struktury serwisu, a także zabezpieczenie dla specjalisty freelancera SEO, gdyby doszło do nieporozumienia z klientem.
Dlatego w tym wpisie będę monitorował działania konkurencji w zakresie on-site, porównując ze sobą dwa crawle.
Tworzenie harmonogramu crawlowania
Chcę zautomatyzować ten proces, dlatego ustawiam harmonogram z cyklem miesięcznym.
Na początku ważna informacja, musze zmienić domyślny tryb przechowywania danych, do tego celu najlepiej będzie się nadawał „Database Storage”. W tym celu przechodzę do Configuration > System > Storage Mode i wybieram mode: Database Storage a następnie restart programu.
Domyślny tryb przechowuje dane w pamięci RAM, a gdyby doszło to zawieszenia programu to tracimy cały postęp crawlowania. Natomiast tryb baza danych jest szybszy i posiada auto zapis ponieważ dane zapisuje na dysku. Lepiej mieć w tym celu dysk SSD lokalnie niż dysk w chmurze.
Przejdźmy do tworzenia harmonogramu w Screaming Frog, w tym celu otwórz File > Scheduling i w nowym oknie dodaj Add, gdzie podajemy nazwę projektu oraz adres strony oraz sposób działania crawlera na Spider. Jesli monitorujemy własną stronę to warto spiąć API np GSC, GA lub Page Speed (trzeba monitorować co jakiś czas czy konto nieuległo rozłączeniu) a w ostatniej zakladce zaznaczyć checkbox Headless, przyda się do exportu.
Jeśli masz stary crawl z trybie Memory zapisany z rozszerzeniem .seospider i chcesz go użyć to musisz go najpierw zaimportować. W tym celu wybierz: File > Import. Po chwili zostanie przekonwertowany na format zgodny do porównania.
Wybór Crawli do porównania
Teraz obydwa pliki powinieneś zobaczyć w File > Crawls, zaznacz je z CTRL na klawiaturze i kliknij Send to Compare. Możesz też wybrać Mode > Compare i w górnej belce obok logo wybrać je ręcznie. Kliknij na ikonkę koła zębatego, możesz dopasować porównanie i filtrować które dane (change detenction) lub porównywać różne adresy URL (opcja URL Mapping) np. kiedy przeprowadzasz migrację ze stanu deweloperskiego wersję produkcyjną.
Zaznaczam „Select All„, teraz mogę już rozpocząć proces i kliknąć Compare.
Analiza porównawcza konkurencji
Okno programu Screaming Frog jest podzielone na 4 częsci. Najpierw warto zajrzeć w prawy górny róg na „Overview” gdzie widzimy podsumowanie oraz informacje o zmianach pomiędzy historyczną a obecną wersją serwisu w podziale na nowe, dodane, usunięte i brakujące elementy.
- Dodane – adresy URL w poprzednim indeksowaniu, które zostały przeniesione do filtra bieżącego indeksowania.
- Nowe – nowe adresy URL, których nie było w poprzednim indeksowaniu, a które znajdują się w bieżącym indeksowaniu i filtrze.
- Usunięte – adresy URL w filtrze poprzedniego indeksowania, ale nie w filtrze bieżącego indeksowania.
- Brakujące – adresy URL nie znalezione w bieżącym indeksowaniu, które wcześniej znajdowały się w filtrze.
W tabeli Crawl Data widać podział na bardziej szczegółowe zakładki, dobrze znane użytkownikom SF.
W prawej dolnej części mamy reprezentacje graficzną danych czyli po prostu wykresy z podziałem na aktualny i poprzedni słupek.
Po kliknięciu na liczby w zestawieniu zobaczysz listę URL które uległy zmianie w lewej górnej części programu. Dolna lewa część programu jest standardowo zarezerwowana dla informacji o pojedynczym, wybranym URL.
Jak analizować dane?
Na wstępnie, najważniejsze aby poznać czy globalnie zwiększyła się liczba podstron HTML a co za tym idzie nowa treść, jeśli tak to w jaką stronę nasza konkurencja idzie, następnie jakie assety zostały zmienione, grafiki, jak zmieniła się liczba indeksowanych podstron, kodów odpowiedzi, tytułów i opisów meta a także nagłówków. Będąc dalej w zakładce Overview sprawdzamy na samym dole „Change detection” czyli te pola które zaznaczyliśmy. Znajduje się to informacja o liczbie nowych słów czy linkowaniu wewnętrznym. Ponadto szybki rzut oka na dane z podpiętych API jak GSC czy Page Speed.
Taka lektura jest już wystarczająca do oceny zmian które podjęła konkurencja lub jak zmieniła się kondycja naszej strony na przestrzeni czasu. Analizując dalej poszczególne URL możemy wyciągnąć dalsze wnioski.
W kontekście analizy interesuje mnie bardziej podejście globalne oraz trendy a nie wchodzenie zbyt głęboko w szczegóły. Patrzę holistycznie na zmiany wykrytych problemów „Issues”, struktury strony (czy wszędzie można dotrzeć w max 3 klikach) czy czasów odpowiedzi (im szybciej tym lepiej). Takie dane mogę przekazać klientowi wraz z informacją jakie działania zostały podjęte i czy optymalizacja idzie w dobrą stronę.
Całą pracę można zapisać i eksportować. Później znajdziesz swoje porównania pod File > Crawls, będą one oznaczone w kolumnie Compare.
Jeśli masz pomysły na temat tego jakie inne ciekawe dane można wyciągnąć z żaby to napisz w komentarzu, jeśli wpis był interesujący polub go lub udostępnij 🙂
Podsumowanie
- Możemy monitorować zmiany w obrębie strony konkurencji lub naszej własnej
- Przełącz się na tryb Bazy danych
- Skonfiguruj crawl (całe menu Configuration)
- Skonfiguruj automatyczny crawl
- Analiza od ogółu: Overview > Issues tab > Change detection tab
- Do szczegółu: dane z mniejszych okien na poziomie poszczególnych URL
