Algorytm BERT – porozmawiaj z wyszukiwarką Google

W ostatnich tygodniach Google rozpoczął proces wdrażania do swojej wyszukiwarki nowego algorytmu o nazwie BERT.

Czym jest algorytm Google? To zestaw danych i  zasad, które są analizowane przez wyszukiwarkę aby w odpowiedzi na nasze zapytania aby podać najbardziej adekwatne i najlepsze jakościowo strony serwowane w ustalonej przez algorytm kolejności.

CO TO JEST ALGORYTM  GOOGLE?

W ostatnich tygodniach Google rozpoczął proces wdrażania do swojej wyszukiwarki nowego algorytmu o nazwie BERT.

Czym jest algorytm Google? To zestaw danych i  zasad, które są analizowane przez wyszukiwarkę aby w odpowiedzi na nasze zapytania aby podać najbardziej adekwatne i najlepsze jakościowo strony serwowane w ustalonej przez algorytm kolejności.

Algorytm Google przechodzi różne zmiany i modyfikacje około 500 razy w ciągu roku. Dlaczego więc wprowadzenie algorytmu BERT jest tak istotne?

CO ZMIENIA BERT?

Google od jakiegoś czasu pracuje nad technologią opartą o sieć neuronową, której zadaniem jest przetwarzanie naturalnego języka (NLP – Natural Language Processing). Technologia ta została przez Google nazwana Bidirectional Encoder Representations from Transformers, czyli w skrócie właśnie BERT.

Pandu Nayak, wice prezes Google, tłumaczy wprowadzenie algorytmu BERT potrzebą zrozumienia o co pytają użytkownicy wyszukiwarki. Według niego „ciekawość ludzka jest nieograniczona”. 15% spośród codziennych zapytań do wyszukiwarki, to zapytania, które wcześniej nie wystąpiły i dlatego konieczne było opracowanie algorytmu dla wyników, których nie dało się przewidzieć.

Według Google, przełomowe w algorytmie BERT jest to, że nie interpretuje on słów, tak jak poprzednie algorytmy, jedno po drugim, ale każde słowo, znajdujące się w zdaniu, traktuje jako całość. We wcześniejszych analizach zapytań pomijane były spójniki i przyimki (STOP WORDS) co często kompletnie zmieniało sens zapytania. Dodatkowo pod uwagę  brana jest również kolejność i kontekst słów.

Przykładem na istotność stopwordsów jest fraza “2019 brazil traveler to usa need a visa” Przed wprowadzeniem BERTa użytkownik otrzymywał odpowiedź na pytanie „czy obywatel USA potrzebuje wizy do Brazylii”. Wyszukiwarka w analizie zapytania pomijała słowo “to” (pl. “do”) jako nieistotne.

Zródło: https://blog.google/products/search/search-language-understanding-bert

Według Google BERT ma wpłynąć na poprawę jakości 10% wyszukiwań i sprawić, że staną się one bardziej dopasowane do oczekiwań użytkownika.
Jak podaje Google, algorytm ten jest tak potężny, że ilość zasobów niezbędnych do jego funkcjonowania zmusiło do umieszczenia go w całości w chmurze i wykorzystania po raz pierwszy Cloud TPUs.
BERT nie zastępuje RankBrain, który będzie dalej używany do dopasowywania wyszukiwań. BERT ma być używany w przypadku jeśli Google stwierdzi, że zapytanie będzie lepiej zinterpretowane przez nowy algorytm.

NAJBARDZIEJ ZNANE ZMIANY ALGORYTMÓW GOOGLE

PageRank

Pierwszy algorytm wykorzystywany przez Google był opracowany przez założycieli – Larry’ego Page’a i Sergeya Brina. PageRank premiował strony za ich jakość. O jakości strony świadczyć miała jej popularność, ilość odwołań do niej i cytowań.

Panda

Panda to algorytm, którego nazwa pochodzi od jego twórcy, inżyniera Google Navneeta Pandy Panda premiuje strony przede wszystkim za treść. Sprawdzała plagiaty i duplikację treści, nie tylko w stosunku do innych stron ale również w obrębie tej samej strony. Panda weryfikuje również czy stosunek czystego tekstu na stronie jest w odpowiedniej proporcji do znaczników meta oraz kodu strony.

Pingwin

Zadaniem algorytmu o Pingwin jest przede wszystkim walka ze spamem i przeciwdziałanie wszelkim objawom nieetycznego działania. Pingwin karał za zbyt dużą ilość przybywających linków do strony oraz ich kiepską jakość.

Koliber

Jego zadaniem jest ułatwienie użytkownikom wyszukiwania informacji. Koliber zaczął serwować tzw. snippety, czyli krótkie odpowiedzi w wyszukiwarce Google, bez konieczności odwiedzania jakiejkolwiek strony. Koliber wspiera również działalność lokalną, algorytm stara się wyświetlać te odpowiedzi, które znajdują się najbliżej nas.

Gołąb

Skupia się głównie na lokalnych wynikach wyszukiwania. Połączył odpowiedzi na zapytania w wyszukiwarce Google z mapami. Poszukując zatem mechanika w Krakowie, pojawią nam się nie tylko poszczególnych warsztatów ale przede wszystkim zostaną one rozmieszczone na mapie wraz z określeniem naszego położenia.

Podsumowując, wdrożenie BERTa to kolejny krok w rozwoju AI i łatwej, naturalnej komunikacji z otaczającymi nas urządzeniami. Obecnie BERT wdrożony został w wyszukiwarce Google ale umiejętność rozpoznawania naturalnego języka komunikacji z pewnością przysłuży się łatwiejszemu, bardziej intuicyjnemu i naturalnemu sposobowi komunikacji z otaczającymi nas urządzeniami codziennego użytku.