Yandex Suchalgorithmus: 1997 bis 2018

Der ofizielle Startschuss der Suchmaschine von Yandex fiel im September 1997. Ihre Anfangsphase verbrachte sie unter dem Dach des CompTek International, wo sie weiterentwickelt wurde. Ab 2000 stellt das russische IT-Unternehmen eine geschützte Marke dar.

Das Wort „Yandex“ steht für „Yet Another iNDEXer„. Der Name soll darauf hinweisen, dass der innovative Suchdienst einen anderen Suchalgorithmus als die Konkurrenz anbietet. In diesem  Blogartikel stellen wir die Entwicklung des Suchalgorithmus von Yandex in den letzten 11 Jahren zusammen.

 

Die Ranking-Formeln von Yandex

Als Suchmaschine existiert Yandex bereits seit über 20 Jahren.  Aber erst 2007 fing das Unternehmen an,  seine Ranking Formeln zum Teil für die Öffentlichkeit zugänglich zu machen, davor war diese Information geheim gehalten. Seit 2007 wurden fast alle neuen Ranking Formeln von Yandex nach einer Stadt benannt. Dahinter steckte das Prinzip eines bekannten russischen Gesellschaftsspiels, bei dem man eine Stadt nennen soll und der Name der nächsten soll dann mit dem letzten Buchstaben der vorhergehenden Stadt beginnen. Dieses Prinzip wurde bis Juli 2013 durchgesetzt.

Die neun bis dahin entwickelten Ranking-Formeln von Yandex hießen daher:

Magadan -> Nakhodka -> Arzamas -> Snezhinsk -> Konakovo -> Obninsk -> Krasnodar -> Reykjavik -> Kaliningrad.

So hätte die Reise durch die Yandex-Geschichte auf einer geografischen Karte aussehen können:

Magadan (April 2008)

Der Suchalgorithmus „Magadan“ hat für eine Revolution im russischen Internet gesorgt. Er hatte mindesten doppelt so viele Ranking-Faktoren als der alte Algorithmus. Die Einzigartigkeit des Contents der Websites spielte eine besonders wichtige Rolle.

Ferner hat Yandex gelernt, die so genannte Transliteration (das Schreiben russischer Wörter mit lateinischen Buchstaben, z.B. in URLs) und die oft benutzten Abkürzungen zu verstehen und konnte Dokumente, die auf solchen Kenntnissen basierten, besser auflisten. Dies erlaubte es der russischen Suchmaschine, unter anderem die Webseiten auf Englisch zu indexieren.

Darüber hinaus konnte Yandex durch „Magadan“ alle Texte besser verstehen und auch dann relevante Webseiten finden, wenn diese keine genauen Keywords-Kombination enthielten.

Nakhodka (September 2008)

Sechs Monate nach „Magadan“ stellte Yandex den Suchalgorithmus „Nakhodka“ vor. Die Suchmaschine hatte gelernt Stop-Wörter zu verstehen (wie etwa Präpositionen, Bindewörter usw.) und sie beim Ranking der Webseiten zu berücksichtigen. Parallel erweiterte sich der Wortschatz der Suchmaschine, sodass sie Synonyme und Variationen der Rechtschreibung verstehen konnte.

Arzamas (April 2009)

Im April 2009 war die Zeit für eine neue Ranking Formel reif: „Arazamas“  wurde eingeführt. Größtes Highlight: eine effektive Lokalsuche. Durch den Suchalgorithmus wurden alle Suchanfragen in zwei Gruppen eingeteilt: geo-abhängig und geo-unabhängig (auf Englisch: geo-dependant und geo-independant).  Bei geo-abhängigen Suchanfragen hatten die Webseiten von lokalen Unternehmen den Vorrang in lokalen SERPs (Search Engine Result Pages). So wurde ein Taxi-Unternehmen aus Novosibirsk bei einer Suchanfrage aus Novosibirsk beispielsweise besser rangiert als ein Taxi-Unternehmen aus Moskau. Außerdem war Arzamas der erste Suchalgorithmus von Yandex, der die Webseiten mit Pop-up und Pop-under Advertising gut aussortieren konnte.

Snezhinsk (November 2009)

Bei der Ranking Formel „Snezhinsk“ kamen gleich tausend neue Ranking-Faktoren auf einmal hinzu, die Ende 2009 eine richtige Panik unter russischen SEO-Spezialisten verursacht hatten. Hier sind die wichtigsten davon:

– die geprüften Webseiten wurden im Allgemeinen besser rangiert als alle anderen;

– einzigartige Inhalte wurden zu einem Muss. Websites mit Duplicate Content wurden gestraft;

– alte Backlinks hatten mehr Wert als die, die vor kurzem erworben wurden;

– es wurde ein neuer Filter zur Strafung von Webseiten mit niedriger Qualität eingeführt (AGS)

Was die technische Seite angeht, so wurde gleichzeitig auch die selbstlernende Suchmaschine MatrixNet ins Netz gestellt. Wegen diesen Veränderungen wurde es für SEO-Profis um ein Vielfaches schwerer, die Webseiten auf  hohe Positionen bei Yandex zu bringen.

Konakovo (Dezember 2009)

Mit „Konakovo“ wurde der lokale Suchalgorithmus von „Arzamas“, der ursprünglich nur in 19 Regionen Russlands eingesetzt wurde, auch in anderen Landesteilen verfügbar. So kam er bis Ende 2009 in insgesamt 1250 russischen Städten zum Einsatz.

Obninsk (September 2010)

Die wichtigste Neuerung der Ranking Formel „Obninsk“ war, dass sie viele paid Links heruntergestuft hatte. Darüber hinaus wurde das geo-independant Search verbessert und die Suchmaschine konnte besser die Urquelle des Textes (bei Duplicate Content) identifizieren.

Krasnodar (Dezember 2010)

Mit den nächsten Algorithmus hatte Yandex gelernt, mit Hilfe der Spectrum Technologie die eigentliche Intention des Users zu verstehen. D.h. die Suchmaschine konnte auch bei Wörtern mit mehreren Bedeutungen verstehen, wonach der User tatsächlich fragt, und dadurch irrelevante Webseiten aus der Ergebnisliste ausschließen.

Reykjavik (August 2011)

Mit dem Suchalgorithmus „Reykjavik“ konnte Yandex die bevorzugte Sprache des Users identifizieren und ihm anhand dieser Daten Ergebnisse in dieser Sprache zu liefern. Da sich die Ranking-Formel für die Suchanfragen in anderen Sprachen eignete, wurde sie nach einer nicht russischen Stadt benannt.

Kaliningrad (Dezember 2012)

Der Suchalgorithmus „Kaliningrad“ ermöglichte den Usern von Yandex eine personalisierte Suche. Im Unterschied zur personalisierten Suche von Google wurden bei Yandex nach den unternehmeneigenen Angaben etwa 75 bis 80% aller Suchergebnisse personalisiert, unabhängig davon, ob der User eingeloggt war oder nicht. Damit wollte Yandex die Bedürfnisse seiner User besser bedienen, da viele SEO-Experten bereits gelernt haben, wie sie mit allen anderen Neuheiten der Suchmaschine umgehen sollen.

Dublin (Mai 2013)

„Dublin“ war eine Modifikation von „Kaliningrad“, die im Frühling 2013 eingeführt wurde. Während „Kaliningrad“ die Interessen der User in kurzfristige und langfristige einteilte, hatte der neue Suchalgorithmus gelernt, auf die sofortigen Interessen zu reagieren. Um das gewährleisten zu können, fand sein Update jede Paar Sekunden statt. Ein Beispiel: wenn früher schon festgestellt wurde, dass ein User sich für Filme interessiert, jedoch kurzfristig auch Interesse für Geographie und Reisen zeigt, dann wurden ihm für seine Suchanfrage“Madagaskar“ Ergebnisse für die Insel Madagaskar, und nicht für den gleichnamigen Animationsfilm gezeigt.

„Ostrowa“ (Juli 2013)

Im Sommer des gleichen Jahres verkündete Yandex das Erscheinen eines neuen Suchalgorhitmus „Inseln“. Eine große Änderung des Interfaces der Suchergebnisse wurde vorgenommen. Die wichtigste Neuerung der „Inseln“ bestand in seinen interaktiven Blöcken, die in den Suchergebnissen angezeigt wurden und mit dessen Inhalten man interagieren konnte, ohne auf die jeweilige Webseite zu gehen.

Wenn man zum Beispiel den Titel eines Filmes in das Suchfeld eingab, wurden dem User sofort die Vorstellungs-Zeiten in den Kinos seiner Stadt gezeigt. Außerdem konnte man direkt aus der Ausgabe der Suchergebnisse Aktionen vollziehen: Flugtickets buchen, einen Termin mit einem Arzt vereinbaren, die Postlieferung verfolgen und einiges mehr. Das Unternehmen ging davon aus , dass die „Inseln“ von den Website-Betreibern selbst erstellt werden.

Minusinsk (April 2015)

Am 15. April 2015 teilte Yandex mit, dass Websites, die bisher SEO-Backlinks verwendet haben, niedriger rangiert werden könnten. Die Vertreter von Yandex begründeten diese Entscheidung damit, dass sie den Ausbau der Unternehmensseiten fördern wollten. Damit die Unternehmer das Geld in eine gewinnbringende Optimierung ihres Contents statt in den Kauf von Links investierten.

„In den letzten Jahren haben wir zielstrebig versucht die Auswirkungen der SEO-Backlinks (gekauften Links) auf die Platzierung in der Rangliste in Grenzen zu halten. Aber diese wurden weiterhin gekauft und es wurden Budgets ausgegeben, die sinnvoller investiert werden konnten – z.B. in die Entwicklung der eigenen Website“, – teilte die Pressestelle von Yandex mit. Der richtige Weg für Unternehmer laut Yandex: Investitionen in Inhalt, Design, und Userfreundlichkeit der Website einfließen lassen, statt sie auf Backlinks zu verschwenden.

Wladiwostok (Februar 2016)

Der Suchalgorithmus „Wladiwostok“ führte eine neue Suchtechnologie ein. Dieser lag ein Verifikationsprozess für volle Kompatibilität mit mobilen Geräten zugrunde. Damit hat Yandex einen weiteren Schritt in Richtung mobile Nutzerfreundlichkeit gemacht. Um ein besseres Ranking in der mobilen Suche zu haben, musste die Webseite mit Mobilgeräten kompatibel sein. Um höher als die Konkurrenten in den Suchergebnissen zu stehen, sollte die Webseite auf allen mobilen Geräten, sei es ein Tablet oder Smartphone, korrekt angezeigt werden. „Wladiwostok“ prüfte auch das Vorhandensein von Java und Flash-Plugins, die Anpassungsfähigkeit der Inhalte auf die Größe des Bildschirms (die Breite der Textanzeige), die Lesbarkeit des Textes und die Bequemlichkeit der Link- und Button-Aktivierung.

Palekh (November 2016)

Am 02. November stellte Yandex einen neuen Algorithmus mit dem Namen „Palekh“ vor. Das Neue an diesem Algorithmus war eine besseren Zuordnung von Longtail-Suchanfragen zu relevanten Ergebnissen oder Dateien. „Palekh“ half Yandex Suchmaschine besser zu verstehen, was die User mit Ihren Anfragen meinten. Dank „Palekh“ wurden genauere Antworten bei den Suchergebnissen erzielt, die nicht nur den Keywords entsprechen, sondern auch inhaltlich zum Thema passen. Laut Yandex werden täglich etwa 100 Millionen einzigartige oder seltene Suchanfragen gestellt. Der Algorithmus sollte helfen diese schnell und vor allem richtig zu bearbeiten.

Für den inhaltlichen Vergleich zwischen der Suchanfrage und den möglichen Websites war ein Algorhitmus, basierend auf neuronalen Netzwerken, verantwortlich. „Palekh“ bildete einen n-dimensionalen Vektorraum, der durch die Schlüsselwörter der Suchanfrage und durch die Wörter der Webseits gebildet wurde. Je näher die Vektoren der Suchanfrage und die der Websites zusammenlagen, desto relevanter waren die Letzteren. Die Technologie der semantischen Vektoren zeigte großes Potenzial.  Es konnten nicht nur Titel sondern ganze Texte in solchen Vektoren analysiert werden, sodass der gesamte Wortlaut der Texte oder Websites erfasst werden konnte.

Korolyov (August 2017)

Im August 2017 erschien der zweite netzwerkbasierte Algorithmus „Korolyov“, der auf „Palekh“ aufbaut. Der neue Suchalgorithmus wurde nach einer Stadt nordöstlich von Moskau benannt, die seit vielen Jahren als Zentrum des russischen Weltraumforschungsprogramms auftitt. Das Update verbessert die Art, wie Yandex mit seltenen und komplexen Suchanfragen umgeht (auch als Long-Tail Keywords bekannt).

Es gab zwei bedeutende Neuerungen. Erstens, versteht Korolyov besser als sein Vorgänger, was die User mit ihrer Suchanfrage meinen, weil er die Gesamtheit der Websites analysiert und nicht nur auf ihre Headline achtet. Zweitens, hat Korolyov eine stärkere Leistungskraft und kann tausendmal mehr Dokumente in Echtzeit analysieren als „Palekh“.

Yandex‘ Position als größte Suchmaschine Russlands schafft eine positive Feedback-Basis für das Ausbauen des tiefen neuronalen Netzwerkalgorithmus, der zu immer besseren Suchergebnissen führt. „Korolyovs“ Ergebnisse werden in MatrixNet – Yandex’s proprietärem maschinellem Lernen des Ranking-Algorithmus – geleitet, wo eine Reihe anderer Ranking-Faktoren berücksichtigt wird, bevor Ergebnisse einem User angezeigt werden.

Vor kurzem begann MatrixNet Daten aus „Yandex.Toloka“ und Yandex’s Crowdsourcing-Plattformen sowie anonymisierten Nutzerdaten einzubeziehen, um die maschinellen Lernalgorithmen weiter auszubauen und zu trainieren. Diese Updates sollen Yandex dabei helfen, die Qualität der Suchdienste für seine User weiter zu verbessern. Ein entferntes, aber äußerst interessantes Ziel besteht darin, ein Modell auf Basis des neuronalen Netzwerks zu gestalten, das das semantische „Matching“ von Suchanfragen und Dokumenten auf dem Niveau des „Verstehens“ bearbeitet, vergleichbar mit dem Gedächtnis eines Menschen.

Andromeda (November 2018)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Der neue Algorithmus enthält über tausend Verbesserungen, die seit dem vergangenen Jahr umgesetzt wurden. Die wichtigsten davon gehen in zwei Richtungen:

1. Schnelle Antworten, die für das Problem des User sofort eine Lösung liefern. Die Zahl der Antworten, die direkt in den Suchergebnissen eigeblendet werden vergrößerte sich um ein vielfaches. Täglich werden über 7 Millionen Fragen von Yandex direkt in den Suchergebinssen beantwortet. Schon über die Suchergebnisse können Sie jetzt zum Beispiel Lokal-Vorschläge in der Nähe bekommen, herausfinden, worüber die meisten Medien schreiben und was in einem aktuellen Hockey- oder Fußballspiel passiert. So kann bei Zeitmangel eine schnelle Entscheidung direkt über Yandex Suche getroffen werden.
   
2. Relevanz der Quellen. Damit die Nutzer als erstes Websites mit den für sie relevantesten Ergebnissen sehen können, hat Yandex seine Bewertungsformel aktualisiert. Die Qualität der Website wird jetzt noch mehr berücksichtigt. Dabei ist die Prüfung der Fragen wichtig: Wie gut löst die Website die Probleme der User? Kehren die User häufig zurück? Darüber hinaus werden in Suchergebnissen neben Seitentiteln neue Symbole angezeigt, mit deren Hilfe die Wahl einer Website erleichtert wird. Die Websites mit dem meisten Traffic sind jetzt mit dem Symbol „Beliebte Website“ und Websites mit einem hohen Maß an Engagement – mit dem Symbol „Userwahl“ versehen.
   

Andrei Styskin, Leiter von Yandex Search über das Jahr 2018: „Seitdem wir den Korolev-Algorithmus eingeführt haben, wächst unser Anteil ständig – auf dem Desktop ist er um 2,5% gestiegen, auf mobilen Geräten – um 6%. Die Suchqualität ist einer der wichtigsten Faktoren für das Wachstum der Anteile. Deshalb haben wir den vorhergehenden Algorithmus optimiert und mehr als tausend Verbesserungen vorgenommen.“ Wir sind sehr darauf gespannt, wie sich der neue Algorithmus von Yandex im kommenden Jahr auf die Suchergebnisse auswirkt.