7 Dinge, die Sie wissen sollten, bevor Sie Ihren eigenen Search Engine entwickeln

Von Mike Cassidy

08/22/2022


Sie möchten Ihren eigenen Search Engine entwickeln? Die Mühe möchten wir Ihnen sparen, denn mühevoll wird es mit ziemlicher Sicherheit.

Natürlich ist es möglich, ein Search-Engine-Projekt selbst zu entwickeln. Es gibt leistungsfähige Starter-Kits – Solr zum Beispiel. Mit Solr kann man einen guten Website-Search Engine bauen, vorausgesetzt, man hat die richtigen Leute, ausreichend Zeit und genügend Geld.

Oh. Und eine gewisse Toleranz für Risiken und Opportunitätskosten sollten Sie mitbringen, denn der Aufbau einer eigenen Website-Suche kann zeitaufwändig sein und Ihnen entgehen sehr wahrscheinlich Einnahmen, während Sie Ihre Website-Suchmaschine designen, entwickeln und fine-tunen.

Während Sie die Fehler beseitigen und das von Ihnen aufgebaute System weiterentwickeln, wird das Suchergebnis auf Ihrer Website sehr wahrscheinlich suboptimal für Ihre Besucher:innen sein. Diese unzufriedene Kund:innen sollten Sie schleunigst zurückgewinnen, sobald Ihre Suchmaschine wieder auf einem akzeptablen Niveau läuft.

Hier sind sieben Dinge, die Sie wissen sollten, bevor Sie Ihren eigenen Search Engine entwickeln:

Das Gedächtnis einer Suchmaschine manuell aufzubauen, benötigt Zeit

Wenn Sie darüber nachdenken, wie sie Ihre eigene Suchmaschine am besten aufbauen, sollten Sie sich vor Augen führen, welche out-of-the-box Lösungen Sie mit Solr erhalten – es ist skalierbar, kann sofort eingesetzt werden und ist ein bewährter Performer. 

Denken Sie aber auch an die Suche selbst und daran, was nötig ist, um relevante und personalisierte Ergebnisse auf Eins-zu-eins-Ebene bereitzustellen. Um dieses optimale Niveaus des Customer Experiences zu erreichen, benötigen Sie:

  • hochentwickelte Algorithmen

  • riesige Datenmengen

  • eine Cloud-basierte Infrastruktur, die speziell für Ihr Suchsystem designt worden ist

Wissen Sie, was Sie in Ihrer großen, neuen Solr-Box nicht finden werden? Ausgefeilte Algorithmen, riesige Datenmengen und die Infrastruktur, die Sie benötigen, um eine leistungsstarke Suchmaschine für Ihre Website zu entwickeln.

Die Entwicklung der Algorithmen, das Sammeln der Daten und das Entwerfen eines Systems, das diese effektiv nutzt, um den User Intent zu antizipieren, macht das "Do" aus, im Do-it-yourself-Solr-Search-Engine.

Solr allein ist nicht dafür optimiert, nach Umsatz zu ranken. Es schließt Personalisierung und Daten wie Customer Intent, -Behavior und -Affinitäten beim Ranking nicht mit ein. Es ist nicht darauf ausgelegt, eine über die Site-Search hinausgehende Suche zu ermöglichen und es verfügt nicht über Daten zu Produkten, Synonymen und Kaufabsichten. Es kann keinen Content extrahieren. Mit Solrs out-of-the-box Lösung haben Sie ca.  20 % des Weges zu einer richtigen Suchfunktion beschritten.

Wenn Sie möchten, dass Ihre Solr-Suchmaschine diese essentiellen Dinge – Ranking nach Umsatz, Personalisierung, semantisches Verständnis, Verständnis des Nutzerverhaltens – erledigt, müssen Sie ihr mitteilen wie. Im Prinzip müssen Sie bzw. ein dediziertes Team von Menschen das Gedächtnis der Suchmaschine entwickeln.

Wie? Mit der Hilfe von Algorithmen. Dabei ist eins sicher: Der manuelle Aufbau des Gedächtnisses von Suchmaschinen braucht Zeit. Viel Zeit. 

Der manuelle Aufbau Ihrer Suchmaschine kann schnell an Ihre Ressourcen gehen

Nehmen wir zum Beispiel Synonyme. Ein solider Synonym-Thesaurus ist der Schlüssel jeder Suchfunktion auf Websites. Geben Kund:innen beispielsweise "purpurrotes, knielanges, elastisches Partykleid" in ein Suchfeld ein, sollte das System wissen, dass für diese Person ein dünnes Bandage-Kleid von Herve Leger mit Riemen und Ledergürtel als Produkt in Frage kommt. 

Als wir Verbraucher:innen baten, genau dieses Kleid zu beschreiben, kamen 500 Personen auf eine verblüffende Reihe von Kombinationen. Daraus resultierten 129 Wörter für die Farbe "Rot", 275 verschiedene Beschreibungen für den Gürtel, 105 Beschreibungen der Länge und 216 Begriffe für den Mode-Anlass.

data collected from users trying to describe a red dress for search results

Sie fragen sich nun, wie das Solr-Suchsystem den richtigen Begriff ableiten kann? Sie sagen es ihm. Oder ein dediziertes Team arbeitet daran, der Maschine beizubringen, dass "deep rouge" Rot bedeuten kann und dass "Korsettgürtel" ein Riemenledergürtel sein kann.

Sind die Tage nicht zu kurz, um sich Hunderte von Variationen für ein halbes Dutzend Wörter auszudenken, mit denen Verbraucher:innen ein Kleid beschreiben könnten – wäre es Ihnen nicht lieber, sie würden ihre Zeit für etwas Besseres nutzen? 

Das dachten wir uns.

Personalisierte Suchergebnisse, der Schlüssel zum Erfolg

Solr ist eine beeindruckende, skalierbare Site-Search-Plattform – innerhalb ihrer eigenen Grenzen. Es sind genau diese Limits, die Solr als Grundlage für Ihre Do-it-yourself-Suchmaschine zu einer Challenge machen. 

Das Solr out-of-the-box System enthält weder die Algorithmen, noch die Daten oder die Infrastruktur, die Sie zum Entwickeln für die Art von Suche benötigen, die Verbraucher:innen von heute erwarten. Digitale Konsument:innen wünschen personalisierte und relevante Suchergebnisse. Sie erwarten ein Google-ähnliches Experience auf jeder Website: 
1. Eingeben, wonach sie suchen 
2. In ihren eigenen Worten beschreiben, was auf eine Million verschiedene Arten beschrieben werden kann 
3. Genau das erhalten, wonach sie gesucht haben

Werfen wir einen Blick auf die Daten, die eine erstklassige Suchmaschine benötigt, um die Art von Customer Experience zu bieten, die Verbraucher:innen erwarten.

In einem früheren Bericht des Internet Retailers wurde aufgedeckt, dass die größte Herausforderung bei Website-Suchen darin besteht, dass "Kund:innen oft irrelevante Ergebnisse sehen oder diese Ergebnisse in der falschen Reihenfolge erscheinen" und dass "personalisierte Ergebnisse" die wichtigste Funktion ist, die eine moderne Suchlösung bieten kann.

poll results for the types of features users feel are needed for a modern search solution

Um User:innen personalisierte und relevante Ergebnisse liefern zu können, muss eine Suchmaschine den User Intent, die Produktdaten und das Verhalten der User:innen verstehen. Die besten Search Engines erlangen dieses Verständnis, indem sie permanent aus den Daten dieser drei Kategorien lernen.

Eine Suchmaschine muss in der Lage sein, Synonyme zu verstehen, denn Verbraucher:innen verwenden unterschiedliche Wörter, um ein und dieselbe Sache zu beschreiben. Und sie verwenden häufig Wörter, die sich von den Produktbeschreibungen des Retailer unterscheiden. Schuhe können zum Beispiel "niedrig geschnittene Stiefel" oder "High-Top-Sneaker" sein.

Der Engine muss wissen, dass Wortstämme mit allen möglichen Anhängen – "en", "te", "e" – versehen sein können, die ihre Bedeutung extrem verändern können. "Chip" zum Beispiel ist nicht gleich "Chip" – während eins der beiden die Computer-Komponente meint, handelt es sich bei dem anderen Wort um den altbekannten Kartoffel-Snack. Außerdem sollte der Engine in der Lage sein, zwischen Wortarten zu unterscheiden – Attribut vs Produkt. Und er sollte alle Arten der Kundensuche verstehen, einschließlich der numerischen. 

a breakdown of a search result that identifies items, materials, and dimensions as different attributes.

Und was ist mit Akronymen, Slang, Rechtschreibfehlern und Wörtern, deren Definition vom Kontext abhängt? Suchen Sie beispielsweise nach "Spiderman", dem Film, dem Comic oder der Verkleidung?

Das bringt uns zu der Bedeutung von Commerce Data. Das Solr out-of-the-box System erkennt nicht, ob es sich um Marken, Farben oder Größen handelt. Wenn Kund:innen beispielsweise nach einem "Red Valentino Dress" suchen, ist Solr unklar, ob “Red” eine Farbe ist, Valentino ein Stil oder "Red Valentino" eine Marke?

Diese Dinge sind entscheidend.

In Anbetracht der Preisspanne von Red Valentino Produkten, möchte man dass der Search Engine weiß, dass es sich um eine Marke handelt.

Hintergrund ist folgener: Es hat sich gezeigt, dass Verbraucher:innen, die die Search-Funktion nutzen – insbesondere diejenigen, die nach Red Valentino suchen – zu den wertvollsten Kund:innen des Labels gehören, doch sie werden nicht bleiben, wenn sie aufgrund einer schlechten Site-Search frustriert sind, sagt Real Decoy in dem Report "Endeca vs. Bloomreach: Site-Search auf einem ganz neuen Niveau".

Der Report zitiert Untersuchungen von Forrester, wonach 90 Prozent der Suchenden nicht über die erste Ergebnisseite hinaus lesen – und dass Suchende oft einfach aufgeben, wenn schlechte Ergebnisse sie frustrieren.

Lesen Sie als Nächstes: Was ist Omnichannel Commerce?

Sie brauchen eine selbstlernende Site-Search

Selbst wenn eine Website-Suchmaschine die Absichten der Käufer:innen und Produktdaten mit Vollgas auswertet, sind Sie noch Meilen vom Optimum entfernt, wenn Ihre Suchmaschine nicht auch die Verhaltensdaten verarbeitet – Customer Data, die wertvolle Insights über die Performance des Produktes und die Personalisierung des Experiences bieten.

Zu wissen, wie Besucher:innen mit Ihrer Website engagen, ist entscheidend, um zu verstehen, wie man sie am besten bedient. Surfen sie oder nutzen sie die Site-Search? Wie sind sie überhaupt auf Ihre Website gekommen? Welche Suchanfragen verwenden sie? Welche Produkte sehen sie sich an? Welche anderen Produkte sehen sie sich in der gleichen Session an? Was legen sie in ihren Warenkorb? Was kaufen sie?

Die Antworten auf diese Fragen führen zu einer Menge wertvoller Informationen, wie:

  • die beliebtesten Suchanfragen – auf Ihrer Website, im Web, auf dem Smartphone und in sozialen Netzwerken

  • die beliebtesten Produkte, kategorisiert nach Kanälen

  • die Performance jedes einzelnen Produkts auf Ihren digitalen Plattformen

  • wie ein Produkt bei einer bestimmten Suchanfrage abschneidet

  • eine Liste von Produkten, die einander ähnlich sind. Dies hilft Websites, Recommendations zu produzieren – auch für Produkte, die noch zu neu für digitale Erfolgsbilanzen sind

  • Produkte, die innerhalb bestimmter Kategorien beliebt sind

  • die am häufigsten umgeschriebenen Suchanfragen

  • die am häufigsten geklickten Links auf der Website

Ohne die Fähigkeit, die Daten zu sammeln und zu verarbeiten, die dieses Details beinhalten, wird Ihre Suchmaschine nicht kontinuierlich dazu lernen und sich ständig selbst verbessern können. Wenn wir mal ehrlich sind, mag am Ende niemand eine dumme Suchmaschine haben. 

Eine erstklassige Site-Search erfordert eine erstklassige Infrastruktur

Vielleicht waren wir etwas hart zu Solr als wir uns die Frage stellten, ob Sie, um die Suchfunktion Ihrer Website fit für das heutige digitale Zeitalter zu machen, dies von der Pike auf tun - oder eine Fertiglösung wählen sollten.

Solr war nie dafür gedacht, eine Suchmaschine für Websites zu sein – zumindest nicht ohne Extra-Aufwand und einer Menge Zusatzmodulen. Punkt eins und zwei dieses Artikels haben es verdeutlicht.

Denn eine Website-Suchmaschine funktioniert nicht mit Solr allein.

Wir erwähnten bereits die Notwendigkeit, Algorithmen und Daten zu Solrs out-of-the-box System hinzuzufügen zu müssen. Dieses Element der Site-Search-Engine-Entwicklung ist besonders wichtig, da es Ihnen zufriedene Kund:innen bescheren wird, die wieder kommen werden.

Es ist vielleicht nicht die eleganteste Lösung, aber unerlässlich, wenn Ihr Solr-System erfolgreich sein soll. Solr ist ein Such-Server. Als solcher ist er ein wichtiger Teil einer Suchmaschine (wobei die Betonung auf Teil liegt).  

Stellen Sie sich das "out-of-the-box" System von Solr als ein gut designtes Gerüst eines Hauses vor – dem es noch an Zimmern und Feinschliff fehlt. Das Haus braucht Räume – eine Küche, Bad, Schlafzimmer. Vielleicht liebäugeln Sie mit einem Arbeitszimmer, einen Weinkeller und einem Heimkino? Wenn ja, dann braucht es also all das. 

Neben dem Festlegen Ihrer Luxus-Standards, geht es darum, dass Solr out-of-the-box Module benötigt, genau wie dieses potenzielle Traumhaus Räume braucht. 

Suchfunktionen für Unternehmen erfordern weitaus mehr, als Solr bietet. Solr allein ist weder ein Cluster-Management-System, noch Konfigurationsmanagementsystem und bietet von Haus aus keine Relevanz.

Solr kommt ohne Merchandising-Analytics 

Solr beinhaltet kein Interface für “Boost-and-Bury”-Produkte – mit denen Merchandiser:innen gewöhnlich Entscheidungen auf der Grundlage ihres Wissens, ihrer Erfahrung und ihrer Intuition treffen. Solr enthält auch keine Merchandising-Analytics.

All diese Features müssen entwickelt und gebaut werden. Wenn Sie Ihr eigenes Solr aufbauen wollen, brauchen Sie Expert:innen, die sich mit der Infrastruktur auskennen – Expert:innen, die wissen, dass Solr eine Menge Organisation und Management erfordert, um skalierbar zu sein.

Lesen Sie als Nächstes: How to make the shopping experience smoother with site search and merchandising [Blog]

Sie brauchen ein Team von Ingenieuren, um Module zu entwickeln, die all die Daten, über die wir bereits gesprochen haben, bewegen, speichern und verarbeiten.

Eine Möglichkeit, sich über die erforderlichen Module im Klaren zu werden, besteht darin, ihre Funktionen in drei allgemeine Bereiche aufzuteilen:

Data Science: Die Suchfunktion kann nicht lernen, ohne Analytik im Hintergrund. Suchmaschinen sind auf Daten und Modelle des Nutzerverhaltens angewiesen. Wenn Nutzer:innen "Schuh" eingeben, suchen Sie nach Sandalen oder Pumps?

Der Engine benötigt Natural Language Processing-Modelle, damit er das Business und die Produkte der Website, mit denen er arbeitet, verstehen kann. Über Solr hinaus sind einige weitere Maschinen erforderlich, um all diese scheinbar zufälligen, aber essentiellen Informationen zu speichern und zu verarbeiten.

Um die User Intents zu verstehen und eine Website zu erstellen, die auf ihre Absichten reagieren kann, müssen Clickstream-Aktivitäten in Echtzeit erfasst werden können. Wenn es keine effiziente Möglichkeit gibt, diese Clickstream-Daten in das System zu laden, damit es daraus lernen kann, sind die Daten nutzlos. 

Merchandising-Teams brauchen Tools, um zu handeln 

Merchandising: Teams, die für sie Steigerung von Conversions auf Websites verantwortlich sind, brauchen Tools, um ihre Strategien in die Tat umzusetzen. Sie brauchen ein System, um dynamische Business Rules zu schreiben, die sie bei Bedarf schnell ändern können. Sie benötigen Test-Environments, um beurteilen zu können, ob die von ihnen getroffenen Maßnahmen die richtigen sind. Sie brauchen Diagnose-Tools, um die Site Performance zu beobachten und die Ursache von Problemen und Trends zu ermitteln.

Um Fluktuations-Schwankungen des Site-Traffics aufzufangen, sollten entsprechende Systeme eingerichtet sein. Stellen Sie sich beispielsweise eine E-Commerce-Website während der Weihnachtssaison vor. Die Infrastruktur der Websites schnell aufgestockt und wieder geleert werden können – je nach benötigter Kapazität.

Inventur: Solr selbst benötigt ein ETL-System (Extrahieren, Transformieren, Laden), um beispielsweise Daten eines Retail-Katalogs zu sammeln und in die Suchmaschine einzugeben – dieser Vorgang wird Feed-Ingestion genannt. Außerdem wird ein skalierbares Datenspeichersystem benötigt, das es mit sich ständig ändernden Datenfeeds (bedingt durch wechselnde Kataloge) aufnehmen kann.
Es muss ein gut aufgeteiltes System sein, das mit den Anforderungen eines dynamischen Marktes automatisch umgehen kann – wenn ein Retailer beispielsweise feststellt, dass der Umfang seines Katalogs über Nacht verdreifacht werden muss.

Ein Site-Search-Engine braucht auch ein Indexierungssystem, das mit Vollspeed arbeitet. Es liegt in der Natur des Digital Commerce, dass sich Produktdetails – zum Beispiel Preise – und der Bestand ständig ändern. Um mit den Verbraucher:innen und der Konkurrenz mithalten zu können, sollte eine Website schnell auf Veränderungen reagieren können. Nur so bleibt sie relevant.

Ein solches System von Grund auf zu entwickeln, ist möglich, aber keine kleine Aufgabe. Ein mittlerer bis großer Retailer bräuchte unseren Berechnungen nach, 30 bis 40 Ingenieure für den Aufbau eines eigenen hochwertigen, Solr-basierten Site-Search-Engines. Über eine Dauer von bis zu zwei Jahren.  
Dies wird ein kostspieliges und zeitaufwändiges Unterfangen – zumal enorme Opportunitätskosten anfallen. Sie können außerdem davon ausgehen, dass die Search-Experiences Ihrer Kund:innen beeinträchtigt sein werden, während sich die qualitativ hochwertige Suchmaschine im Aufbau befindet. Und die Suchmaschine kann erst dann vollständig aus den Interaktionen mit Ihren Besucher:innen lernen, wenn sie vollständig in Betrieb ist.

All dies ist nicht unwesentlich. eConsultancy hat festgestellt, dass bis zu 30 % der Verbraucher:innen, die Suchfunktion auf der Website nutzen. Und diese Kund:innen gehören zu den wertvollsten Kund:innen, da sie eine stärkere Tendenz haben, Conversions zu erzielen. Im Umkehrschluss ist die Wahrscheinlichkeit, dass Kund:innen, die keine Ergebnisse für ihre Suchanfragen erhalten, die Website verlassen, dreimal so hoch wie bei anderen Kund:innen.

Kein Wunder also, dass verantwortliche Sales- und Content-Teams sich mit größeren Site-Search-Änderungen schwer tun – vor allem mit der Entscheidung, ob sie besser entwickeln oder kaufen sollten, wenn es Zeit für ein größeres Update ist.

Mit Bloomreach werden Commerce-Experiences komplett

Wenn Sie noch mit dem Gedanken spielen, eine eigene Suchmaschine zu entwickeln, lassen Sie sich die Entscheidung von Bloomreach abnehmen und sparen Sie sich die Mühe. Bloomreach Discovery bietet eine leistungsstarke Kombination aus KI-gestützter Site-Search, SEO, Recommendations und Product Merchandising, damit Sie Ihren Kund:innen die perfekten Ergebnisse bieten können. Und das alles, ohne es selbst entwickeln zu müssen.

Wenn Sie mehr erfahren wollen, vereinbaren Sie Ihre persönliche Demo noch heute.


Mike Cassidy

Lead Storyteller

Mike Cassidy hat die Brand-Voice vieler schnell-wachsender Unternehmen definiert, während sie neue Märkte erschlossen haben und damit das Markenerlebnis für Käufer:innen in jeder Phase der Buying Journey attraktiver gemacht.

Darüber hinaus hat er erfolgreiche Beiträge über die Evolution des E-Commerce, die Power von Machine Learning und die faszinierenden Challenges geschrieben, denen sich Unternehmen heute stellen müssen.