Amazon entwickelte ab 2014 ein Computerprogramm, das Lebensläufe von Bewerbern evaluieren sollte. Ziel war es, die Suche nach geeigneten Kandidaten für eine zu besetzende Stelle zu automatisieren. Das Programm nutzte künstliche Intelligenz und bewertete die Eignung der Bewerbung mit ein bis fünf Sternen. Allerdings stellte das Unternehmen 2015 fest, dass das Programm bei Bewerbungen für Softwareentwicklung oder andere technische Positionen keine geschlechterneutrale Auswahl traf. Das Online-Rekrutierungsprogramm mochte schlichtweg keine Frauen.

Die Ursache dafür fand sich im Training des Computermodels, welches mit Lebensläufen von Bewerbern der letzten 10 Jahre gespeist wurde. Die meisten Bewerbungen kamen von Männern, was die männliche Dominanz in der Hightech-Industrie reflektierte. So brachte sich das System selbst bei, dass männliche Bewerber zu bevorzugen sind und stufte Bewerber herab, wenn im Lebenslauf das Wort „Frau“ wie bspw. „Kapitänin des Frauenschachclubs“ vorkam. Nach Bekanntwerden des Falls behauptete Amazon, dass das Programm nie von Personalverantwortlichen eingesetzt wurde. Insider sagten allerdings, dass das auf künstlicher Intelligenz basierende Ranking genutzt wurde, wenn auch nicht ausschließlich.

Das Beispiel zeigt, dass die Datenqualität beim maschinellen Lernen von entscheidender Bedeutung ist. Nach dem Motto „Garbage In, Garbage Out“ kann ein Algorithmus nur so gut sein, wie der Datensatz, der ihm vom Menschen zum Training zu Verfügung gestellt wird.