Tutkimuksissa on havaittu, että tekoälyjärjestelmillä on taipumus tuottaa päätöksiä tai analyysejä, jotka systemaattisesti suosivat tiettyjä ryhmiä toisten ryhmien kustannuksella.
Myös Suomessa on nähty yksittäisiä algoritmisen syrjinnän tapauksia. Useimmiten ne perustuvat sukupuoleen, ikään, etnisyyteen, kieleen, sosioekonomiseen asemaan tai henkilön muuhun vastaavan suojattuun ominaisuuteen. Tämä johtuu usein opetusdatasta, joka väistämättä kuvaa menneitä olosuhteita ja saattaa pitää sisällään vanhoja syrjiviä rakenteita. Tiedetään esimerkiksi, että kasvojentunnistusalgoritmeilla on vaikeuksia tunnistaa tummaihoisia ihmisiä, koska opetusdataan tarvittavissa verkon kuvamassoissa esiintyy valkoisia ihmisiä valtavan paljon enemmän.
Joskus syrjivyys voi johtua myös siitä, että algoritmissa käytetään kriittisenä muuttujana henkilön ominaisuutta, joka voi olla syrjintäperuste (esimerkiksi ikä tai sukupuoli). Tällöin sovellus voi kohdella ihmisiä epäreilusti esimerkiksi lainahakemusten tai rekrytoinnin yhteydessä.
Myös kuville generoitu kuvailumetatieto on itsessään usein syrjivää. Kuva valkotakkisesta naisesta on koneen mielestä useimmiten "sairaanhoitaja" ja valkotakkinen mies useimmiten "lääkäri". Kun tällaiset vinoumat siirtyvät suurten nopeuksien ja massaskaalojen järjestelmiin, niiden vaikutukset leviävät nopeasti ja globaalisti ja vaikuttavat edelleen uusien AI-järjestelmien kouluttamiseen, ellei noidankehää tietoisesti rikota.