Tekoäly ei ymmärrä organisaation toimintaa
Tekoälyjärjestelmä on todella vain tietojenkäsittelykone. Sen toiminta riippuu täysin siinä käytetystä datasta sekä omistajaorganisaation tavoitteista, osaamisesta ja vastuullisesta toiminnasta.
Vastuullisen tekoälykehittämisen keskustelussa usein toistuva käsite on ”human in the loop”. Käytännössä se tarkoittaa, että viime kädessä vain ihminen voi sekä valvoa järjestelmän toimintaa että hyväksyä järjestelmän tuotokset ja niiden käytön.
Tämän periaatteen haasteena on tekoälyjärjestelmien käytön laajeneminen yksilötapausten käsittelyyn ja ajan myötä ehkä myös varsinaiseen päätöksentekoon.