Julkishallinnon päättelyprosessi ei voi olla selittämätön
Mustat laatikot ja avoimuuden puute ovat edelleen suuri ongelma. Jos emme pysty selvittämään, miksi jokin haitallinen vaikutus tapahtui, emme voi myöskään korjata sitä.
– Tekoälyetiikan tutkija Wendell Wallach, Yalen yliopisto
Erityisesti mutkikkaampien tekoälyjärjestelmien haastetta kutsutaan ”mustaksi laatikoksi”. Kun käytetyt data-aineistot ovat massiivisia, koostuvat mahdollisesti useista lähteistä ja sisältävät tuhansia datapisteitä, algoritmin aineistosta suorittama päättely ei ole läpinäkyvää ja ymmärrettävää. Voidaan todeta vain, että ”kone tuotti, minkä se tuotti”.
Tämä on luotettavuuden kannalta iso ongelma. Etenkin julkisen sektorin tekoälyjärjestelmän olisi jo hyvän hallinnon periaatteiden mukaan oltava sellainen, että tuotos voidaan perustella ja selittää. Tämä on tärkeää jo kansalaisen valitus- ja korjausvaatimusoikeuden näkökulmasta.