Model odtwarza wzorce z danych, na których się uczył, wraz z zawartymi w nich nierównościami. W części zastosowań to ma skutki prawne.
Skąd się biorą
Z materiału uczącego i z danych firmy. Model wskazujący najlepszych kandydatów na podstawie historii zatrudnienia odtworzy dotychczasowe wzorce, także niepożądane.
Nie jest to usterka do naprawienia poprawką. Mechanizm polega na wyszukiwaniu prawidłowości, a prawidłowość obecna w danych zostanie znaleziona niezależnie od tego, czy jest pożądana. Dlatego pytanie nie brzmi, czy skrzywienie występuje, tylko gdzie ma znaczenie.
Gdzie ma znaczenie
- rekrutacja i ocena pracowników,
- przyznawanie limitów i warunków handlowych,
- kolejność obsługi zgłoszeń,
- kwalifikowanie reklamacji,
- kierowanie ofert do grup klientów.
Wspólną cechą jest to, że wynik dotyka konkretnej osoby i różnicuje jej sytuację. Czy w danym procesie wchodzą w grę obowiązki wynikające z przepisów o równym traktowaniu, rozstrzyga prawnik. Zadaniem osoby wdrażającej jest wskazać, gdzie takie różnicowanie w ogóle zachodzi.
Jak wykrywać
Sprawdzenie na przykładach różniących się wyłącznie cechą, która nie powinna mieć znaczenia. Różnica w wyniku jest odpowiedzią.
Test da się zrobić bez żadnych narzędzi. Bierzemy jeden realny przypadek, przygotowujemy kilka wariantów zmieniających wyłącznie imię, adres albo wiek, i porównujemy odpowiedzi. Jeśli się różnią, mamy konkret do rozmowy zamiast domysłu.
Pomiar po wdrożeniu
Rozkład rozstrzygnięć w grupach. Systematyczna różnica wymaga wyjaśnienia niezależnie od tego, skąd wynika.
Wystarczy proste zestawienie robione co jakiś czas. Bez niego skrzywienie utrwala się cicho, bo pojedyncze rozstrzygnięcie zawsze wygląda na uzasadnione. Dopiero zestawienie wielu pokazuje wzór. Ten pomiar warto wpisać na stałą listę przeglądu zgodności.
Usunięcie cechy nie wystarcza
Model odtwarza ją z innych danych — z adresu, imienia, historii zakupów. Pominięcie pola nie rozwiązuje problemu.
To najczęstsze nieporozumienie w tym temacie. Usunięcie pola daje poczucie bezpieczeństwa i jednocześnie utrudnia wykrycie problemu, bo skoro cechy nie ma w danych, nikt nie sprawdza jej wpływu. Sensowniejsze bywa zachowanie danych i regularne mierzenie wyników.
Wniosek praktyczny
W obszarach dotyczących ludzi model przygotowuje materiał, a rozstrzyga człowiek. To jednocześnie wymóg i najprostsze zabezpieczenie.
Warunkiem jest, żeby nadzór był rzeczywisty. Człowiek zatwierdzający sto propozycji na godzinę powiela skrzywienie zamiast je korygować, a przy tym daje mu pozór ludzkiej decyzji.
Kiedy odpuścić zastosowanie
Jeśli proces dotyczy ludzi, a firma nie ma jak sprawdzić rozkładu wyników, lepiej z niego zrezygnować. Uruchomienie czegoś, czego nie da się zmierzyć, oznacza przyjęcie ryzyka bez wiedzy o jego wielkości. Prostsze zastosowania — streszczanie dokumentów, porządkowanie zgłoszeń bez wpływu na ich rozpatrzenie — dają korzyść bez tego problemu i tam warto zaczynać.
