Duplikaty rzadko są identyczne. Zwykle różnią się drobiazgiem, przez co porównanie znak po znaku ich nie widzi.
Gdzie występują
- kartoteki kontrahentów zapisane różnie,
- ten sam towar pod dwoma symbolami,
- ta sama faktura wprowadzona dwukrotnie,
- powtórzone zgłoszenia od jednego klienta,
- te same treści w kilku miejscach bazy wiedzy.
Ostatni przypadek bywa lekceważony, a psuje wyszukiwanie wprost: te same treści w kilku wersjach zapełniają wyniki, spychając w dół rzeczy naprawdę różne. Przy porządkowaniu bazy wiedzy warto zacząć właśnie od tego.
Duplikaty biorą się zwykle z tych samych źródeł: importu z pliku od dostawcy, przenosin z poprzedniego systemu i pośpiechu przy zakładaniu kartoteki. Warto ustalić, które z nich działa w danej firmie — od tego zależy, czy problem rozwiązuje się raz, czy pilnuje stale.
Podobieństwo znaczeniowe
Wykrywa „Firma Handlowa Kowalski" i „P.H. Kowalski" jako prawdopodobnie ten sam podmiot. Porównanie tekstowe tego nie zrobi.
Działa też przy zapisach z literówkami, innym szykiem wyrazów i skrótami form prawnych. To sytuacje, w których dopasowanie dosłowne pokazuje zero wspólnych wyrazów, a człowiek widzi ten sam podmiot na pierwszy rzut oka.
Jak to przebiega
Rekordy zamieniane są na postać liczbową, po czym dla każdego szuka się najbliższych. Wynikiem jest lista par z miarą podobieństwa, uporządkowana od najbardziej podejrzanych. Nie ma tu żadnej decyzji ani zmiany w danych — powstaje materiał do przejrzenia.
Co trzeba przygotować
Eksport porównywanych pól, a nie całych rekordów. Przy kontrahentach zwykle wystarczą nazwa, adres i dane identyfikacyjne; przy towarach nazwa, symbol i cechy. Wciągnięcie do porównania pól technicznych i notatek pogarsza wynik, bo zbliża do siebie rekordy zakładane tego samego dnia przez tę samą osobę.
Próg
Zbyt niski daje fałszywe wskazania, zbyt wysoki przepuszcza duplikaty. Ustala się go na próbce, a nie z góry.
Robi się to jak przy ocenie jakości wyników: kilkadziesiąt par ocenionych ręcznie pokazuje, gdzie przebiega granica. Warto ustawić ją tak, żeby raczej pokazać za dużo — przejrzenie nadmiaru kosztuje mniej niż przeoczony duplikat.
Wskazanie, nie scalenie
Automatyczne łączenie rekordów jest nieodwracalne. Narzędzie wskazuje kandydatów, człowiek rozstrzyga.
Do tego zasada techniczna: przed każdym scaleniem kopia zapasowa i zapis, co z czym połączono. Duplikaty w kartotece kontrahentów bywają powiązane z dokumentami sprzed lat i rozplątanie pomyłki bez takiego zapisu jest bardzo drogie.
Dane rozstrzygające
Numer identyfikacji podatkowej, kod produktu, numer dokumentu. Tam, gdzie istnieją, mają pierwszeństwo przed podobieństwem opisu.
Podobieństwo znaczeniowe wchodzi więc dopiero tam, gdzie twardych identyfikatorów brakuje albo są niekompletne. To zwykle kartoteki najstarsze, zakładane zanim ktokolwiek pilnował porządku.
Zapobieganie
Sprawdzenie podobieństwa przy zakładaniu nowej kartoteki. Taniej niż czyszczenie duplikatów po latach.
Sprawdzenie odbywa się w tle, w chwili wpisywania nazwy, i sprowadza się do pokazania listy zbliżonych kartotek. Osoba wprowadzająca dane widzi, że coś podobnego już jest, zanim zdąży założyć drugą pozycję. Ta jedna zmiana usuwa większość przyszłej pracy porządkowej.
