DUPLICITNÍ ZÁZNAMY
Stejná entita, jiný záznam
Detekuji přesné i téměř duplicitní záznamy vzniklé opakovaným zadáním, úpravami, paralelními systémy nebo nejednotným formátováním.
SPECIALIZACE
Entity Resolution & propojování záznamů.
Identifikuji záznamy, které odkazují na stejného skutečného zákazníka, firmu, produkt, nemovitost nebo jinou entitu (i když nejsou zcela totožné), a převádím je do spolehlivých dat na úrovni jednotlivých entit.
Python
Record Linkage
Fuzzy Matching
Random Forest
Graph Analytics
Correlation Clustering
Deduplication
PROBLÉM
Různé záznamy nemusí znamenat různé entity.
Stejný zákazník, firma, produkt, nemovitost nebo jiné aktivum se může v jednom datasetu nebo napříč různými systémy objevit několikrát. Drobné rozdíly v názvech, atributech, formátování nebo zdrojových informacích mohou propojení těchto záznamů výrazně ztížit. Vytvářím Entity Resolution workflow, které tyto vztahy identifikují, aniž by se spoléhaly pouze na přesné shody.
CO MOHU PROPOJIT
Od zjevných duplicit až po záznamy, které se shodují jen částečně.
PROPOJOVÁNÍ NAPŘÍČ ZDROJI
Propojit záznamy mezi systémy
Propojuji záznamy ze samostatných souborů, databází, dodavatelů nebo platforem i v případech, kdy není k dispozici spolehlivý společný identifikátor.
NEJEDNOTNÉ ATRIBUTY
Propojovat i přes nedokonalé informace
Využívám podobnost názvů, cen, adres, kategorií a dalších atributů, pokud se jednotlivá pole neshodují přesně nebo se v čase mění.
KONFLIKTNÍ VZTAHY
Sjednotit nekonzistentní shody
Řeším případy, kdy párové důkazy vytvářejí protichůdné nebo neúplné vztahy, ještě předtím, než jsou jednotlivé záznamy sloučeny do entit.
PROČ ENTITY RESOLUTION
Párové shody je ještě potřeba převést na konzistentní entity.
PÁROVÉ DŮKAZY → ROZHODNUTÍ NA ÚROVNI ENTITY
Propojit dva záznamy je jen část problému.
Pravidla podobnosti nebo modely strojového učení mohou vytvářet vztahy, které do sebe nezapadají zcela konzistentně. Jeden záznam může odpovídat druhému, druhý třetímu, zatímco první a třetí vypadají odlišně. Pomocí grafové konsolidace převádím párové důkazy do vnitřně konzistentních skupin reprezentujících skutečné entity.
A
B
C
D
pravděpodobně stejná entita
pravděpodobně odlišná
VSTUPNÍ ZÁZNAMY
4
→
IDENTIFIKOVANÉ ENTITY
2
JAK PRACUJI
Od kandidátních záznamů k dohledatelným datům na úrovni entit.
01
VYMEZIT PROSTOR KANDIDÁTŮ
Omezit nemožná porovnání už na začátku.
Určím, které záznamy mohou realisticky odkazovat na stejnou entitu, a nastavím blocking nebo pravidla pro generování kandidátů tak, aby byl prostor porovnání věcně relevantní a výpočetně zvládnutelný.
02
VYTVOŘIT PÁROVÉ DŮKAZY
Měřit podobnost místo vyžadování přesné shody.
Porovnám relevantní pole a kandidátní páry ohodnotím pomocí pravidel, fuzzy metrik podobnosti nebo supervised klasifikace, pokud to charakter problému vyžaduje.
03
VYŘEŠIT VZTAHY
Převést párové predikce do konzistentních skupin.
Analyzuji grafovou strukturu, odhalím protichůdné vztahy a použiji vhodné pravidlo konsolidace tak, aby konečné přiřazení entit zůstalo vnitřně konzistentní.
04
DODAT FINÁLNÍ ENTITY
Zachovat celý proces dohledatelný.
Dodám deduplikovaný nebo propojený dataset společně s ID entit, mapováním zdrojových záznamů na výsledné entity a podle potřeby také s opakovaně použitelnou matching logikou.
TYPICKÉ PROJEKTY
Když několik záznamů může popisovat stejnou věc v reálném světě.
01
DEDUPLIKACE ZÁKAZNÍKŮ & CRM
Najít opakované zákazníky nebo organizace skryté za nejednotnými záznamy.
Identifikuji duplicitní zákaznické, účtové nebo firemní záznamy vzniklé odlišným zápisem, opakovaným zadáním, neúplnými poli nebo oddělenými systémy.
02
PROPOJOVÁNÍ PRODUKTŮ & KATALOGŮ
Propojit ekvivalentní produkty mezi dodavateli, feedy nebo katalogy.
Propojuji záznamy popisující stejný produkt navzdory rozdílům v názvech, kategoriích, specifikacích nebo identifikátorech specifických pro jednotlivé zdroje.
03
DEDUPLIKACE MARKETPLACE & INZERÁTŮ
Odlišit opakované inzeráty od skutečně různých nabídek.
Řeším záznamy vzniklé opětovným zveřejněním, paralelními prodejci, revizemi nebo více reprezentacemi stejné nemovitosti, produktu či nabídky.
04
KONSOLIDACE MASTER DAT
Vytvořit jednu konzistentní vrstvu entit napříč fragmentovanými databázemi.
Propojuji firmy, dodavatele, aktiva nebo jiné opakující se entity napříč samostatnými zdroji a zachovávám mapování mezi zdrojovými záznamy a výslednou sjednocenou entitou.
ŘEŠÍTE PROBLÉM S PROPOJOVÁNÍM ZÁZNAMŮ?
Zjistěme, které záznamy patří k sobě.
Napište mi, které záznamy potřebujete propojit, deduplikovat nebo konsolidovat. Mohu pomoci převést fragmentovaná data do dohledatelného Entity Resolution workflow.