Članci

Novi dogovor za 2019. godinu? Učenje iz stvarnog iskustva kako bi digitalizacija, automatizacija i veštačka inteligencija funkcionisali

04 feb 2019

Dragi prijatelji iz sektora finansijskih usluga,
2018. godina je iza nas i trenutak je da se osvrnemo na nju. Nadam se da je za najveći deo vas to bila dobra godina. Svakako je bila (još jedna) godina transformacije. Sveto trojstvo koje čine digitalizacija, automatizacija i veštačka inteligencija se konačno – molim vas! – probilo kroz stare, spore i izolovane procese i zastarelu tehnologiju. Nije nam samo donelo efikasnost, već i konačni lek za grehove iz prošlih izazova u usklađenosti i pretvorilo „korisničko iskustvo u kompetitivnu prednost” (kao što kažu). Dakle, kada se osvrnete na prošlu godinu, da li ste zadovoljni napretkom?

Evo pregleda nekih vaših odgovora: Svi želimo da se digitalizujemo, ali sve što dobijamo je još jedan skup ogromnih IT projekata. Želimo da se automatizujemo, ali naši zaposleni i dalje ručno pretražuju, kopiraju podatke za svaku važnu odluku. Želimo da analiziramo i sada imamo veliki tim izuzetno plaćenih naučnika za podatke s odličnim dokazima o izvodljivosti koncepta, ali koji tek treba da ostvare pravi i značajan uticaj na svakodnevno poslovanje.
Da li vam to zvuči poznato? Da li možda hvatate sebe kako tiho i mudro klimate glavom dok razmišljate da, ako će 2019. godina biti drugačija, onda se najverovatnije nešto mora i raditi na drugi način?

(Ako, s druge strane, iskreno verujete da su svi vaši izazovi iza vas: bravo).

Da li ste još uvek tu? Ako želite da nastavite da čitate, evo jedne ideje. Ovo nije teorija, već pročišćeno – i velikim trudom stečeno – znanje do kog je moj tim došao tokom tri godine intenzivne transformacije u kompaniji Bisnode. To može i ne mora da bude magično rešenje. Ali za nas gotovo da jeste bilo magično i jedino rešenje koje je zaista funkcionisalo. Možda ovo pomogne i vašem timu?

Podrazumeva se da sve ovo zavisi od toga koliko je transformacija u kompaniji Bisnode relevantna za vašu transformaciju. Možda nas ne poznajete ili nas možda poznajete samo nekoliko godina. Ali da li vas nešto od ovoga podseća na vašu situaciju? Šta kažete na više različitih kompanija koje se dugo ne integrišu a sada se zaista stapaju u jednu kompaniju? Šta kažete na fragmentisanu, kompleksnu, zastarelu tehnološku bazu sa svakom zamislivom tehnologijom iz sedamdesetih, osamdesetih i devedesetih godina? Šta kažete na povećane zahteve kupaca koji su obojeni percepcijom da ste, iako ste im potrebni, „malo spori i stari” u odnosu na obećavajuće nove igrače?

Nakon što ste imali koristi od rada sa 60 različitih finansijskih institucija u proteklih 15 godina – od globalnih giganata do lidera u Nordijskoj regiji i rastućih izazivača – čini se da puno vas može da se pronađe u nekim od ovih konteksta – barem kada je reč o transformaciji.

Međutim, jedna stvar koju ne delimo je neto profit. Ljudi, odlično vam ide. Pre tri godine nam nije tako dobro išlo – ni u pogledu finansija, a ni u pogledu napretka. To su bila najteža vremena. U pogledu i finansija i transformacije postoji ogromna razlika u odnosu na stanje od pre tri godine. Još uvek nismo završili, ali napredak je dobar, a budućnost svetla.

Obećanje podataka, tehnologije i analitike

Naš put od dva koraka napred i jedan korak unazad u proteklih nekoliko godina počinje na poznatom terenu.

Svi znamo da se digitalizacija, ali i veštačka inteligencija, mašinsko učenje i dubinsko učenje u suštini svode na podatke. „Podaci su nova nafta” kako kažu. A postoji puno podataka. Sasvim je očigledno da je trik u skladištenju podataka sa svih mesta na kojima se nalaze u digitalne sisteme u kojima će moći da se iskoriste na najbolji mogući način. Naravno, svaki sistem je poseban i potrebna mu je posebna mešavina goriva – bilo kakvi stari podaci neće biti od koristi.

Za kompaniju Bisnode – koja je u srcu kompanija za upravljanje podacima – ovo se svodi na prikupljanje podataka iz izvora, preko obrade i uparivanja, do analitike i preko logike specifične za klijente i u eksterne API interfejse koji su integrisani u sisteme i procese klijenata.

Pre pet godina (ili deset, dvadeset) ovo je rađeno u mnogim paralelnim „monolitskim” sistemima. Bilo je dobro kada nije bilo toliko puno podataka. Bilo je dobro kada je primalac bio čovek. Međutim, kada su se stvari pomerile – potreba za obradom sve veće količine podataka koji se sve češće menjaju, pri čemu je primalac dobro podešen namenski robot – to uopšte više nije bilo dobro.

Pre tri godine smo započeli kreiranje „kanala” da bi se zadovoljila ova potreba. Premisa je bila jednostavna: Nikada ne bismo mogli da predvidimo načine na koje bismo mi ili naši klijenti želeli da koristimo podatke u budućnosti. Niti bismo mogli da zaustavimo ili kontrolišemo povećanje količine podataka, njihovu brzinu promene ili njihovu povećanu regulaciju. Dakle, trebalo je da našim klijentima omogućimo da prenesu samo pravu kombinaciju podataka i analitike tačno tamo gde im je potrebno, pre prethodnog upozorenja i da budu u mogućnosti da iz toga odmah ostvare korist.

Pre dve godine smo omogućili funkcionisanje „kanala”. Međutim, to se odvijalo sporo. Podaci su više tekli kao asfalt nego kao benzin. Tako je bilo bez obzira na činjenicu da smo imali odličnu i veoma novu tehnološku bazu sa izuzetnom arhitekturom (možemo da pustimo kôd u produkciju 30 ili više puta dnevno, što je velika promena u odnosu na kvartalne cikluse iz prošlosti) i fantastične analitičare.

Očigledno je da nismo bili sami: Negde u to vreme je postalo očigledno da veoma skupi naučnici koje smo se svi potrudili da regrutujemo troše 70 do 80% svog vremena na prikupljanje podataka, razumevanje onoga što su prikupili, mapiranje i ponovno mapiranje. Mnogi naši klijenti su nam u poverenju rekli da su se i oni mučili da ostvare korist iz svojih podataka. Mogao sam samo da klimam glavom saosećajno.

Lekcije o izazovima i neuspehu

U tom trenutku smo shvatili da, iako je naš kanal dobro prenosio podatke, omogućavanje pristupa je bilo samo deo izazova. Kao što je jednom jedan naučnik za podatke rekao: „Više ne moram da jurim podatke. Ali još uvek moram ručno da ih mapiram u svojim modelima. I onda još ručno moramo da mapiramo i podatke i model u proizvodnji. Zato što nijedan od ovih sistema zapravo ne razume šta podaci sadrže i koja je njihova funkcija.”

Shvatili smo da je to tačno ne samo za naše analitičare, već i za svaku tehnološku komponentu, svaki korak u procesu i svakog korisnika.

Naoružani ovim saznanjem, shvatili smo da pored (sada prilično glatkog) protoka podataka, postoji još jedan skriveni, ručni i ad hoc proces koji treba da prenese znanje o podacima. To je bio spori deo – ponovno razumevanje, ponovno mapiranje i ponovna integracija podataka.

To je bilo loše, i kako smo se približavali veštačkoj inteligenciji, postalo je još lošije jer je priroda učenja takvih procesa značila da je potrebno da to podesimo i za povratnu petlju, za svaku odluku, u realnom vremenu. Ovaj izazov je bio najmanje jedan ključni razlog zašto su se modeli veštačke inteligencije zaglavili u fazi dokazivanja izvodljivosti koncepta.

Isprobali smo različite pristupe ... i nijedan nije uspeo. Ipak, s ponosom mogu reći da smo shvatili da grešimo u razumnom roku i da smo puno toga naučili. Zapravo nema potrebe da ponavljate naše greške – stoga, za vašu korist:

  • „Trebalo bi da uspostavimo zlatan rekord”. Iako je to nekad očigledno prava stvar, neizbežna normalizacija podataka uz povećanje obima nije bila u skladu s precizno razvijenom veštačkom inteligencijom i robotikom. Jednostavno smo izgubili previše detalja u kanalu. Takođe, ako imate veliki skup postojećih analitičkih modela iz različitih izvora, normalizacija na početku procesa će praktično garantovati da podaci neće odgovarati nijednom modelu.
  • „Agilni proces će to rešiti.” Agilni proces je sjajan, ali to je ipak bilo lažno obećanje. Kombinacija podele kôda (SoC), brzine i fokusa na kreiranu vrednost za kupca u svakom trenutku, kao i činjenica da programeri obično imaju više entuzijazma za svoj kôd nego za neki element podataka je značila da su jednostavno dodali ponašanje „hajde da to mapiramo brzo”, što nema težinu.
  • „To bi se rešilo da smo bolje radili API interfejse (ili API dokumentaciju).” Ovo je verovatno najteža i najmanje predvidiva lekcija: Ukratko, pokušali smo da API interfejs između mikroservisa budu tako specifični oko onoga što je poslato i primljeno kako bi se uklonile sve nejasnoće. Nažalost, neto efekat toga je bio stvaranje čvrstog povezivanja – narušavanje podele kôda i fleksibilnosti. U početku je to bilo neprimetno: Tek kada se vremenom poveća potreba za dodavanjem i promenom podataka, a vi posmatrate kako brzina opada i radovi na održavanju rastu, shvatate da ste zapravo stvorili nove tehnološke monolite bez obzira na vašu arhitekturu mikroservisa.

Nema sumnje da se još stavki može dodati na ovu listu, ali umesto toga ću preskočiti jednu godinu.

Nahranite zver ne samo podacima, već i podacima o podacima

Naše rešenje je na kraju bilo arhitektura podataka zasnovana na ontologiji sa eksplicitnim i priloženim metapodacima kroz ceo kanal. Pored svakog elementa podatka dok putuje kroz naš kanal sada putuju i opisi onoga šta je podatak (ontologija), u kakvoj je vezi s drugim elementima podatka, odakle dolazi, kako je obrađen i na koji način i ko će ga koristiti i čuvati a da ne postane neusaglašen (odnosi se na sve metapodatke).

Kada bih bio savetnik koji želi da vam proda savete ili projekte, sada bih prešao u obiman monolog o tome šta to znači na dubljem i više tehničkom nivou (a zatim nametao softversko rešenje ili savetnike). Nisam i neću biti. Siguran sam da imate arhitekte za podatke koji to mogu da vam objasne.

Umesto toga, dozvolite mi da govorim o tome kako to utiče na nas:

Kao prvo, posedovanje podataka za koje sada direktno može da se razume gde treba da se koriste od strane ljudi i mašina koje treba da koriste te podatke nam je puno pomoglo. Zajedno sa celovitim procesima i agilnim razvojem smo mogli da stvorimo potpuniju podelu – i da sve više izbegavamo greške „ogromnih IT projekata”. Ovo može da zvuči pompezno, ali ponekad objašnjavamo ono što postižemo kao „demokratizaciju podataka”. Podaci su sada zaista dostupni svima za upotrebu – i njihovu efikasnu upotrebu, nezavisno od drugih. Da, ukupna potrošnja za IT je još uvek veoma visoka, ali sada je rizik od međuzavisnosti znatno manji. Zar ne bi manji i agilniji IT napori bili dobri i po vas?

Ekvivalent pretrage i sečenja i lepljenja podataka u kompaniji Bisnode, beskrajna potraga za stručnjacima, dokumentima i specifikacijama za naše dobro i za dobro naših klijenata, konačno dolazi do kraja. Više ne morate da lovite po registratorima, Excel listama, u internim sistemima ili da tražite ljude. Kakav bi bio efekat kad vaši timovi za transformaciju više ne bi bili zadržavani pristupom i razumevanjem i kad bi mogli da se fokusiraju na trenutni posao?

Na primer, ako pravite napredan prediktivan model, automatizujete poslovnu logiku ili kreirate digitalne radne tokove, možete da odaberete podatke koji su vam potrebni – na potpuno transparentan način. To znači da mapiranje, kada se jednom brižljivo ručno uradi u svakoj fazi, može da se uradi samo jednom na jeziku koji je razumljiv ljudima i svaka faza pre i posle može mašinski da se verifikuje. Kada završite s kreiranjem i implementacijom vašeg modela, možete da budete sigurni da ima pristup pravom skupu podataka i u proizvodnji, možete da budete sigurni da su njegovi rezultati dostupni svakom potencijalnom korisniku, a možete da budete sigurni da su tu i „izduvni” podaci iz kasnijih faza, za upotrebu od strane vašeg modela veštačke inteligencije. Kakav bi bio uticaj kada bi rad vaših naučnika za podatke mogao da bude raspoređen svuda i odmah ? A učenje veštačke inteligencije se ne bi završilo na početnom raspoređivanju?

U stvari, postaje još bolje. Kaže se da samo oko trećine analitičkih napora pruža prave rezultate koji mogu biti delotvorni, a tako i korisni, pri čemu puno njih ne rešava kritični i pravi poslovni izazov ili nisu dovoljno transparentni da bi im krajnji korisnik poverovao i odazvao se na njih, ili da jednostavno koriste podatke na načine koji nisu usaglašeni (ovo poslednje je očigledno veća riba sada kada je na snazi GDPR – Uredba o zaštiti podataka o ličnosti). Pošto kanal omogućava metapodacima da teku odmah, usklađenost može direktno da se verifikuje, izvori koji ulaze u modele su transparentni, a vlasnici preduzeća i analitičari imaju zajednički jezik kojim mogu da objasne šta traže. Šta bi se desilo ako bismo omogućili vlasnicima kompanija i analitičarima da uvek zajedno odgovaraju na izazov u svim fazama?

Ako vam je potrebno više podataka ili različiti podaci, i to je lako. Na kraju krajeva, koristeći ontologiju i metapodatke, API interfejsi mogu da budu izuzetno generički na druge načine. To znači da dodaci i promene u podacima mogu obično samo da „protiču” bez ikakvog ručnog rada – zato imamo brzinu. Vreme koje je potrebno za integraciju izvora novih generičkih podataka se smanjilo sa nekoliko meseci na nekoliko dana. Koje nove podatke biste voleli da koristite za upravljanje vašim poslovanjem ako biste mogli da ih postavite tamo gde pripadaju?

Ako pokušavate da upotrebite ljudsku inteligenciju putem digitalizacije – tako što ćete automatizacijom obavljati „jednostavne” poslove kako bi vaši zaposleni mogli da se fokusiraju na kompleksnije poslove – imam i inspirativno učenje. Ako su ljudi koji preuzimaju složeni zadatak verodostojno informisani o tome koji su podaci već prikupljeni, odakle potiču i kako su ocenjeni, puno je verovatnije da će nastaviti tamo gde je mašina stala i da neće ponovo započeti ručno prikupljanje i verifikaciju podataka. Kakav bi bio ishod kada bi svi vaši zaposleni (npr. u procesima upoznavanja klijenata) mogli da usmere svoje napore tamo gde to zaista ima efekta, a ne na prikupljanje podataka?

Ovi koncepti i ideje nisu novi. Svakako da nada i obećanja nisu novi. Možda to nije sve što će vam biti potrebno. Ali ova ideja je urodila plodom u praksi i imala ogroman efekat na napredak i brzinu. Ako ste zainteresovani, voleo bih da mi se javite. Ako ovo isprobate, voleo bih da čujem vaše priče o uspehu, ali podjednako i sva saznanja. Zajedno ćemo postati još bolji.

2019. godina će verovatno biti još jedna godina transformacije. Ne zaboravimo da je prošlo više od 30 godina od čuvene izreke Roberta Soloua „U svemu možete da vidite da se nalazite u informatičkom dobu osim u statističkim podacima o produktivnosti”. Ne zaboravimo da je skoro toliko godina prošlo i otkako je Pol Krugman primetio da „Produktivnost nije sve, ali da je dugoročno ona gotovo sve.”

Za mene postoji dovoljno dokaza da digitalizacija (u svim svojim bojama) može da opovrgne mišljenje gospodina Soloua, a da zadovolji gospodina Krugmana. Hoćemo li da ostvarimo ovo u 2019. godini?