Kamera i trålsekken + kunstig intelligens = revolusjonerande fiskemetode

Ein stad i Nordsjøen, i starten av mars: 

Den store flytetrålen vert sleppt over bord. 

Han er litt tyngre enn han plar vere. Mot enden av trålen, framfor sekken, er det montert ein enorm fotoboks. 

Denne fotoboksen har to kamera som knipsar ti bilete kvar i sekundet, og all fisk skal gjennom. 

– Eg er ikkje den som oftast vert sendt på tokt, men det er nyttig, seier havforskar Vaneeda Allken. 

Vanlegvis er ho å finne godt planta framfor ei datamaskin på eit fastlandskontor. Der skriv ho algoritmar og lærer opp maskiner i å skilje makrell frå sild og til å telje dei. 

Men desse vårdagane sit ho på instrumentrommet på «G.O. Sars» på Egga sør-tokt.

– Her får eg løyst konkrete problem med algoritmane mine idet dei oppstår. 

Eit tiår med KI

Det er over ti år sidan Havforskingsinstituttet først byrja å utforske mogelegheitene for kunstig intelligens og kamerasystemet DeepVision i havforskinga. 

Dette arbeidet er også sentralt i satsinga til innovasjonssenteret CRIMAC, som HI leier. CRIMAC vil betre og automatisere tolkinga av akustikk på forskingsfartøy og fiskebåtar, mellom anna ved hjelp av kunstig intelligens.

Dette var òg hovudfokuset til Vaneeda Allken då ho arbeidde i postdoktor-perioda hos HI i 2017. 

– Då undersøkte eg om vi kunne bruke simulerte bilete til å lære opp algoritmar. Ei av dei største utfordringane med maskinlæring er nemleg at ein manglar nok data til opptreninga, forklarar Allken. 

Dette er også noko av bakgrunnen til at ho er med på Egga-toktet. 

Ho skal samle data for å trene opp ein ny algoritme. Denne gong  vil ho trene maskiner til å skilje uer frå andre fiskearter.

Lodde eller uer?

– Det er mykje blits og blinking. Det er mørkt der nede under vasskorpa og kamerasystemet tek bilete tett, seier toktleiar Elvar H. Hallfredsson.

Dette er aller første gong han har DeepVision med seg til havs. 

Hans fremste hjelpemiddel til vanleg er ekkoloddet – akustikken som teiknar eit bilete av fiskeførekomstane under fartøyet. Han granskar ekkogram opp og ned i mente, for å avgjere kva art han ser konturane av i djupna. 

Denne tolkinga er einsarta og tidkrevjande. – Det har vore ei veldig interessant erfaring å ha med eit kamerasystem som dette, for bileta let oss sjå dei forskjellige laga, seier Hallfredsson. 

Havforskaren fortel om ein av dagane, då han tråla i eit lag på om lag 400 meter djupne. Idet trålen kom på dekk att, viste det seg at mesteparten av fangsten var lodde. 

– Då vart eg overraska. Men frå kamerabileta kunne eg sjå at det meste av lodda hadde kome inn i trålesekken på veg ned, og ikkje frå det laget der eg hadde tråla i 40 minutt. 

– Utan bileta hadde eg nok tolka det som at det berre var lodde – men der var uer, sjølv om det ikkje var så mange i sjølve fangsten.  

Tusenvis av bilete og timar

Men havforskaren ser også utfordringar:

– For å få dette funksjonelt, er det viktig at vi får til den automatiske gjenkjenninga. Om vi skal bruke bileta saman med akustikken, treng vi dei raskt. Det vert tusenvis på tusenvis av bilete, og eit menneske kan ikkje manuelt gå gjennom dei – det vil ta endelaust med timar, seier Hallfredsson. 

Og det er nettopp her Vaneeda Allken kjem inn. Ho har allereie lært kunstig intelligens å sjå forskjell på sild og makrell.

Akustikk + bilete

Frå kameraboksen i trålen, som er komen tilbake på dekk, går ein tjukk kabel opp til instrumentrommet. 

Idet kabelen vert plugga inn, byrjar nedlastinga av data. I løpet av nokre timar vert millionar av bilete prosesserte. Resultata frå analysene og bileta vert så visualiserte saman med ekkolodd-data.

På skjermen ser forskarane trålbana som ei kurve, og fargekodar syner kva artar som har vorte oppdaga og identifiserte i fangsten.

Raudt = uer, eller? 

For uerane går det endå veldig manuelt føre seg. Allken gjekk sjølv gjennom bileta, identifiserte dei omhyggeleg og fekk ekspertar til å validere art:

– Og så prøvde eg å forbetre algoritmen kontinuerleg, forklarar Allken. 

– I starten identifiserte algoritmen alt som var raudt som uer. 

Kor er fisken?

For å kome dit dei er i dag, har Allken og kollegaane måtte overkome fleire hinder på vegen. 

I starten tok ikkje forskarane omsyn til at mange av bileta kamerasystemet knipsar i trålen var tomme. Ikkje ein einaste fisk i sikte. 

– 75 prosent av bileta var tomme for fisken vi såg etter, men modellen vår måtte alltid «finne» noko, forklarar havforskaren. 

Det er også ein av fordelane med å teste modellane i røynda, medan ein ser på.  

– Så vi la til eit filter i kamerasystemet, eit som sorterte ut dei tomme bileta før vi startar å leite etter objekt i biletet. 

Tel vi for mange eller for få? Begge deler.

Neste utfordring å bryne seg på, var ei som dukka opp fleire gongar. Bokstaveleg talt. 

For same fisken dukka opp igjen og igjen. Sidan kamerasystemet knipsar mange millionar bilete, tek det naturleg nok også fleire bilete av den same fisken i det han sym forbi linsa. 

Han vert såleis telt fleire gongar.

– Det kunne vi rekna oss rundt, om alle fiskane dukka opp like mange gongar. Men ulike fiskar oppfører seg ulikt, forklarar Allken. 

Også tilfelle der det er tett i tett med fisk, kan by på utfordringar for teljinga. 

Så er det ikkje kor vidt det er 412 eller 413 fiskar ein ser, som er det avgjerande. Forskarane er meir interesserte i fordeling. 

Allken bryner seg no på om ho kan spore éin fisk frå bilete til bilete.

– Det hadde i tillegg lete oss betre estimere lengde på fisken, for då veit vi når vi ser heile fisken – og ikkje berre lengda på den delen som er i biletet. 

Vinninga

Om kameraet kan knipse i trålen, og kunstig intelligens automatisk kan kjenne artane att, vil vinsten vere stor. 

– På sikt vil det vere nyttig om vi kan tråle med open sekk og samle informasjon om det vi ser, utan at vi må ta fangsten på dekk, forklarar Allken. 

Ein treng berre ta opp fisk, til ein skal ta biologiske prøver – dei som fortel oss om diett, vekst og kjønn. Samtidig som ein også kan få informasjon om organismane som uansett ikkje vert fangsta i trålen grunna maskestorleiken – som mesopelagisk fisk.

Også for fiskarane kan teknologien gje vinst. Om dei kan sjå i sanntid kva som er i trålsekken, kan dei tilpasse seg: 

– Dei kan sjå at «denne fisken er verna», «denne fisken er under minstemål», «denne fisken vil vi ikkje ha», forklarar Allken, og peikar på at dette kan redusere ulovleg bifangst. 

– Dette er eit ambisiøst mål, men det går an. Det er utfordringar vi kan løyse, vi treng berre tid.