Den nye folkemusikkatalogen

Forhistorie

Norge har et desentralisert nettverk av folkemusikkarkiver der noen sentrale aktører driver med forskning og allmenn formidling, mens mange mindre institusjoner driver utelukkende med innsamling og formidling i regionale folkemusikkmiljøer (Nettverk for norske folkemusikkarkiv 2019). De aller fleste av disse – samt noen arkiver i Sverige – bruker programvaren Fiol til registrering av opptak og til søking, listeskriving og forvaltning av mediefiler.

Fiol er en relasjonell database som ble utviklet i et norsk-svensk samarbeid på 1980-tallet. Kravspesifikasjonene ble laget av en gruppe eksperter på folkemusikk, folkedans og folkesang. Tellef Kvifte ved Norsk folkemusikksamling, Universitetet i Oslo (UiO), utviklet den første versjonen av basen. Programutvikleren Silvester Pozarnik ble kort tid etter hentet inn for å revidere programmet, slik at en driftssikker versjon har vært i bruk siden 1992. Kvifte videreutviklet basen frem til 2003 da utviklingen ble overtatt av Per Gudmundson ved Folkmusikens Hus i Rättvik, Sverige (Folkmusikens hus 2019). Brukerne av Fiol bygde opp hver sin lokale base bestående av poster registrert i tabeller knyttet sammen i Fiols spesifikke struktur, slik at man lett kunne søke etter melodier fra f.eks. enkelte distrikter, på enkelte instrumenter eller spilt inn av enkelte utøvere.

Etter hvert oppstod det et behov for en fornying av systemet ettersom datateknologien hadde gjort store fremskritt. Samtidig begynte situasjonen med å være avhengig av kun én utvikler å bli et problem. At Gudmundson alene satt med kunnskapen om programmet gjorde systemet sårbart, og det hadde ikke dukket opp noen som kunne overta utviklingen av basen. Nettverket for norske folkemusikkarkiver diskuterte i flere år hvordan man kunne løse problemet. At programmet nå eides av en aktør i Sverige gjorde det også vanskelig å få søkt pengestøtte i Norge. Det ble laget flere rapporter som beskrev problemet. Først bestilte Stiftelsen for norsk folkemusikk og folkedans en utredning om Situasjonen for de norske folkemusikkarkivene (Aksdal, Lønnestad & Thedens 2013) og senere Fremtidens folkemusikkarkiv. Digitale utfordringer (Viken 2014). Disse ble sikkert lest av politikere, men ingen løsning var i sikte, og Gudmundson nærmet seg pensjonsalderen.

Til tross for alle disse utfordringene fungerte Fiol utmerket som arbeidsverktøy for registrering, søking og formidling. Da Norsk folkemusikksamling (NFS) i 2014 ble flyttet fra Universitetet i Oslo til Nasjonalbiblioteket (NB), ble det bestemt å fortsette å bruke denne basen, selv om NB hele tiden ønsker å redusere antall kataloger i sitt system. NB hadde allerede oppbevart de originale spolebåndene fra NFS siden 1996 i sin avdeling i Mo i Rana og registrert dem i sitt eget system for audiovisuelt materiale, MAVIS (National Film and Sound Archive of Australia, Mavis 2019). Også MAVIS er et system fra 1990-tallet, bygd på liknende teknologi som Fiol.

Drøfting av nytt databaseprosjekt

Høsten 2015 kom det et innspill fra uventet hold. I Norsk rikskringkasting (NRK) var staben i avdelingen Arkiv & Research blitt redusert med 50 %, og arbeidsflyten fra opptak i felten til ferdige programmer skulle omstruktureres. NRKs ønske var at journalister og andre programskapere fremover skulle kunne samle og registrere materiale selv istedenfor å avlevere det til arkivet. Til dette trengte man et nytt databasesystem. NRK hadde allerede opprettet et større prosjekt med navnet Origo som fungerte som paraply for flere systemer som var under utvikling (Børdalen 2017). Teknologien bak systemet kalles semantisk web, og ideen er å komme bort fra atskilte ”siloer” for hver eneste database og heller dele på en felles infrastruktur. Delene i denne infrastrukturen kan hentes fra ulike hold. Noe kan være selvutviklet, annet kan være innkjøpt ”hyllevare”. For å drive dette prosjektet videre trengte NRK et materiale der denne infrastrukturen kunne prøves ut.

Det fantastiske som skjedde var at valget av materiale falt på folkemusikk. Årsaken var at metadata om folkemusikkopptak fantes i flere ulike baser i NRK. Kringkastingen hadde deltatt i prosessen da Fiol ble utviklet, og NRKs folkemusikkarkiv hadde brukt systemet tidlig på 1990-tallet. Etter få år ble det likevel bestemt at man heller skulle overføre registreringene til NRKs felles programsystem, SIFT. Av en eller annen grunn ble ikke alle metadata overført. For å kunne ta vare på alle metadata om folkemusikkopptak i NRK i et nytt system måtte man da hente data fra både Fiol og SIFT.

Som nevnt ville NRK også redusere ressursbruken for egne arkiver og ville derfor inngå et samarbeid med Nasjonalbiblioteket, som også hadde overtatt og digitalisert NRKs originalbånd med folkemusikk. NRKs registreringer ville da kunne flettes sammen med NFS sin Fiol-base. Planen for det nye systemet var at NRKs utviklere skulle bygge strukturen, og at NB skulle drifte den ferdige basen. Ledelsene i NRK og NB ble enige om å først satse på et forprosjekt som skulle utrede de tekniske mulighetene for en slik prosess og for fremtidig drift.

En ”Avtale om Utvikling og drift av et felles arkiv for norsk folkemusikk” mellom de to aktørene ble undertegnet 4.4.2016. Der blir det i beskrivelsen av bakgrunnen pekt på at de fleste folkemusikkarkivene i Norge bruker Fiol, og at NB og NRK har ”et indirekte ansvar for at et eventuelt nytt katalogsystem for folkemusikk også kan komme disse arkivene til gode”. Under ”formål” ble det tatt med at ”det må tas hensyn til at bruksområdet senere kan utvides til et helhetlig musikkarkiv som også omfatter andre egenopptak og kommersielle musikkutgivelser”.

Forprosjektet

I forprosjektet var målet å drøfte ikke bare muligheten for å utvikle en ny databaseløsning, men også å planlegge hvordan en slik løsning lettest kunne lages, og hvor mye man kunne ta i bruk av strukturer som allerede eksisterte. Et annet mål var å definere ”scope”, dvs. hvor grensene til prosjektet burde dras.

Det ble opprettet seks grupper som skulle arbeide med ulike aspekter av prosjektet. Medlemmene bestod av utviklere, designere, domeneeksperter, dvs. folkemusikkarkivarene fra NRK og NB, bibliotekarer m.fl. De fleste deltakerne møtte i flere grupper.

Det ble satt ned en styringsgruppe, og arbeidsgruppen begynte å ha møter og produsere dokumenter.

Brukerbehovene ble delvis listet opp på forhånd – etter det initiativtakerne forventet av systemet – og deretter ut fra brukertester som ble gjennomført med ansatte i både NRK og NB. Listene inneholdt mange såkalte ”user stories” som beskrev krav og ønsker og ble delt inn i grupper som ”registrering”, ”gjenfinning” m.fl.

En stor del av oppgaven for folkemusikkarkivarene var å beskrive sin arbeidspraksis i de eksisterende systemene, dvs. Fiol, MAVIS og SIFT. Eksempler på metadata for typiske poster fra basene ble listet opp.

Gruppen for migrering kartla først og fremst alle feltene med datainnhold som måtte overføres fra de gamle systemene til det nye. En utfordring her var at Fiol ikke brukes akkurat likt av folkemusikkarkivene i Norge. Mens noen felt aldri ble brukt i NBs registreringspraksis, var de svært viktige for andre arkiver. Det viste seg f.eks. at Senteret for folkemusikk og folkedans i Trondheim bruker alle nivåene i den finmaskete dansekategoriseringen. Senterets arkiv av folkedansfilmer er den viktigste ressursen for folkedansforskningen i landet og må være nøyaktig i klassifiseringen. Derfor ble det raskt klart at alle de gamle feltene måtte over i en ny struktur. For MAVIS og NRKs systemer var det avgjørende å beholde den direkte koblingen mellom metadata, mediefilene og de fysiske lydbærerne til enhver tid.

Gruppene som arbeidet med systemarkitektur og teknisk drift, hadde for det meste medlemmer fra utviklersiden. Disse tok for seg de tekniske mulighetene og utfordringene rundt samarbeidet, ikke minst hvordan de to institusjonene kunne kommunisere gjennom sine respektive brannmurer.

Allerede i forprosjektfasen dukket det opp noen uklarheter rundt hva det nye systemet skulle kunne og ikke trengte kunne. I sluttrapporten ble det konkludert med at det ikke skulle omfatte kommersielt utgitte musikkopptak, men at man ”ikke burde utvikle noe som ville stenge for denne muligheten i fremtiden”. Et annet spørsmål var hvorvidt man skulle ta sikte på formidling til eksterne brukere. Uten at dette ble festet i noen dokumenter, ble det flere ganger sagt at NRK ønsket seg et grensesnitt der publikum kunne søke og spille av folkemusikkopptak som skulle erstatte den lineære nettradioen NRK driver i dag. På lydarkivkonferansen i NRK høsten 2016 kunngjorde programsjef Knut Henrik Ytre-Arne at NRK ville legge ned sin lineære internettkanal som kringkastet folkemusikk døgnet rundt, og erstatte den med en ny løsning – uten å nevne verken et tidspunkt eller henvise til planene om den nye basen (NRK Radio, Folkemusikk 2019). Dette vakte en del oppsikt blant folkemusikkarkivarene som var til stede. De fryktet at dette tilbudet bare ville forsvinne uten at en erstatning var på plass. I august 2019 er denne kanalen fortsatt aktiv.

Forprosjektet ble avsluttet i november 2016 og leverte en sluttrapport der mulighetene og ressursbehovene ble beskrevet, og ledelsene i NRK og NB gikk inn for å gjennomføre prosjektet. Etter alle årene med forsøk på å få til en enslig utviklerstilling til videreføring av Fiol, var det nå gitt grønt lys for at hele 13 utviklere skulle arbeide med prosjektet vårt!

Oppstart av hovedprosjektet

Så snart ledelsene hadde gått inn for å kjøre prosjektet, begynte utviklerne med å lage en såkalt POC (proof of concept) for å kunne teste grunnprinsippene i basen basert på datamodellen. Gruppene fortsatte sin virksomhet, men det ble raskt åpenbart at databransjen jobber annerledes enn vi arkivarer er vant til. Mens folkemusikkarkivarene og bibliotekarene i prosjektet fortsatte, var det mange utskiftninger i teamet ellers. Etter en stund fikk arbeidet en ny leder, og flere i gruppene ble også skiftet ut. En annen utfordring var begrepsbruken, og det gikk mye tid på å beskrive hva enkelte ord betyr i vår sammenheng, mens vi arkivarer hadde problemer med konsepter og begrep som utviklerne brukte med selvfølgelighet.

Designeren kunne snart presentere et første utkast til grensesnitt. Dette fulgte et mønster som var vanlig i NRK, basert på mye bruk av bilder som kunne hentes fra flere andre baser i institusjonen. Dette var et hovedpoeng med det nye systemet. Mens all informasjon man vil ha ut av baser som Fiol og MAVIS, først må skrives inn, gjør internettet det mulig å hente inn data fra andre steder. Det er her begrepet ”semantisk web” kommer inn i bildet. Planen var å hente inn personnavn fra NRKs personregistre og å benytte seg av stedsnavnregisteret som ligger til grunn for NRKs kjente værvarseltjeneste ”Yr”. Disse autoritetsregistrene skulle tas i bruk så mye som mulig, og drøfting av hvordan dette kunne gjennomføres, ble en viktig del av arbeidet.

Migrering

Andre autoritetslister var det liten tvil om at vi måtte fremstille selv. Dette gjaldt særlig musikktyper og instrumenter. Fordi NRK og Norsk folkemusikksamling hadde ulike brukergrupper, måtte det kompromisser til for at alle kunne forstå begrepsapparatet brukt i den nye basen. Terminologien skulle fungere for radiolyttere så vel som for musikkforskere. Instrumentklassifikasjonen måtte derfor forandres og forenkles. Klassifikasjonssystemet etter Hornbostel og Sachs (Hornbostel 1914), som Fiol bruker, skiller instrumentfamiliene etter hva som produserer lyden. Men for vanlige lyttere gir det liten mening at både fløyter og trekkspill sortereres inn under ”luftinstrumenter”. Vi måtte finne begreper som var entydige, men samtidig brukbare i daglig tale. Det viste seg også at listene NRK opererte med i sine musikkbaser for publisert musikk og det som faktisk blir kringkastet av NRK, var langt mer detaljerte og inneholdt mange underkategorier. Instrumentene i et symfoniorkester kunne klassifiseres til minste detalj, noe en folkemusikkbase absolutt ikke har behov for. Elektroniske instrumenter ble tatt med da Fiol ble utviklet, men har utviklet seg mye siden den gang.

Slike ”kulturkonflikter” ble også tydelige rundt inndelingen av musikk i ulike typer. Det ble klart at ikke alle fordelene fra Fiol umiddelbart kunne videreføres. En av programmets styrker var at man kunne klassifisere på tre plan: musikktype, teksttype og dansetype. Et videoopptak der et dansepar danser en dans til en sunget dansemelodi med tekst, kunne slik gjenfinnes når man søkte etter teksten, dansetypen eller meloditypen.

Ulike deler av arkivenes innhold har ulike behov for klassifikasjon. Eksempelvis kunne Joik klassifiseres etter språket som ble brukt, eller etter tekstens tema. Vi innhentet råd og ekspertise fra kollegaer på ulike institusjoner, delvis dem som bruker Fiol, men også eksterne eksperter. Vi så på emneordlister fra gamle Norsk visearkiv og forhørte oss med eksperter på folkedans når det gjaldt turdansene som kan bruke ulike typer musikk.

Vi ble enige om å beholde et hierarki, men at vi var nødt til å samle de tre domenene til ett, og dannet fem grupper:

Sistnevnte skulle omfatte det som ikke så lett passet inn i de to første klassene og rommet da bl.a. tur- og/eller kontradansene som klart skilte seg fra andre dansetyper, men som kunne danses til musikk som kan passe inn under enten bygde- eller runddans. Resultat av arbeidet ble et stort mappingsdokument for typene. I tillegg gav begrepet musikktype liten mening i radiosammenheng, og vi erstattet det med ”sjanger”.

Når mappingen var ferdig planlagt, ble eksporten fra NB-Fiol kjørt i februar 2017 ved å lage en tekstdump av alle tabeller. Samtidig økte NBs massedigitaliseringsavdeling i Mo i Rana tempoet med å digitalisere NFS sine originale spolebånd.

Testing av en første versjon

I mai 2017 kjørte vi en rekke brukertester i begge institusjoner. Oppgaver og spørsmål ble generert fra våre user stories, og flere brukere (ikke folkemusikkarkivarene selv) fikk prøvd ut løsningen.

Hele prosjektteamet møttes til en felles workshop i august, og 9. oktober 2017 kunne den første demoen av versjon 1 av basen gjennomføres.

Dataimporten inn i det nye systemet ble testet. Etter hvert ble også mer og mer lyd importert i basen. Mens NRKs opptak var ferdig indekserte, dvs. at starttidspunktene og varighet for hver melodi var registrert, manglet dette i NB Fiol.

Utover høsten ble det nye workshops og brukertester. Testene avslørte en rekke problemer og feil med søket som teamet måtte fikse. All import var ferdig første halvdel av januar 2018, og ganske snart etter ble det såkalte ”Prod”-miljøet opprettet. Dermed kunne vi arbeide i den virkelige basen, ikke lenger bare i en testkopi. Endringer vi foretok skulle kunne spores etter at en fungerende autentiseringsløsning var på plass.

Mens alt dette foregikk, lurte et problem i bakgrunnen: NRK skiller strengt mellom sin radio- og sin TV-virksomhet. NFS hadde derimot siden år 2000 samlet mye video i tillegg til lyd. I Fiol kunne videofiler behandles på lik linje med lydfiler. Dette viste seg å ikke være like enkelt i det nye systemet. Jeg hadde forfattet flere tekster som spesifiserte denne praksisen, og i teamet hadde vi en rekke samtaler om emnet, men dette var tydeligvis vanskelig å prioritere i NRK. I planleggingen våren 2017 ble ”versjon 1” av systemet beskrevet som den grunnleggende, mens videokomponenten skulle bli en del av versjon 2 og muligens ta i bruk løsninger som NRK hadde utviklet til bruk i sin TV-virksomhet.

En betautgave av folkemusikkdatabasen ble satt i produksjon rett før sommerferien i juli 2018. Den inneholdt flere feil, særlig i hva angikk lydopplasting og avspilling, men var ellers godt brukbar for å bli bedre kjent med systemet.

Etter å ha gjennomført svært effektive brukertester kom den nye designeren – den fjerde i rekken – etter sommeren med ett nytt forslag til grensesnitt. Hennes løsning var muligens mindre moderne, men langt enklere å bruke for oss arkivarer. Tidligere versjoner med store bilder (og senere med automatisk genererte søkeknapper, såkalte ”piller” med assosierte ord) ble erstattet av en enkel sidestolpe med langt flere søkefelt. Det ble dermed mindre likt de generelle søkemotorene som f.eks. Google og mer lik gamle Fiol.

Det eneste som manglet var (ved siden av bedre datosøk) søkemuligheter etter tradisjonsområder eller distrikt – noe som er helt sentralt i brukernes oppfatning av norsk folkemusikk. Dataene om hvor utøverne var fra, var blitt eksportert fra Fiol, men ikke synlige i grensesnittet.

Utover høsten jobbet teamet videre, fant enkelte feilkodinger/-mappinger og rettet på disse. Tilgangen til basen fra utenfor NRKs nett var fortsatt problematisk. I oktober kom meldingen om at det var blitt flere permisjoner blant utviklerne og NRK igjen så seg nødt til å prioritere andre prosjekter. Vårt prosjekt ble dessverre satt på vent.

I ventetiden konsentrerte vi arkivarer og bibliotekarer oss derfor om autoritetslistene og prøvde å samkjøre våre (folkemusikk-) lister med NRKs lister over medvirkende og lønnsmottakere, slik at alt ligger til rette når utviklerne kan fullføre sitt arbeid med en fullt brukbar versjon.