Replacement with Kuana Exporter + Solution of "Unknown Channel" issues

Den originale larm-doms-exporter er i master branch på https://github.com/statsbiblioteket/larm-doms-exporter .

Den nye larm-kuana-exporter ligger i larm-kuana-branch .

Den underliggende software model er at larm-chaos har givet os en template fil hvori vi propper nogle values fra vores doms eller kuana metadata poster. Sideløbende er der en upload script som tage dagens eksport, pakker den ind i en zip-fil, og uploader gennem ftp.

Der er stor akitektur-mæssigt forskel mellem de to kodebase:

DOMS export code trækker direkte fra DOMS og bruger en persistence layer (database) til at holde styre på hvilke programmer den har fundet i DOMS og om de er blevet eksporteret til Larm.

Kuana koden trækker det hele fra Summa indeks og transformerer den til den endelige form mha xslt. Kuana pakken har ingen Java, kun scripts. Dens "persistence layer" består udelukkende af a en timestamp i en fil, som refererer til den sidste-opdateret timestamp af den sidste eksporteret program.

"Ukendt" Problematiken

Larm har sendt os en liste over kanaler i deres system med tilhørende filnavne for logo-filer. Disse har vi matchet med vores egne interne kanalnavne og lagt i en ad hoc xml file. I DOMS eksporteren ligger de i https://github.com/statsbiblioteket/larm-doms-exporter/blob/master/src/main/config/chaos_channelmapping.xml .

I kuana eksporteren er de indlejret i xslt filen: https://github.com/statsbiblioteket/larm-doms-exporter/blob/larm-kuana-exporter/src/main/config/XIPToLarm.xsl . (Scripstene er skrevet af Colin Rosenthal og xslt af Dorete.)

Når vi eksporter et program fra en kanal som ikke findes i listen, so får den channel name "Ukendt" og filnavn "unknown_logo.png".

Det er problematisk fordi det betyder at Larm har ikke tilstrækkeligt information for at vide om de har ret til at vise programmet. Problemet omfatter omkring 128000 udsendelser. Vi skal løse problemet både i den nye Kuana eksport og der skal også rettes til i den gamle DOMS eksporter så vi re-eksporter relevante programmer. 

Løsnings-model

En mulig løsnings model ser sådan ud:

1. Vi udarbejder en liste af alle de påvirkede kanaler 
   1. enten med at bruge larm api: https://api.prod.larm.fm/v6/EZSearch/Get?q=&facets={Search}.Kanal%3AUkendt&pageIndex=0&pageSize=100&format=json2
   2. eller med at sammeligne mapping-filen med en liste over alle vores kanaler
2. LARM-Chaos sletter alle nuværende programmer med "ukendt" fra deres system - og sender en liste over disse programmer til os
3. Vi sender kanalisten til LARM-Chaos og de fortæller os hvordan mapning af disse kanaler skal se ud fremover - dvs. hvilke nye entries der skal være i mapping xml.
4. Vi modificerer både den gamle og den nye eksporter sådan at de ikke eksporter "ukendte" kanaler
   • Den ville være bedste at indføre en nye betegnelse "frataget" i mapping-xml filen for kanaler hvor der er taget et bevidst valg at de ikke skal med, og så at man kan identificere egentlig "ukendte" kanaler i tilfælde at sådan nogle programmer dukker op senere.
   • Canal 8 Sport, Eurosport Danmark, Investigation Discovery, TV2 Sport HD, TV3 Max skal være blandt de "frataget"
5. Vi re-eksporter de slettede programmer - dvs. kun dem som ikke er "frataget"
6. Proceduren for fremtidigt behandling af nye kanaler er allerede lagt ind i https://sbprojects.statsbiblioteket.dk/pages/viewpage.action?pageId=37594160
7. Der er nogle timing issues da vi ikke skal blive ved at uploade "ukendte" programmer efter at Larm har slettet alle dem som findes p.t.. Det nemmeste er bare at sette en pause for den daglige kørsel af doms-exporter scriptsene mens vi retter på den.

Ukendte kanaler (fundet med larm api og opslag i pbcore på naiad)

Ukendte kanaler (fundet ved sammeligning af kanaler for ritzau programmer og mapping-filen)