Saken gjelder: De generelle kravene i § 4. Tildelingsevaluering. Innklagede gjennomførte en konkurranse etter forskriften del I for anskaffelse av maskinlæring/kunstig intelligens til Ryen helsehus. Klager anførte at det forelå feil ved tilbudsevalueringen og at innklagede hadde brutt de generelle prinsippene i loven § 4. Klagers anførsler førte ikke frem. Klagenemndas avgjørelse 30. juni 2026 i sak 2025/1851 Klager: Kistevig AS Innklaget: Oslo kommune v/Oslobygg KF
Klagenemndas medlemmer: Alf Amund Gulsvik, Sverre Nyhus og Hanne Torkelsen
Bakgrunn
(1)Oslo kommune v/Oslobygg KF (heretter innklagede) kunngjorde 9. september 2025 en konkurranse etter forskriften del I for anskaffelse av maskinlæring/kunstig intelligens til Ryen helsehus. Anskaffelsens verdi var estimert til 980 000 kroner ekskl. mva. Tilbudsfrist var 7. oktober 2025.
(2)I konkurransegrunnlaget fremgikk følgende om «Anskaffelsens formål og omfang»: «Oslobygg ønsker å teste ut nye teknologier for KI/AI (maskinlæring/kunstig intelligens) av SD-anlegget til Ryen helsehus (vedlegg 2). Driftsperioden skal vare i ett år, med opsjon på ett års forlengelse.»
(3)Kontrakt skulle tildeles basert på kriteriene «Pris», vektet 20 prosent, «E1: AI-modell», vektet 40 prosent og «E2: Brukervennlighet og funksjonalitet», vektet 40 prosent.
Kriteriene var angitt i følgende tabell:
Kriterium Vekt Dokumentasjonskrav Pris 20 % • Ferdig utfylt prisskjema, se bilag Evalueringssum består av: 6.
• SUM alle prisposter E1: AI-modell 40 % • Leverandørens redegjørelse på Oppdragsgiver vil foreta maks. 3 A4 sider i vanlig lesbart en helhetsvurdering av format, se dokumentasjonskrav i tilbudt løsnings AI-modell, Bilag 1.1 Kundens se E-krav merket «E1: AI- kravspesifikasjon. modell» i Bilag 1.1 Kundens kravspesifikasjon. Postadresse: Besøksadresse: Postboks 511 Sentrum Zander Kaaes gate 7 Telefon: +47 55 19 30 00 post@knse.no 5805 Bergen 5015 Bergen
Helhetsvurdering vil legge vekt på blant annet:
• Kvalitet og realisme, f.eks. dokumentert gjennom erfaring fra tidligere prosjekter
• Forståelse for oppdragsgivers behov og relevans av foreslåtte løsninger
• Teknisk løsning og tilpasningsdyktighet E2: Brukervennlighet og 40 % (4) Video (skjermopptak) eller funksjonalitet beskrivelse iht.
Oppdragsgiver vil foreta dokumentasjonskravet til E-krav en helhetsvurdering av merket «E2: Brukervennlighet og tilbudt løsnings funksjonalitet» brukervennlighet og • Demomiljø med tilgang for funksjonalitet, se E-krav demobrukere merket «E2:
Brukervennlighet og funksjonalitet» i Bilag 1.1 Kundens kravspesifikasjon.
(5)I konkurransegrunnlaget punkt 4.3, «Evaluering», fremgikk det at «[f]or hvert tildelingskriterium vil beste tilbud gis 10 poeng (før vekting) og de andre tilbudene vil bli vurdert og poengsatt i forhold til beste tilbud».
(6)Videre var det i bilag 1.1, «Kundens kravspesifikasjon til kjøp av Maskinlæring (SSA-L)», angitt følgende om kravspesifikasjonstabellen: «I kolonne «Svar» skal leverandøren bekrefte «Ja» eller «Nei», om at tilbudt tjeneste oppfyller kravet. I kolonne «Dokumentasjonskrav» skal oppfyllelse av kravet beskrives iht. dokumentasjonskravet. Se for øvrig konkurransegrunnlaget pkt. 4 om dokumentasjon til de kvalitative tildelingskriteriene (evalueringskravene). Oppdragsgiver gjør oppmerksom på at selv om tilbudt tjeneste oppfyller E-krav vil oppdragsgiver evaluere og poengsette basert på en helhetsvurdering av samtlige tilbud, se konkurransegrunnlaget for mer informasjon.»
(7)De aktuelle kravene var inntatt i en slik tabell: Krav Kravsbeskrivelse Krav Svar Dokumentasjonskrav Evalueringskrit ID type (beskriv oppfyllelse) erium 2
1 Redusere E Leverandøren skal E1: AI-modell energiforbruk redegjøre for hvordan målet om redusert energiforbruk skal oppnås. Det bes om at leverandøren tar utgangspunkt i OBFs beskrivelse av dagens inneklima.
Leverandøren bør forklare hvordan tilbudt system/AI- modell vil kunne identifisere problemer/utfordringe r/muligheter, analysere data og foreslå tiltak, samt forventet resultat i forhold til nåværende situasjon og installert automatikk. Maks 1 A4 side i vanlig lesbart format. 2 Forbedre E Leverandøren skal E1: AI-modell inneklima redegjøre for hvordan målet om forbedret inneklima skal oppnås. Det bes om at leverandøren tar utgangspunkt i OBFs beskrivelse av dagens inneklima.
Leverandøren bør forklare hvordan tilbudt system/AI- modell vil kunne identifisere problemer/utfordringe r/muligheter, analysere date og foreslå tiltak, samt forventet resultat i forhold til nåværende 3
situasjon og installert automatikk. Maks 1 A4 side i vanlig lesbart format. 3 Optimalisere drift E Leverandøren skal E1: AI-modell basert på redegjøre for hvordan bruksmønstre, drift optimaliseres herunder blant basert på registrerte annet: bruksmønstre. Det bes om at leverandøren Belysning: AI skal, tar utgangspunkt i hvis mulig, OBFs beskrivelse av optimalisere lys og dagens drift og utelys etter tid, bruksmønstre. tilstedeværelse og lysforhold Leverandøren bør forklare hvordan Rom-/sonekontroll: tilbudt system/AI- lys, varme og modell vil kunne luftkvalitet identifisere aktiveres kun i problemer/utfordringe relevante soner r/muligheter, *Varmesentral og analysere data og kurser: AI sikrer foreslå tiltak, samt optimal regulering forventet resultat i og styring forhold til nåværende situasjon og installert automatikk. Maks 1 A4 side i vanlig lesbart format. 4 Automatisere E Leverandøren med E2: overvåking og skjermopptak av Brukervennligh feilrapportering løsningen vise et og funksjonalitet for funksjonalitet Rapportering: AI generering av genererer rapport, dashbord og rapporter basert på fremvisning av brukerdefinerte avvik/alarmer. parametre og Skjermopptaket skal avvik. AI bør være på inntil 5 prioritere de 10 minutter og starter fra mest kritiske innlogging til løsning. avvikene.
Dashbord skal være brukervennlig og tilpasses 4
individuelle brukere. 9 Eventutell (sic) M Beskriv datasenterets skytjeneste skal lokasjon og EU- være plassert i EU. samsvar. 31 Løsningen bør E Redegjør for støtte for E2: støtte autentisering Entra ID og Brukervennligh via kundens Entra autentiseringsstandar et og ID (OpenID der. funksjonalitet Connect, Oauth 2.0 eller SAML 2.0).
Leverandøren bes redegjøre for hvordan dette gjennomførts. 32 Løsningen bør E Redegjør for støtte for E2: støtte funksjonalitet automatisk Brukervennligh for automatisk provisjonering via et og provisjonering av SCIM. funksjonalitet bruker (f.eks SCIM) Kunden benytter Entra ID som IAM-løsning, med mulighet for oppsett av RBAC for applikasjonen.
Leverandøren bes redegjøre for dette i besvarelsen.
(8)Før tilbudsfristens utløp mottok innklagede fire tilbud, herunder fra Kistevig AS (heretter klager) og SAAS Prosjekt AS.
(9)Den 5. desember 2025 ble leverandørene informert om at kontrakt var tildelt SAAS Prosjekt AS (heretter valgte leverandør).
(10)I meddelelsesbrevet fremgikk leverandørenes vektede poengscore for hvert av tildelingskriteriene, rangering og totalscore:
AI- Brukervennlighet modell og funksjonalitet
Leverandørens navn Totalscore Rangering Pris (E1) (E2) 20 % 40 % 40 % Johnson Controls AS 8,09 2 1,29 3,60 3,20 5
Kistevig AS 7,20 3 2,00 1,20 4,00 Piscada AS 6,42 4 1,22 1,20 4,00 Saas Prosjekt AS 8,75 1 1,15 4,00 3,60
(11)I tillegg fulgte innklagedes begrunnelse for evalueringen av leverandørene under kriteriene «AI-modell (E1)» og «Brukervennlighet og funksjonalitet (E2)». Innklagedes begrunnelse for evalueringen av klagers tilbud var som følger: «Løsningen beskriver identifisering av avvik og tiltak, men mangler enkelte funksjoner knyttet til styringsmodul og tiltaksstøtte som det er redegjort for i dokumentasjonen. Modellen vurderes som mindre moden og gir lavere nytteverdi for energireduksjon og inneklima. Brukergrensesnittet fremstår som ryddig og lett å navigere i. Dette gir henholdsvis en lav score på E1 og høy score på E2.»
(12)I begrunnelsen for evalueringen av valgte leverandørs tilbud, fremgikk følgende: «Tilbudet viser en moden AI-modell som identifiserer avvik og foreslår tiltak på en tydelig måte. Løsningen identifiserer komfortavvik, årsaker og foreslår konkrete tiltak. Viser høy forståelse av OBFs behov og har tydelig metodikk for energieffektivisering og sonekontroll. Demoen viser et brukervennlig og funksjonelt grensesnitt, med gode presentasjoner av avvik og komfortdata. Dokumentasjonen gir god forståelse av hvordan løsningen kan bidra både innen energi og inneklima. Dette gir samlet sett best uttelling på E1 og E2.»
(13)Tildelingsbeslutningen ble påklaget av klager 6. desember 2025. I klagen ba klager om en utdypende begrunnelse for innklagedes evaluering av tildelingskriteriene E1 og E2. Innklagede tok ikke klagen til følge, men skrev følgende om evalueringen av tildelingskriteriene i sitt svar på klagen: «Oslobygg KF fastholder evalueringen slik den kommer frem i meddelelsesbrevet. 3.1 Om E1 – AI-modell Dere ber om konkretisering av hvilke funksjoner som mangler og hvilken dokumentasjon som ligger til grunn for vurderingen av «modenhet». Evalueringen av E1 baserer seg på et innkjøpsfaglig skjønn av den tilbudte løsningens kvalitet, realisme og relevans for Oslobyggs behov. Konkurransegrunnlaget etterspurte spesifikt hvordan løsningen kan "identifisere problemer/utfordringer/muligheter, analysere data og foreslå tiltak" for både energireduksjon, inneklima og driftsoptimalisering (herunder sonekontroll), se kravspesifikasjonens kravID 1, 2 og 3. Selv om funksjonalitet for styring og tiltaksstøtte er beskrevet i tilbudet deres, har oppdragsgiver etter en helhetsvurdering funnet at løsningens faktiske utforming og modenhet på disse områdene var vesentlig svakere enn hos valgte leverandør. Formålet med anskaffelsen er, jf. konkurransegrunnlaget og svar i Q&A før tilbudsfrist, å teste ut nye teknologier for maskinlæring. Det var et eksplisitt ønske om et «ferdig produkt» (system) som kunne verifiseres. 6
Valgte leverandør (SaaS Prosjekt AS) tilbyr en plattform (Siemens Building X med Comfort AI) som benytter kunstig intelligens til å optimalisere tekniske anlegg i sanntid. Løsningen oppretter en unik modell per sone og justerer settpunkter kontinuerlig og autonomt basert på analyser av historiske data, værprognoser og bruksmønstre. Dette er en løsning der AI-modellen selv utfører styringen uten behov for manuell involvering. Dette svarer direkte på oppdragsgivers ønske om å teste et ferdig, autonomt maskinlæringsprodukt. Oppdragsgiver har vurdert at deres (Kistevig) løsning baserer seg på «human-in-the loop»-prinsippet via «cmdHUB». Selv om tilbudet beskriver bruk av spesifikke maskinlæringsmetoder (som LSTM og Transformers) for analyse og prediksjon, fremstår den praktiske utøvelsen av tiltak og optimalisering som en prosess som lener seg på manuell verifisering eller inngripen fra driftssentralen. Selv om faglig kompetanse og manuell overvåking har en verdi i ordinær drift, var formålet med denne anskaffelsen å teste autonom programvareteknologi. En løsning som lener seg på menneskelige vurderinger for å fungere optimalt, gir ikke oppdragsgiver mulighet til å verifisere teknologien på den måten konkurransen la opp til. 3.2 Om E2 – Brukervennlighet og funksjonalitet Dere stiller spørsmål ved hvordan demoen ble vurdert og etterlyser kriterier. Alle tilbydere er vurdert likt basert på kriteriet «brukervennlighet og funksjonalitet». Demoen var en del av evalueringsgrunnlaget for å verifisere nettopp brukeropplevelsen. Tilbyderne ble stilt tilsvarende spørsmål under demonstrasjonen. Både dere og SaaS prosjekt ble vurdert å ha et godt grensesnitt, og er derfor gitt henholdsvis 10 og 9 poeng. Her er deres tilbud gitt best uttelling. Det foreligger ingen usaklig forskjellbehandling; forskjellene i poengscore skyldes reelle forskjeller i kvaliteten på de tilbudte løsningene sett opp mot oppdragsgivers behov.»
(14)Klagen ble brakt inn for Klagenemnda for offentlige anskaffelser den 11. desember 2025. Klagebehandling startet 14. januar 2026, jf. forskrift 15. november 2002 nr. 1288 om klagenemnd for offentlige anskaffelser (heretter klagenemndsforskriften) § 13 siste punktum.
(15)Kontrakt med valgte leverandør ble inngått 9. januar 2026.
(16)Nemndsmøte i saken ble avholdt 29. juni 2026.
Anførsler
Klager har i det vesentlige anført:
(17)Innklagede har lagt til grunn feil faktum i evalueringen av klagers tilbud. Innklagede hevder at klager manglet styringsmodul, tiltaksfunksjonalitet, helhetlig tiltakssystem og autonomi. Dette er feil. Funksjonaliteten ble dokumentert og demonstrert.
(18)Tilbudsevalueringen er i strid med de grunnleggende prinsippene om likebehandling og etterprøvbarhet. Valgte leverandørs tilbudte løsning beskrives grundig i evalueringen, mens klagers tilsvarende demonstrerte funksjonalitet ikke vurderes. Videre mangler det 7
dokumentasjon på innklagedes evaluering. Innklagede har ikke fremlagt noen poengmatrise, vurderingsnotater eller sammenligningsgrunnlag for evalueringen, og evalueringen kan derfor ikke etterprøves.
(19)Innklagede har også brutt det grunnleggende prinsippet om forutberegnelighet i tilbudsevalueringen. Graden av autonom drift ble brukt som den avgjørende kvalitetsforskjellen mellom tilbudene, uten å ha tilstrekkelig forankring i konkurransegrunnlaget. Dette fremgår av evalueringen, hvor klager gis lavere uttelling som følge av at løsningen er basert på human-in-the-loop, mens valgte leverandør gis høyere uttelling fordi løsningen i større grad opererer autonomt. Når et slikt forhold gis avgjørende vekt, må dette fremgå klart av konkurransegrunnlaget slik at leverandørene kan forutse evalueringen. Kravspesifikasjonen åpner dessuten for human-in-the-loop.
(20)Valgte leverandør har ikke levert dokumentasjon som viser oppfyllelse av kravene i kravspesifikasjonen. For eksempel ber kravID 9 i kravspesifikasjonen uttrykkelig om en redegjørelse for løsningens plassering. Valgte leverandør har ikke gitt noen beskrivelse av dette forholdet i sitt tilbud. Når tilbudet likevel gis høy uttelling på kvalitative kriterier, og demonstrasjonen etter innklagedes egen fremstilling ikke inngår i evalueringen, blir det uklart hvilke dokumenterte forhold som faktisk er lagt til grunn for vurderingen. Videre ber kravspesifikasjonen om redegjørelse for hvordan løsningen foreslår og håndterer tiltak. Valgte leverandør har i hovedsak besvart dette på et overordnet nivå uten å beskrive hvordan tiltakene identifiseres, konkretiseres eller følges opp i drift. Når tilbudet likevel gis høy uttelling under tildelingskriteriene E1 og E2, blir det vanskelig å se hvordan vurderingen kan forklares ut fra den skriftlige dokumentasjonen alene.
(21)Den valgte løsningen oppfyller i mindre grad konkurransegrunnlaget enn klagers løsning. Valgte leverandørs løsning, Comfort AI, er primært en komfortoptimaliseringsmotor og ikke et SD-analyseverktøy. Løsningen mangler root-cause-analyse, tiltakslister, SD- integrasjon og bred avviksforståelse. Innklagedes evaluering av valgte leverandørs tilbud er derfor ikke i tråd med konkurransens formål.
Innklagede har i det vesentlige anført:
(22)Det er ikke lagt til grunn feil faktum i evalueringen av tilbudet til klager. Innklagede har ikke anledning til å legge vekt på presentasjonen/demonstrasjonen av løsningen til leverandørene under evalueringen av tildelingskriteriet «E1: AI-modell». Det følger av det kunngjorte tildelingskriteriet «E1: AI-modell», at det vil legges vekt på den innleverte redegjørelsen i vurderingen av det ovennevnte tildelingskriteriet jf. konkurransegrunnlagets punkt 4.2. Tilbudene er evaluert i overensstemmelse med tildelingskriteriet og tilhørende dokumentasjonskrav, og innklagede har lagt vekt på rett dokumentasjon. Innklagede har ikke hevdet at klagers tilbudte løsning mangler styringsmodul, tiltaksfunksjonalitet, helhetlig tiltakssystem og autonomi. I begrunnelsen er det ikke angitt at de ovennevnte punktene mangler i sin helhet, men at enkelte funksjoner knyttet til styringsmodul og tiltaksstøtte mangler. Det er videre angitt at klager har beskrevet avvik og tiltak, noe som også har talt i positiv retning.
(23)Evalueringen er ikke i strid med de grunnleggende prinsippene om likebehandling og etterprøvbarhet. Under begrunnelsen i meddelelsesbrevet er det vist til at både valgte leverandør og klager har redegjort for avvik og tiltak, og punkter knyttet til energiforbruk og inneklima. Det fremgår tydelig i begrunnelsen i meddelelsesbrevet at klagers løsning har enkelte mangler blant annet knyttet til styringsmodul, tiltaksstøtte, modenhet og 8
nytteverdi for energireduksjon og inneklima. Valgte leverandør får derimot høy uttelling på samtlige av disse punktene. Innklagede har således evaluert de samme punktene, og oppfyller kravet til likebehandling. I svaret på klagen fra klager, konkretiserte innklagede hvilke funksjoner som manglet og hvilken dokumentasjon som ligger til grunn for vurderingen av modenhet. Det var da også naturlig å gi en nærmere beskrivelse av valgte leverandørs løsning slik at klager fikk en videre forståelse for evalueringen som er foretatt. Manglende innsyn i evalueringsmatrise, vurderingsnotater eller sammenligningsgrunnlag medfører ikke at tildelingsbeslutningen ikke kan etterprøves. Klager har fått tilsendt et meddelelsesbrev med en skriftlig begrunnelse for hvert tildelingskriterium og en utvidet begrunnelse. Det er også vedlagt en tabell med poengscore for hvert tildelingskriterium, en total poengscore og leverandørenes rangering. Innklagede har begrunnet hvordan tilbudene er evaluert, og hva som har fått uttelling/trekk i evalueringen av samtlige av tilbudene. Klager har også fått innsyn i anskaffelsesprotokollen.
(24)Graden av autonom drift ble ikke tillagt avgjørende vekt ved evalueringen av tilbudene. Begrunnelsen i meddelelsesbrevet, gitt til samtlige leverandører, nevner ikke begrepet autonomi, autonom drift, human-in-the-loop eller lignende for noen av de fire tilbudene. Begrunnelsen viser at det er kvalitetsforskjeller mellom tilbudene på flere punkter, herunder modenhet, styringsmodul, tiltaksstøtte, nytteverdi for energireduksjon og inneklima, metodikk for sonekontroll og forståelse av oppdragsgivers behov. Klager har bygget sin anførsel om autonomi på formuleringer i svar på klage av 11. desember 2025. Denne utvidede begrunnelsen ble gitt som svar på klagers forespørsel om «konkretisering av hvilke funksjoner som ble ansett å mangle» og «hvilken dokumentasjon som ligger til grunn for vurderingen av «modenhet»». Innklagede ga derfor en utdypende forklaring av de kvalitetsforskjellene som allerede var identifisert i meddelelsesbrevet under overskriftene modenhet, styringsmodul og tiltaksstøtte. Autonomi inngår som en del av helhetsvurderingen av tildelingskriteriet «E1: AI-modell». I kravspesifikasjonens kravID 3, tilknyttet tildelingskriteriet «E1: AI-modell», er det stilt tydelige krav til AI, herunder «AI skal […]» og «AI sikrer […]». AI står for kunstig intelligens, og er en informasjonsteknologi som etterligner menneskelig intelligens ved å løse oppgaver som vanligvis krever menneskelig innsats. Det vil være positivt, og i overensstemmelse med kravID 3 at det tilbys en løsning hvor AI benyttes i størst mulig grad. Innklagede bestrider ikke at klagers løsning opererer delvis autonomt og at den ikke krever kundens involvering i den daglige driften. Løsningen er likevel mindre autonom enn beste løsning. Dette er et av punktene som gjør at løsningen til klager er vurdert som svakere enn beste tilbud. Innklagede er for øvrig enig i at det ikke er stilt et minimumskrav til en helautonom løsning, og at anskaffelsesdokumentene åpner for å tilby en human-in-the-loop-løsning.
(25)Valgte leverandør oppfyller samtlige krav i kravspesifikasjonen. Innklagede viser til at det i kravspesifikasjonen er angitt hvilke krav som er minimumskrav (M) og tildelingskriterier (E). Det fremgår av kravspesifikasjonen at kravID 9 er et minimumskrav. Dette er derfor et krav som tilbyderne må oppfylle, og som ikke skal vektlegges i evalueringen. Det er gitt innsyn i valgte leverandørs sladdede tilbud, som viser at valgte leverandør har besvart svarkolonnen med «JA», og bekreftet oppfyllelse av krav. Valgte leverandør har også levert dokumentasjon på oppfyllelse av kravet. Det bestrides at valgte leverandørs beskrivelse av tildelingskriteriet «E1: AI-modell» er besvart på et overordnet nivå, og at det er stilt krav i kravspesifikasjonen til at leverandør beskriver hvordan tiltak identifiseres, konkretiseres eller følges opp i drift. Det er kun bedt om at leverandør foreslår tiltak. Det bestrides at det er vanskelig å se hvordan 9
vurderingen kan forklares ut fra den skriftlige dokumentasjonen alene. Klager har fått innsyn i poengtabell, meddelelsesbrev og utvidet begrunnelse. Det er også gitt innsyn i anskaffelsesprotokollen. Begrunnelsen som er gitt viser hvilke mangler det er i klagers tilbud, og hvorfor valgte leverandør har fått en høyere poengsum. Valgte leverandør har lagt ved dokumentasjon hvor det forslås konkrete tiltak på en tydelig måte.
(26)Det valgte tilbudet har det beste forholdet mellom pris og kvalitet. Det er ikke angitt i konkurransedokumentene at det skal anskaffes et SD-analyseverktøy. I konkurransegrunnlaget punkt 1.2 fremgår det at «Oslobygg ønsker å teste ut nye teknologier for KI/AI (maskinlæring/kunstig intelligens) av SD-anlegget». Dette refererer til at SD-anlegget er datakilden og styringsverktøyet (grensesnittet). Formålet er blant annet å analysere datastrømmene fra SD-anlegget for å forstå byggets termiske behov og optimalisere driften og inneklima (bygningsanalyse). Det bestrides at valgte leverandørs løsning mangler root-cause-analyse, tiltakslister, SD-integrasjon og bred avviksforståelse. Valgte leverandør har bekreftet at samtlige av de absolutte kravene i kravspesifikasjonen er oppfylt. Valgte leverandør har beskrevet sin løsning, og fått uttelling i forhold til de oppstilte tildelingskriteriene. Valgte leverandør har også bekreftet i sitt tilbudsbrev at «anbudsløsning er uten forbehold».
Klagenemndas vurdering
(27)Klager har deltatt i konkurransen, og har saklig klageinteresse, jf. forskrift om klagenemnd for offentlige anskaffelser § 6. Klagen er rettidig. Konkurransen gjelder anskaffelse av maskinlæring/kunstig intelligens, som er en tjenesteanskaffelse. Anskaffelsens verdi er estimert til 980 000 kroner ekskl. mva. I tillegg til lov 17. juni 2016 nr. 73 om offentlige anskaffelser (heretter loven) følger anskaffelsen forskrift 12. august 2016 nr. 974 om offentlige anskaffelser (heretter forskriften) del 1, jf. forskriften § 5-1.
(28)Klagenemnda skal ta stilling til om innklagede har brutt regelverket ved evalueringen av tilbudene.
(29)Om det foreligger en feil i tilbudsevalueringen, beror på om innklagede har forholdt seg til tildelingskriteriet slik det er angitt i konkurransegrunnlaget, om tilbudenes innhold er korrekt fastlagt, og om evalueringen er vilkårlig, sterkt urimelig eller i strid med de grunnleggende prinsippene i loven § 4, se til sammenligning Høyesteretts avgjørelse i Rt. 2007 s. 1783 avsnitt 42 til 44. Den konkrete utmålingen av poeng for kriteriene, ligger innenfor oppdragsgivers skjønn. Hvilke rammer som er oppstilt for evalueringen, beror på en tolkning av konkurransegrunnlaget. Det avgjørende er hvordan det fremstår for rimelig opplyste og normalt påpasselige leverandører, se for eksempel Høyesterett sin avgjørelse i HR-2025 1098-A (Consto) avsnitt 46.
(30)Tildelingskriteriet «E1: AI-modell» la opp til en «helhetsvurdering av tilbudt løsnings AI- modell», hvor det «blant annet» ville bli lagt vekt på kvalitet og realisme, forståelse for oppdragsgivers behov og relevans av foreslåtte løsninger, og teknisk løsning og tilpasningsdyktighet. Ordlyden «helhetsvurdering» og «blant annet» tilsier at de nevnte forholdene ville være relevante, men ikke uttømmende, momenter som skulle inngå i en helhetlig og skjønnsmessig vurdering av den tilbudte AI-modellen.
(31)Tildelingskriteriet henviste også til kravspesifikasjonens E-krav merket «E1: AI-modell». De aktuelle kravene var kravID 1, 2 og 3, som gjaldt henholdsvis å redusere energiforbruk, forbedre inneklima og optimalisere drift basert på bruksmønstre. Til 10
sistnevnte krav var det vist til at optimalisering av drift blant annet gjaldt belysning, hvor «AI skal, hvis mulig, optimalisere lys og utelys etter tid, tilstedeværelse og lysforhold», rom- og sonekontroll, hvor «lys, varme og luftkvalitet aktiveres kun i relevante soner» og varmesentral og kurser, hvor «AI sikrer optimal regulering og styring». Til hvert krav i kravspesifikasjonen, fulgte også et dokumentasjonskrav, slik gjengitt i sin helhet i avsnitt 6 ovenfor. Autonomi er ikke eksplisitt nevnt i tildelingskriteriene eller i kravspesifikasjonen. Slik nevnt i avsnitt 30, åpner imidlertid ordlyden i tildelingskriteriet «E1: AI-modell» for at forhold som ikke er uttrykkelig nevnt, også kunne tillegges vekt i evalueringen. Formålet med anskaffelsen var å «teste ut nye teknologier for KI/AI (maskinlæring/kunstig intelligens) av SD-anlegget til Ryen helsehus». Autonomi er et forhold som må anses relevant ved vurdering av AI-modeller.
(32)Klager fikk 1,20 poeng under tildelingskriteriet «E1: AI-modell». I begrunnelsen i meddelelsesbrevet fremgikk det blant annet at løsningen «beskriver identifisering av avvik og tiltak», men «mangler enkelte funksjoner knyttet til styringsmodul og tiltaksstøtte som det er redegjort for i dokumentasjonen». Autonomi ble ikke nevnt i noen av begrunnelsene i meddelelsesbrevet. I svar på klagen, utdypet innklagede sin begrunnelse og fremholdt at «[s]elv om funksjonalitet for styring og tiltaksstøtte er beskrevet i tilbudet deres, har oppdragsgiver etter en helhetsvurdering funnet at løsningens faktiske utforming og modenhet på disse områdene var vesentlig svakere enn hos valgte leverandør». Med modenhet siktet innklagede blant annet til autonomi. Det ble løftet frem at selv om klagers tilbud beskrev bruk av spesifikke maskinlæringsmetoder for analyse og prediksjon, «fremstår den praktiske utøvelsen av tiltak og optimalisering som en prosess som lener seg på manuell verifisering eller inngripen fra driftssentralen». Innklagedes vurdering var at selv om «faglig kompetanse og manuell overvåking har en verdi i ordinær drift, var formålet med denne anskaffelsen å teste autonom programvareteknologi». Det ble angitt at en løsning «som lener seg på menneskelige vurderinger for å fungere optimalt», ikke gir oppdragsgiver «mulighet til å verifisere teknologien på den måten konkurransen la opp til».
(33)I klagers tilbud var det lagt ved en beskrivelse av «AI-løsning: Spesifikasjon for Prediction, Analyzer, CHAT og Orchestrator». Beskrivelsen bestod av de åtte hovedpunktene «Sammendrag / mål», «Høy-nivå arkitektur», «Datagrunnlag og krav», «cmd-Predict», «cmd-Analyzer», «cmd-CHAT», «cmd-Orchestrator» og «Sikkerhet og drift». Under hvert punkt var det gitt en nærmere redegjørelse. Klagers tilbud inneholdt også bilaget «Leverandørens beskrivelse av tjenesten», som blant annet beskrev hvilke «hovedfunksjoner» tjenesten ville tilby og hvordan «data fra sensorer, styringssystemer og integrerte tredjepartsløsninger» ville «analyseres av AI modellen for å avdekke avvik, identifisere mønstre og foreslå tiltak eller selv iverksette tiltak». Under punktet «cmdHUB
– sentralt kontrollsenter» fremgikk det at som «en kjernekomponent i tjenesten inngår cmdHUB by Kistevig, Leverandørens fysiske kontrollsenter», som «fungerer som et sentralisert overvåkings- og beslutningspunkt for alle bygg og systemer som er tilknyttet tjenesten». Løsningen innebar en kombinasjon av «AI-drevet analyse» og «menneskelig kompetanse for å sikre kontinuerlig forbedring, rask respons og høy driftsstabilitet». Modellen ville være «delvis bemannet av tekniske eksperter som kan ta over ved større operasjoner eller hendelser som AI-systemet har identifisert».
(34)Slik klagenemnda forstår saken, har klager levert et tilbud og dokumentasjon som er i tråd med det som er etterspurt i tildelingskriteriet «E1: AI-modell», kravID 1, 2 og 3 i kravspesifikasjonen og tilhørende dokumentasjonskrav. Innklagede har heller ikke bestridt at klager har levert tilfredsstillende dokumentasjon under tildelingskriteriet. I 11
begrunnelsen har imidlertid innklagede beskrevet på hvilke punkter valgte leverandør leverte bedre enn klager. Klagenemndas syn er at de vektlagte momentene, inkludert grad av autonomi, ligger innenfor konkurransegrunnlaget og tildelingskriteriets ordlyd. Begrunnelsene i meddelelsesbrevet viser at tilbudene er vurdert opp mot de samme momentene. Nemnda har derfor ingen rettslige innvendinger til innklagedes evaluering. Innklagede har i tilstrekkelig grad redegjort for hvilke forhold som gjorde at klagers tilbud ikke oppnådde like høy uttelling som valgte leverandør.
(35)Klagenemnda kan heller ikke se at innklagede har lagt til grunn feil faktum ved evalueringen av klagers tilbud. Innklagedes evaluering bygger på den dokumentasjonen klager leverte. Klagers anførsel på dette punktet fører derfor ikke frem.
(36)Videre har klager anført at valgte leverandør ikke oppfyller samtlige krav i kravspesifikasjonen, herunder kravID 9 og krav om å beskrive hvordan tiltak identifiseres, konkretiseres eller følges opp i drift. KravID 9 var et minimumskrav til at en eventuell skytjeneste skulle være plassert i EU. Valgte leverandør krysset ja for at minimumskravet var oppfylt, og klagenemnda har ikke holdepunkter for at valgte leverandør ikke har levert dokumentasjon som viser oppfyllelse av kravet. I begrunnelsen har også innklagede vist til at valgte leverandørs løsning identifiserer avvik og foreslår tiltak på en tydelig måte. Heller ikke på dette punktet har klagenemnda grunnlag for å konstatere at valgte leverandør ikke har levert tilfredsstillende dokumentasjon.
(37)Klagenemnda tar til slutt stilling til klagers anførsel om at det utgjør et brudd på prinsippet om etterprøvbarhet at innklagede ikke har fremlagt noen poengmatrise, vurderingsnotater eller sammenligningsgrunnlag for evalueringen. Det følger av kravet til etterprøvbarhet i loven § 4, at oppdragsgiver – også i konkurranser etter forskriften del I – skal gi en begrunnelse for valg av leverandør som gjør det mulig å bedømme hvorvidt tildelingen har skjedd i tråd med regelverket, jf. klagenemndas avgjørelse i sak 2022/1189 avsnitt 42 med videre henvisninger.
(38)I meddelelsesbrevet fremgikk en tabell som viste leverandørenes poenguttelling under hvert tildelingskriterium, og samlet poengsum og plassering. Det ble i tillegg gitt en nærmere begrunnelse for rangeringen av leverandørene som synliggjorde hvilke kvalitative forskjeller ved tilbudene som ble vektlagt. Etter klagenemndas vurdering fikk leverandørene derfor mulighet til å bedømme hvorvidt tildelingen har skjedd i tråd med regelverket. I tillegg fikk klager en utdypende begrunnelse etter klage på tildelingen. Klager fikk også innsyn i anskaffelsesprotokollen, som for øvrig inneholdt de samme begrunnelsene som fremgikk av meddelelsesbrevet. Utover kravet til begrunnelse, mener klagenemnda at det ikke kan utledes konkrete rettigheter ut fra prinsippet om etterprøvbarhet som kan gi klager rett til å få fremlagt ytterligere dokumentasjon på evalueringen. Nemnda har etter dette kommet til at klager ikke kan høres med sin anførsel at innklagede har brutt regelverket ved ikke å fremlegge ytterligere dokumentasjon.
Konklusjon
Oslo kommune v/Oslobygg KF har ikke brutt regelverket for offentlige anskaffelser. 12
For Klagenemnda for offentlige anskaffelser,
Alf Amund Gulsvik
Dokumentet er elektronisk godkjent og har ingen signatur 13