KOFA 2022/761: Leveringstid som tildelingskriterium – UiS

Saken gjelder: Tildelingsevaluering Innklagede gjennomførte en åpen anbudskonkurranse for inngåelse av avtale om etablering av og løpende tjenester til en chatbot. Klager fikk ikke medhold i at innklagede hadde brutt regelverket ved evalueringen av tilbudene under kriteriet «Leveringstid». Klagenemndas avgjørelse 23. august 2022 i sak 2022/761 Klager: Kindly AS Innklaget: Universitetet i Stavanger Klagenemndas medlemmer: Finn Arnesen, Marianne Dragsten og Karin Fløistad

Bakgrunn

(1)Universitetet i Stavanger (heretter innklagede) kunngjorde 10. mars 2022 en åpen anbudskonkurranse for inngåelse av avtale om etablering av og løpende tjenester til en chatbot. Avtalens varighet var angitt til 2 år, med automatisk fornyelse for 1 år om gangen med mindre den sies opp med 3 måneders varsel. Estimert verdi var 4 millioner kroner ekskl. mva. Tilbudsfrist var 22. april 2022.

(2)Formålet var å etablere en løsning i løpet av 2022 for å forenkle studieadministrasjonen, som ville være avansert nok til å være til reell nytte for studenter. Chatboten skulle inneholde flere saksområder, så som studietilbud, eksamen, opptak, utveksling og internasjonalisering.

(3)Tildeling av kontrakt skulle skje basert på følgende kriterier: Tildelingskriterium Dokumentasjon Vekt % Leverandørens løsningsbeskrivelse, Beskrivelse i bilag 2 –

jf. bilag 1 Leverandørens beskrivelse av tjenesten Leveringstid og opplæring (12,5%) Service og support (7,5%) Kvalitet og tekniske krav (60%) Pris/kostnader, jf. del 2 bilag 6 Leverandøren skal fylle ut

pristabellen til del 2 bilag 6. Avvik Totalpris vektes forholdsmessig i i forhold til prismatrisen kan forhold til laveste totalpris medføre avvisning. Postadresse Besøksadresse

Alle priser skal oppgis i NOK eks. mva.

(4)Del 2 av konkurransegrunnlaget inneholdt kontrakten som skulle regulere avtaleforholdet (Chatbot SSA-L Avtale om løpende tjenestekjøp over internett) inklusive tekniske krav til anskaffelsen.

(5)Kravspesifikasjonen var inntatt i bilag 1. Under «Avtalens omfang» var det blant annet presisert: «- Implementering av chatbotløsning i produksjon innenfor avtalt omfang. - Konsulentbistand for å gjennomføre en implementeringsfase på cirka 8- 12 uker sammen med intern prosjektgruppe med mål om publisering av en chatbot på www.uis.no. - Opplæring og evt sertifisering av ca. 20-30 superbrukere gjennom 2022 som skal bistå med å bygge struktur og innhold (spørsmål, intensjoner og svar) til chatboten som etableres. - Det er også ønske om tilgang til konsulentbistand etter etableringsfasen når det måtte være behov for det. Det er viktig at det som del av etableringsfasen gjøres en kompetanseoverføring, slik at interne medarbeidere kan drifte og forvalte løsningen selv.»

(6)Videre var det inntatt en rekke krav til tjenesten i tabellform. Krav som var gitt benevnelsen «A» var absolutte krav, mens krav gitt i benevnelsen «B» var evalueringskrav. Om «Leveringstid», som var angitt som et B-krav, stod det: «Oppgi mulig sammenhengende leveringstid på tjenesten i antall uker fra signeringsdato på kontrakt. Beskriv anbefaling og forslag til leveringsplan.»

(7)Ytterligere informasjon om etablering og gjennomføring av tjenesten fremgikk av den generelle avtaleteksten: 3.1Plan for etableringsfasen «Der det er behov for en etableringsfase, skal Leverandøren, i samarbeid med Kunden, utarbeide en plan for denne. Planen skal omfatte beskrivelse av roller og ansvar samt fremdriftsplan. I den grad det er avtalt installasjon, konfigurering, tilpasning og/eller integrasjoner skal fremdriftsplan og rollefordeling for dette også beskrives i planen. Plan for etableringsfasen skal eventuelt inntas i bilag 3. 3.2Leveransefrist og leveransemelding Fristen for når tjenesten skal være tilgjengelig fremgår av bilag 3. Leverandøren skal sende skriftlig melding (leveransemelding) til Kunden når tjenesten kan tas i bruk. 3.3 Godkjenningsprøve og leveringsdag

Dersom ikke annet er avtalt i bilag 3, skal Kunden undersøke tjenesten i en periode på 10 (ti) virkedager fra første virkedag etter at Leverandøren har sendt leveransemelding til Kunden (godkjenningsprøven). Dersom Kunden godkjenner tjenesten, skal Kunden sende Leverandøren skriftlig melding om det. Leveringsdag anses inntruffet første virkedag etter at melding er sendt. Dersom Kunden underkjenner tjenesten, må melding om dette være sendt Leverandøren innen utløpet av godkjenningsprøven. Dersom melding om underkjenning ikke er sendt innen godkjenningsperiodens avslutning, anses leveringsdag som inntruffet første virkedag etter godkjenningsprøvens avslutning.»

(8)Nærmere om plan for etableringsfasen var inntatt i bilag 3. Her var det angitt: «Avtalens punkt 1.2 Etablering av tjenesten må gjennomføres så raskt som mulig etter signering av kontrakt. Avtalens punkt 3.1 Plan for etableringsfasen I etableringsfasen skal det gjennomføres opplæring av superbrukere og gitt administrasjonstilganger. Det vil være ulike fagområder og tjenester som skal dekkes. Disse må kanskje ha egne chatboter og det må lages en plan for hele 2022 med implementering og opplæring for de ulike fagområdene. Det kan være aktuelt at tilbyder lærer opp superbrukere hos kunden som deretter tar seg av opplæringen. Avtalens punkt 3.2 Leveransefrist og leveransemelding Leveransefrist fastsettes så raskt som mulig etter nærmere avtale mellom kunde og leverandør etter kontraktsignering. Kunde stiller ressurser til rådighet for at dette skal kunne gjennomføres og det må også tilbyder forplikte seg til. Avtalens punkt 3.3 Godkjenningsprøve og leveringsdag Se kontraktens punkt 3.3 og kravspesifikasjonen. UiS vil i samarbeid med tilbyder gå gjennom chatbotoppsett før vi setter den i produksjon. Tilbyder må gjerne foreslå punkter vi skal gå gjennom i forkant.»

(9)Kindly AS stilte 21. mars 2022 følgende spørsmål til innklagede: «Ref. punkt 1 i kravspek: Leveringstid, hva kreves for at tjenesten skal anses som levert? Hvordan vil anbefaling og forslag til leveringsplan bli vurdert i punkt som gjelder leveringstid?»

(10)Innklagede svarte at: «Leverandør kan foreslå en prosjektplan for leveransen sammen med tilbudet, men detaljene og endelig plan skal etableres så raskt som mulig etter signering av kontrakt. Oppstart bør skje så raskt som mulig. For mer detaljer vennligst se i dokumentet «Bilag til avtale om løpende tjenestekjøp over internett», Bilag 3: Plan for etableringsfasen og i dokumentet «Generell avtaletekst» pkt 3.3.»

(11)Innklagede mottok fem tilbud innen utløpet av fristen, herunder fra Kindly AS (heretter klager) og AVO Consulting AS.

(12)Klager hadde i sitt tilbud besvart evalueringskravet om leveringstid slik: «Mulig sammenhengende leveringstid Tilgang til tjenesten vil bli gitt umiddelbart etter signering, og opplæring kan være gjennomført innen to dager etter signering. Tjenesten, en chatbot som forenkler studieadministrasjonen, vil kunne leveres innen én uke. Dette er mulig fordi Kindly allerede har innholdsmoduler med ofte stilte spørsmål innenfor studietilbud, opptak, og IT hjelp. Det finnes opptil 850 dialoger med over 60 000 treningseksempler som kan brukes av UiS innen disse områdene. Før oppstart vil Kindly filtrere innholdet til det som er relevant for UiS. Det som gjenstår fra UiS sine ressurser er å skrive svarene på disse spørsmålene som stilles. Anbefalt leveringsplan for etablering av tjenesten: Aktivitet Tid Ansvarlig Tilgang til tjenesten med Umiddelbart Kindly relevant treningsdata Opplæring 2 dager Kindly Skrive svar på oftest stilte 3 dager UiS spørsmål Totalt 5 dager Endelig plan Endelig plan fastsettes sammen med UiS umiddelbart etter kontraktsignering ihht. kravspesifikasjon, avtalens omfang, kravene i dokumentet «Bilag til avtale om løpende tjenestekjøp over internett», Bilag 3, samt i dokumentet «Generell avtaletekst» pkt. 3.3.»

(13)I brev av 3. mai 2022, meddelte innklagede at kontrakt var tildelt AVO Consulting AS (heretter valgte leverandør). Valgte leverandør hadde fått den beste totalscoren på 4,24. Klager var rangert som nummer tre med en totalscore på 3,89. Den nærmere poengfordelingen mellom klager og valgte leverandør så slik ut: AVO Consulting AS Kindly AS Poeng Vektede poeng Poeng Vektede poeng

Leveringstid og 5 0,63 3 0,38 opplæring (12,5 %) Service og 5 0,38 5 0,38 support (7,5 %) Kvalitet og 4,97 2,98 4,47 2,67 tekniske krav (60 %) Pris/Kostnader 1,27 0,25 2,3 0,46

(14)Foranlediget av en henvendelse fra klager oversendte innklagede kommentarer til klagers svar på evalueringskravene. Under «Leveringstid og opplæring» stod det: «Det vurderes som positivt at leverandør viser til eksisterende innhold som kan gjenbrukes, selv om omfang og verdi er uklart. Oppgitt anbefaling og forslag til leveringstid vurderes som en mindre hensiktsmessig implementering med tanke på eierskap og innføring i løsning. Det er begrenset beskrivelse av anbefaling og forslag. Opplæring og kurs fokuserer mest på grunnleggende innføring og avansert bruk mangler beskrivelse/forbeholdt tekniske ressurser.»

(15)Klager fikk deretter oversendt en oversikt over hvilke kriterier klager hadde scoret annerledes på enn valgte leverandør. I evalueringsmatrisen var det lagt inn følgende kommentar til leveringstid: «Valgte leverandør Viser til erfaring og plan tilpasset UiS. Viser til forståelse for viktige elementer i implemeringsfasen, herunder risikomitigering. Sektorerfaring. Mulig deling av innhold fra andre UH prosjekter. Klager 5 dager totalt. Sektorerfaring. Ferdig innhold 850 intensjoner som kan brukes. Anbefaling om ferdig chatbot på 5 dager er ikke en foretrukket prosess – vi ønsker mer tid og eierskap til intensjoner og dialoger.»

(16)Klager påklagde tildelingsbeslutningen. Klagen ble ikke tatt til følge.

(17)Klager brakte saken inn for Klagenemnda for offentlige anskaffelser ved klage av 13. mai 2022.

(18)Kontrakt med valgte leverandør ble inngått 23. mai 2022.

(19)Nemndsmøte i saken ble avholdt 22. august 2022.

Anførsler

Klager har i det vesentlige anført

(20)Vurderingene som er gjort under «Leveringstid» er usaklige og i strid med prinsippet om forutberegnelighet. Innklagede har vurdert besvarelsene etter forhold som det ikke finnes grunnlag for i konkurransegrunnlaget eller som ikke har relevans til evalueringsområdet.

Innklagede har i det vesentlige anført

(21)Evalueringen av tilbudene er gjennomført i tråd med det konkurransegrunnlaget la opp til. Alle leverandørene med unntak av klager har gitt en grundig beskrivelse av forslag til leveringsplan, bestående av både etablering- og implementeringsfasen, gitt innenfor ønsket tidsramme. Oppdragsgivers behov var spesifisert i anbudsdokumentene.

Klagenemndas vurdering

(22)Klager har deltatt i konkurransen, og har saklig klageinteresse, jf. forskrift om klagenemnd for offentlige anskaffelser § 6. Klagen er rettidig. Konkurransen gjelder etablering av og løpende tjenester til en chatbot, som er en tjenesteanskaffelse. Anskaffelsens verdi er estimert til 4 millioner kroner. I tillegg til lov om offentlige anskaffelser 17. juni 2016 nr. 73 følger anskaffelsen forskrift om offentlige anskaffelser 12. august 2016 nr. 974 del I og del III, jf. forskriften §§ 5-1 og 5-3.

(23)Klagenemnda skal ta stilling til om innklagede har brutt regelverket ved evalueringen av underkriteriet «Leveringstid».

(24)Klagenemnda kan prøve om innklagede har forholdt seg til kriteriene slik de er angitt i konkurransegrunnlaget, om tilbudenes innhold er korrekt fastlagt, og om skjønnsutøvelsen er vilkårlig, sterkt urimelig eller for øvrig i strid med de grunnleggende prinsippene i loven § 4, jf. eksempelvis Høyesteretts avgjørelse i Rt. 2007 side 1783, avsnitt 44. Dette beror i første rekke på om skjønnet er utøvd i tråd med det som en rimelig opplyst og normalt påpasselig tilbyder hadde grunn til å forvente.

(25)Klager har anført at innklagede har vurdert tilbudene ut fra forhold som ikke er relevante for evalueringsområdet. Ifølge klager kan det ikke tas hensyn til annet enn korteste leveringstid, og det må gis en relativ score på bakgrunn av dette.

(26)Et av tildelingskriteriene i denne konkurransen var «Leverandørenes løsningsbeskrivelse». «Leveringstid og opplæring» var oppgitt som et av underkriteriene.

(27)Under leveringstid ble leverandørene bedt om å oppgi «mulig sammenhengende leveringstid på tjenesten i antall uker fra signeringsdato på kontrakt». I tillegg ble leverandørene bedt om å beskrive anbefaling og forslag til leveringsplan.

(28)Klagenemnda er ikke enig med klager i at kriteriet la opp til at kortest leveringstid var det eneste som skulle evalueres. Underkriteriet sett i lys av det overordnede tildelingskriteriet som var leverandørenes løsningsbeskrivelse tilsier at det skulle foretas en bredere vurdering av den anbefalingen og planen som lå til grunn for oppgitt leveringstid.

(29)Innklagede vurderte at forslaget til klager om en ferdig chatbot på 5 dager ikke var hensiktsmessig med tanke på eierskap og innføring i løsning, og klager fikk derfor trekk på denne delvurderingen.

(30)Slik leveransen av chatbot-løsningen var beskrevet i kravspesifikasjonen og avtaledokumentene for øvrig, skulle leveransen bestå av en etableringsfase og en implementeringsfase. Etablering av tjenesten skulle iht. bilag 3 i avtalen gjennomføres så raskt som mulig etter signering av kontrakt. I kravspesifikasjonen punkt 1.1 var det oppgitt en ca. tidsramme på 8-12 uker med konsulentbistand for implementering og publisering av chatboten. Denne fasen skulle skje sammen med en intern prosjektgruppe hos oppdragsgiver.

(31)I svar på spørsmål fra klager om hvordan leveringsplan ville bli vurdert, presiserte innklagede at leverandørene «kan» foreslå en prosjektplan for leveransen, men at detaljene og endelig plan skal etableres så raskt som mulig etter kontraktsignering. Selv om klagenemnda mener det er uheldig at innklagede brukte ordet «kan», kan ikke nemnda se at dette ga leverandørene grunn til å tro at bedømmelsen av tildelingskriteriet begrenset seg til en vurdering av korteste oppgitte leveringstid. Det var i svaret uttrykkelig henvist til avtalen med bilag, der etablerings- og implementeringsfasen som gjengitt var nærmere beskrevet. I tråd med dette har innklagede premiert klager for rask tilgang/etablering av tjenesten, og gitt trekk for at implementeringsfasen ikke var tilpasset oppdragsgivers definerte behov. Klagenemnda har ingen rettslige innvendinger til denne vurderingen.

(32)Klagers anførsel om at innklagede har gjennomført en ulovlig evalueringen av leveringstid, har ikke ført frem.

Konklusjon

Universitetet i Stavanger har ikke brutt regelverket for offentlige anskaffelser.

For Klagenemnda for offentlige anskaffelser, Finn Arnesen