Ved å kombinere høy-ytelseskameraer med AI-basert analyse skapte Axis et nytt slags instrument som tolker hverdagslige gjenstander – som tennisballer, kaffekopper og brannslukkere – som musikalske signaler. Når et forhåndsdefinert objekt beveger seg over kameraets synsfelt, aktiveres ulike soner som spiller forskjellige toner, noe som forvandler et overvåkingskamera til et fullt fungerende musikkinstrument.

– Med dette eksperimentet ønsket vi å utfordre hva som er mulig med våre overvåkingskameraer og AI-baserte analyser når det gjelder å oppdage tilpassede objekter og utløse handlinger i sanntid, sier Ghaith Sankari, erfaren programvareingeniør hos Axis Communications.

– Vi skapte en orkester, men kundene våre kan bruke den samme banebrytende teknologien til å utvikle en rekke avanserte løsninger tilpasset sine egne behov.

Ny tolkning av klassisk verk

Stykket som fremføres er en ny tolkning av Richard Strauss’ Also Sprach Zarathustra, kjent fra filmen 2001: A Space Odyssey. Men i stedet for strykeinstrumenter og horn brukes her tennisballer, en kaffekopp og en brannslukker.

– Vi kunne egentlig ha brukt hvilke objekter som helst – til og med lyd. Hva du trener kameraene og analyseverktøyene til å oppdage, er helt opp til deg. For eksempel har vi kunder som bruker denne teknologien til å automatisk oppdage designfeil eller produksjonsavvik, forklarer Sankari.

Svensk superprodusent bak musikken

Den svenske musikkprodusenten Jonas Quant, kjent for sitt arbeid med Kylie Minogue, No Doubt og Hurts, tok på seg utfordringen med å komponere for dette ukonvensjonelle ensemblet.

– Det som fascinerte meg, var å behandle objektgjenkjenning som et helt nytt instrument. Siden vi ikke bruker et tradisjonelt klaviatur, innebar dette eksperimentet noen interessante kreative utfordringer – blant annet å lære musikerne å spille på et usynlig instrument i løse luften, kommenterer han.

Proof-of-concept-eksperiment

Selv om det kan virke uventet og lekent, er The Object Detection Orchestra mer enn bare en kuriositet. Det er et proof-of-concept-eksperiment som viser hvordan selskapets avanserte AI-baserte analyse – kombinert med høyytelses videoovervåkingskameraer og høyttalere – kan trenes til å identifisere nesten hva som helst og utløse ulike handlinger i sanntid.

Samme prinsipp som for automasjon

Den samme teknologien som muliggjør denne musikalske fremføringen, driver også automasjon, muliggjør smarte byer og former fremtiden for maskininteraksjon – og tar videoovervåking langt utover sikkerhetens grenser.