Förstärkt verklighet till undsättning. Annulleringen av NAB 2022-2023 på grund av COVID-19-pandemin skickade chockvågor i hela sändningsindustrin. NAB Show hålls årligen i Las Vegas och är den största sändningsutställningen med över 90 000 deltagare från över 160 länder. Majoriteten av de 1600 utställarna lanserar nya produkter och teknik och för många stora företag är upp till sex månaders planering på plats. Inom ett mycket kort tidsfönster fick Panasonic Pro Video-teamet komma på alternativ för att få ut sitt meddelande medan de arbetade på distans hemifrån.
Ljud + Video + IT. Våra redaktörer är experter på att integrera ljud, video och IT. Få dagliga insikter, nyheter och professionellt nätverk. Prenumerera på Pro AV Today
Under dagarna fram till avbokningen av NAB Show började Panasonic-teamet titta på alternativ för att göra en ersättningshändelse, inklusive tanken på att bygga en fysisk monter där kunderna kunde besöka online. Panasonic Pro-videoteamet diskuterade också med Paul Lacombe, vd för New England-baserade DisruptAR, som är specialiserade på att skapa virtuella produktioner. Efter att ha börjat sin karriär på General Motors efter college har Lacombe arbetat i produktionsbranschen i 30 år och började på Silicon Graphics i slutet av 80-talet innan han vågade på egen hand för att driva virtuella produktioner. DisruptAR fokuserar på att sänka produktionskostnaderna för AR och VR för den bredare marknaden.
- Esports Training Factory streaminginfrastruktur
- Citizen Cope debuterar ett konservutrymme som är säkert för Covid
- Fjärranlärning: Hur man får en fjärrorkester att fungera
- Bästa PTZ-kameror för direktuppspelning
Den 16 mars gick New Jersey, där Panasonics amerikanska huvudkontor har sitt säte, officiellt i låsning. den 18 mars planerade Lacombe den första demo för Panasonic-teamet. NAB Show 2022-2023 avbröts den 20 mars. ”
Vi var tvungna att välja mellan de två alternativen mycket snabbt, avslöjar Panasonics ingenjörschef Harry Patel. ”Det första alternativet krävde att man fysiskt byggde en monter, hämtade in produkten samtidigt som man följde sociala avståndskrav (färre än 10 personer åt gången) och tog in ett filmteam. Det var inte praktiskt och vi ville göra något med högre kvalitet, även om vi inte kunde lämna våra hem. Så äntligen diskuterades denna idé om ett virtuellt evenemang ytterligare och godkändes i slutet av mars. ”
Augmented Reality och Remote Production
Fjärrproduktion är inte ett nytt koncept. Regissören Francis Ford Coppola regisserade och redigerade många scener från sin film från 1982, One From the Heart, från en trailer nära scenen. Men att skapa en produktion på distans hemifrån under en global pandemi är en annan historia. Det var bara möjligt genom att använda avancerad kamerateknik, VR-spelmotorer och molnbaserade appar.
För Panasonic var det första målet att skapa ett tydligt meddelande med muntlig och skriftlig kommunikation översatt till ett mer visuellt videoformat. På NAB skulle säljare vanligtvis kommunicera med kunder på utställningsgolvet och diskutera lösningar på varje persons problem. Marknadsföringschef Jim Wickizer och P.R.-byrån, Racepoint Global, kunde komma med ett konsekvent budskap och arbetade med enskilda produktchefer för att presentera rätt samtal.
Patel och Wickizer började också arbeta med Lacombe på distans från sin hemmastudio för att skapa videointervjuer mellan produktchefer och en studiovärd, Zoe Laiz, som skulle diskutera nya produkter och teknik. "Vi har alla haft utmanande produktionsmiljöer, men för att göra detta på distans med det här schemat var det definitivt ett hopp om tro", förklarar Lacombe. "I min tarm visste jag att detta kunde fungera, men att aldrig ha gjort det tidigare var ett bekymmer."
För fjärrinspelning fick varje produktchef en bärbar dator, en blå Yeti USB-mikrofon och en Panasonic AW-HE42 Full-HD Professional PTZ-kamera. HE42 anslöts via Ethernet och PTZ Virtual USB Driver och videon fördes in i den bärbara datorn med OBS för att spela in och TeamViewer för fjärrkontroll.
Augmented Reality och MS Team
För kommunikation, delning av filer, visning av demos och övervakning av fjärrproduktionsskott använde Panasonic Microsoft Teams, en kommunikations- och samarbetsplattform. Övernattning har plattformar som Team, Zoom, Ring Central och många andra gjort det möjligt för människor och företag att kommunicera med omvärlden säkert från sina hem.
För att se vad Lacombe spelade in under produktionen använde Patel Teams Screen-delning och skapade en fyrdelning med hjälp av en AV-UHS500-switcharutgång till en omvandlarbox från SDI till USB. USB-matningen presenterades i Windows som ett kameraflöde, som de delade via Teams.
Under inspelningen av inspelningen av Senior Vice President, Professional Imaging & Visual Systems, John Baisleys inledande anmärkningar, kunde Patel och Wickizer genom Teams se Baisleys vardagsrum live och ge riktning om det var ett radläsningsfel, en bakgrundsändring eller ett tekniskt ljudproblem. Genom Teams kunde Patel också tillhandahålla skärmriktning genom att observera både grön skärm och virtuella set-vyer. "Om Zoey stod precis bakom en dörr och kom in, kunde vi verkligen se om skottet var bra eller inte", förklarar Patel. "Jag skulle säga till Paul genom Teams:" Det kan fungera bättre om hon flyttar bara en aning åt höger. "När det gäller fjärrsamarbete tror jag inte att det hade varit möjligt utan användning av Teams."
"Det var ganska coolt att göra detta på distans", tillägger Wickizer. ”Vi hade en person i Boston, Harry och jag var hemma i New Jersey och vi hade en annan person på västkusten. Min dotter kom ner till vår källare en gång och frågade vad jag gjorde. ”Vi gör en fjärrproduktion”, sa jag till henne. Hon kunde verkligen inte tro det. ”
Free-D och Unreal Engine
För att integrera realistiska VR-studiouppsättningar i en liveproduktion är det viktigt att fånga korrekta kamerapositioneringsdata. Innan DisruptAR presenterade sin första demo för Panasonic utvecklade DisruptAR en Free-D-drivrutin som gjorde det möjligt att ansluta AW-UE150 4K Pro PTZ-kameran direkt till Unreal Engine, vilket gav honom möjlighet att mata ut Pan / Tilt / Zoom / Iris-information via IP (UDP) direkt från kameran till Unreals spårningssystem live utan behov av ytterligare sensorer eller kodare.
"Free-D kom från BBC tillbaka i början av 90-talet som ett spårningsprotokoll för ett av deras kameraspårningssystem", förklarar Lacombe. ”Den definierar de sex frihetsgraderna - panorera, luta, rulla, X, Y, Z, såväl som synfält, zoom och fokus. Dessa värden skickas ner till den virtuella renderingsmotorn och kopplas till en virtuell kamera så att din bakgrund svarar därefter i realtid med 60 bilder per sekund. ”
Enligt Lacombe har Unreal Engine använts över hela linjen i många produktioner - från The Lion King till The Mandalorian. "Det är den underliggande tekniken som används av större delen av Hollywood just nu", säger Lacombe. "De använder det som en proxy för det mesta, men målet är" final pixel ", vilket är vad du ser i realtid är det som är uppe på skärmen."
"Unreal Engine är en spelmotor som har använts på andra marknader, inklusive arkitektur, CAD-visualisering och i detta fall sändning och film," säger Lacombe. ”Vi använder det för att nå den högsta nivån av fotorealism, genom att ta tillgångar från traditionella DCC-verktyg som Maya, 3D Studio Max, Blender, med NVIDIA-grafikkort med 60 bilder per sekund, vilket ger tittarna trohet med linsegenskaper som blommar, blossar och avfokuserar. Kvaliteten du behöver för att få fotorealism och rendering med 60 bilder per sekund är i princip vad Unreal Engine gör. ”
Skapa en virtuell värld … i ett garage
Lacombes studio ligger i hans ombyggda garage som bara mäter 20 x 24 och hans besättning bestod av endast en assistent. För den gröna skärmen använde han en Pro Cyc Portable-bakgrund. På grund av utrymmesbegränsningarna kunde Laiz bara gå några steg så att de var begränsade på kameror, vilket gjorde AW-UE150 till det perfekta verktyget för jobbet. När Lacombe tände upp sin gröna skärm, använde han 14 ”LED-paneler. ”Tanken är att du verkligen vill ha en nyans av grönt och bli av med allt prickigt så att din nyckel kan behålla dessa skuggor”, förklarar Lacombe. "Du väljer en green som du vill skriva ut och de mörkare greenerna är skuggorna överlagrade i din virtuella uppsättning."
Trots att han arbetade i sitt lilla garage måste han tända sin talang med det motiverade ljuset i en stor studio. För att tända Laiz använde Lacombe två LED-paneler för både sin nyckel och fyllning. Han använde också några strålkastare ovanifrån för att simulera ett rödaktigt ljus från fönstren. "I grund och botten försöker vi matcha den riktningen och den färgtemperaturen utan att påverka den gröna skärmen", avslöjar Lacombe. ”Det är en utmaning eftersom du försöker tända talangen separat från den gröna skärmen. Ladddörrarna på dessa lysdioder gav oss mer utrymme men vi kämpade för att komma bort från det gröna och få minimal studs av det gröna på hennes kläder och hud. ”
På set använde Lacombe två UE150-kameror: kamera 1 var på vänster sida och kamera 2 till höger. När Zoe vänder sig för att möta en produktchef som ses på en vertikal bildskärm, byter han till kamera två i Laiz ögonhöjd för att få en simulerad syn på produktchefen. Att matcha ögonlinjer är en utmaning men Lacombe säger att man kunde fuska det lite genom att veta var hans hemposition var. ”Om du hade två kameror, den ena var 90 grader mot den andra på åtta meter bort och den andra fyra meter bort, kan du mäta med ett måttband och placera dem i den virtuella världen i samma position. De kommer att följa varandra genom fysikens lagar så att de ser ut som de är i den exakta positionen. Och då kan du fuska lite inom dessa riktlinjer. ”
Produktionsdesign med ett klick på en knapp
För utformningen av den virtuella uppsättningen använde Lacombe en modifierad design som han arbetade med en annan kund det senaste året. Designen gjordes i Maya och exporterades till Unreal. Eftersom den virtuella uppsättningen äger rum på natten såg de först en mörkare blick men sedan bestämde de sig för att göra det till en ljusare touch. Han lade till Panasonic-logotypen och tog bort element som inte var nödvändiga för Panasonic-setet. Han lade också till en bildskärm som kommer ut från golvet som Laiz går ut bakom den.
Enligt Lacombe finns det fler 3D-tillgångar som är tillgängliga eftersom online arkitektonisk visualisering verkligen har tagit fart. Du kan gå till ett 3D-bibliotek och hitta 3D-tillgångar eller modeller och bygga det beroende på vad dina anpassningskrav är. "Det är verkligen fram och tillbaka med klienten," förklarar Lacombe. ”Du lägger till dina marknadsföringskomponenter, varumärken, alla färger och material. När du väl har tillgången där inne kan du ta ner väggarna med en knapp, klicka eller flytta saker, justera bildskärmar allt i realtid. I den "fysiska världen" skulle detta ta mycket tid och pengar. När du väl har byggt saken är det lätt att justera och komma tillbaka till. ”
Håll ett säkert avstånd
Virtuell produktion har utvecklats under årtiondena genom erfarenhet och förfining. Även om rollerna för en fysisk produktion och en virtuell produktion i princip är desamma, är den största skillnaden att alla arbetar i samma fysiska utrymme. När hemma-förordningen har upphävts, bestäms fortfarande huruvida sann fjärrproduktion kommer att bli normen eller inte.
"Det finns en anledning till att du har någon som tittar på nyckeln, någon som tittar på manuset, någon som tittar på kameravinklarna och garderoben", säger Lacombe. Alla dessa roller måste fortfarande uppfyllas och vi försöker bara ta reda på det bästa sättet att göra det på distans. Hittills har det fungerat otroligt bra och vi är alla förvånade över hur detta kom samman så snabbt och utvecklades på ett naturligt sätt. Även om vi var tvungna att ha fler hattar mer än vad vi skulle ha velat för denna produktion, är nästa logiska steg att distribuera detta ännu mer för att få andra inblandade att förfina och förbättra processen. Men för första gången utanför porten är jag väldigt nöjd med resultaten och angelägen om att ta det till nästa steg. ”
För att titta på Panasonics virtuella evenemang, Framtiden för videoproduktion , klicka här.
För mer information om DisruptAR, besök www.disruptar.com.