Codec-landskapet förändras med sex nya codecs som kommer i slutet av 2022-2023. I början av 2022-2023 kodade de flesta streamingvideoproducenterna exklusivt med H.264-codec, som debuterade 2003. Några större utgivare som Netflix, Amazon, YouTube och Facebook, distribuerade också H.264s standardbaserade efterföljare, HEVC-codec och / eller Googles VP9-codec. Ett stänk av producenter experimenterade med Alliance for Open Medias AV1-codec. Utöver dessa fyra befintliga codec 2022-2023 kommer MPEG att lansera tre nya codecs, mångsidig videokodning (VVC), Essential Video Coding (EVC) och Low Complexity Enhancement Video Coding (LCEVC).
Med sex nya codecs att tänka på i slutet av 2022-2023 är det värt att granska faktorer som bidrar till en codecs framgångsrika antagande. I den här artikeln kommer jag att granska dessa faktorer med hjälp av H.264 och HEVC och skapa ett analysramverk som jag kommer att använda i framtida artiklar för att begränsa den potentiella framgången för AV1 och de tre nya MPEG-koderna.
Observera att jag främst kommer att skriva utifrån publicistperspektivet; inte ur spelarens eller kodarens leverantörs perspektiv.
- Förstå lösningar för streaming med låg latens
- Bästa PTZ-kameror, inspelnings- och strömmande enheter
1. Vad är codecs jämförande effektivitet?
En codecs viktigaste roll är att minska storleken på den ström som krävs för att leverera video till våra tittare. I många fall mäts effektivitet mot H.264. Du ser detta i figur 1 från 2015 HEVC Comparison report från Moscow State University (MSU). Som en förklaring presenterar MSU alltid sina data med x264, en av flera H.264-codecs, med 100% kvalitet. Sedan visar den för varandra codec den procentuella minskningen eller ökningen av datahastigheten som krävs för att producera samma kvalitet som x264.
Till exempel, i diagrammet kan x265-codec leverera samma kvalitet som x264 vid 74% av bithastigheten, eller en besparing på cirka 26%. VP9-codec är inte så långt efter, 77%, eller en besparing på cirka 23% jämfört med x264.
Besparingarna utgör en primär monetär fördel med de nyare koderna. Att implementera x265 tillbaka 2015 skulle ha minskat bandbreddskostnaderna för att leverera video av samma kvalitet till HEVC-kompatibla spelare med 26%. VP9 skulle ha minskat bandbreddskostnaderna med 23%.
Tänk på codec-anpassning som en jämn analys. Det finns två källor till inflöden; besparingar för leverans till befintliga kunder, som vi just täckte, och ytterligare intäkter till kunder på nya marknader, vilket jag kommer att täcka i nästa avsnitt. Det finns flera kostnader för codec-implementeringar. Du kommer att leverera H.264-kodad video under överskådlig framtid, så kodning och lagringskostnader för de nya koderna är båda additiva. Du måste också uppdatera din spelare och utföra ett visst mått på testning och QC.
Bandbreddsbesparingar avser uppenbarligen antalet tittare för varje video. Här är ett enkelt exempel. Antag att det kostade 20,00 dollar att koda till en HEVC-kodningsstege och att du sparat 0,01 dollar i bandbreddskostnader per tittare. När 2000 tittare tittar på videon har du gjort upp den kostnaden. Om 2 miljoner tittare tittar på videon har du sparat 20 000 USD i bandbreddskostnader. Det är därför det är lättare för stora företag som Netflix, YouTube, Amazon och Facebook att distribuera nya koder.
Oavsett storlek, när besparingarna eller de nya intäkterna som är kopplade till den nya codecen överstiger implementering och andra kostnader, är det ekonomiskt vettigt att distribuera en ny codec. Det är uppenbart att ju högre komprimeringseffektivitet jämfört med den befintliga lösningen, desto större blir bandbreddsbesparingen.
Bortsett från detta är de allra flesta nya codec-distributioner inte för att skörda bandbreddsbesparingar eller andra leveranseffektiviteter. Enda spetsen av pyramidförlagen som Netflix, Facebook och YouTube har distribuerat VP9, trots att den för närvarande är cirka 35-40% effektivare än x264. Snarare antar publicister vanligtvis nya codecs som HEVC eftersom det öppnar marknader för nya kunder.
Detta leder till nästa fråga.
PRO NYHETSBREVLjud + Video + IT. Våra redaktörer är experter på att integrera ljud / video och IT. Få dagliga insikter, nyheter och professionellt nätverk. Prenumerera på Pro AV Today.
2. Vilka nya marknader eller plattformar möjliggör codec?
När Adobe lade till H.264-uppspelning i Flash 2007 var H.264 bara cirka 15% effektivare än VP6-codec, som var den mest använda Flash-codecen före H.264. Trots dessa magra besparingar, varför konverterade de flesta utgivare till H.264 snabbt och fullständigt? För medan VP6 inte spelade på iPod, iPhones eller andra mobila enheter så gjorde H.264 det. Med H.264 i både Flash och den dominerande codec på mobila enheter kan publicister släppa VP6 och nå två marknader med en enda codec, en total no-brainer.
På samma sätt har de flesta utgivare distribuerat HEVC för att leverera 4K och / eller HDR-videor (high dynamic range) till smarta TV-apparater, digitalboxar och OTT-enheter. Till exempel rapporterade encoding.com i deras Global Media Format Report 2022-2023, som rapporterade om deras 2022-2023-produktion, att ”vi förväntar oss en mycket omfattande volymökning under 2022-2023 som drivs av UHD HDR-innehåll som både premium HDR-standarder Dolby Vision och HDR + kartlägger till HEVC-videoformatet. ” Tyvärr har encoding.com inte uppdaterat den rapporten för 2022-2023 års resultat.
På samma sätt började Apple äntligen stödja antingen VP9 eller AV1 på sina 4K AppleTV-enheter så att deras tittare kunde titta på 4K-videor på YouTube. Detta förutsätter vikten som Alliance för Open Media-leverantörer som Facebook, Netflix, YouTube och Amazon kommer att ha för AV1-antagande.
Slutsatsen är att om codec inte möjliggör några nya marknader är bandbreddsbesparingar den enda fördelen. Som sagt, oavsett anledning, utanför de största videoutgivarna, har få andra hittat dessa besparingar tillräcklig motivation för att distribuera nya codecs.
3. Hur är kodningstiden?
Vi har pratat om breakeven-analysen. Jag ställer den här frågan eftersom kodningstiden översätts direkt till kodningskostnaden och ju högre kostnaden desto svårare är det att uppnå breakeven.
Som ett exempel tar AWS Elemental MediaConvert ut $ 0,024 per minut för H.264-kodning, $ 0,048 per minut för HEVC-kodning och $ 0,864 per minut för AV1-kodning. Lyckligtvis har AV1-kodningstiderna sjunkit väsentligt de senaste månaderna och jag är säker på att Elemental-prissättning kommer att följa. Men när kodningstiderna är lika glaciala som AV1-enheterna förr, behöver du miljontals visningar för att samla de bandbreddsbesparingar som krävs för att uppnå breakeven.
4. Kan den implementeras i programvara på relevanta plattformar?
Den här frågan talar för hur snabbt en codec kan implementeras på plattformar som är relevanta för din tjänst. Tillbaka 2007, när Adobe lade till H.264 i Flash, var uppspelningen nästan universell på alla datorer och mobila enheter. Däremot, med HEVC, var hårdvarusupport på mobila enheter nödvändigt för batterieffektiv uppspelning, och dedikerad HEVC-avkodningshårdvara var nödvändig på de flesta smarta TV-apparater, digitalboxar och OTT-enheter.
Med tiden började fler och fler enheter stödja HEVC, och nu är det nästan allestädes närvarande i nuvarande generationens produkter, med VP9 bara något bakom. Men nya codecs som kräver hårdvara för effektiv uppspelning börjar från grunden.
Som en tumregel tar det cirka två år innan de första konsumentenheterna med hårdvarustöd visas. Som ett exempel på detta slutfördes AV1-specifikationen i mitten av 2022-2023, och de första smarta TV-apparaterna med AV1-support skickades i mitten av 2022-2023. Uppenbarligen spelar det ingen roll hur effektiv en codec är när den startas; det blir bara relevant när uppspelning är tillgänglig på ett stort antal plattformar som du levererar till.
Vilket leder till nästa fråga.
5. Stöder Alliance for Open Media codec?
Medan det tar två år för hårdvarusupport, kan uppspelning i webbläsare eller mobiloperativsystem ta några veckor om uppspelningskraven är blygsamma. Alliance for Open Media-medlemmar Microsoft, Google, Mozilla och Apple kontrollerar dock de flesta webbläsare och operativsystem och de format de stöder. Det är därför som hela sju år efter lanseringen stöds HEVC endast i 16,99% av alla webbläsare och mobila operativsystem som spåras av www.caniuse.com (figur 2).
Jämförbart antal för AV1, som lanserades fem år senare? 36,56%. Vad sägs om VP9, som lanserades ungefär samma tid som HEVC? 94,52%.
Om ett stort antal av dina tittare tittar på webbläsare och mobila enheter gör plattformsstöd en enorm skillnad i ekonomin. Detta gäller särskilt eftersom mjukvarustöd kan uppnås så snabbt.
Vid denna tidpunkt verkar det osannolikt att AOM-medlemmar stöder någon MPEG-codec, vare sig HEVC, VVC, EVC eller LCEVC. Så där standardbaserade codecs som H.264 och MPEG-2 en gång hade överhanden, har MPEG-codecs nu en tydlig nackdel på traditionella dator- och mobilmarknader.
6. Är codec en MPEG-standard?
The Motion Pictures Experts Group, eller MPEG, skapade och marknadsförde flera ljud- och videokodek som hjälpte till att överföra analog video till digital. Vid ett tillfälle hade MPEG-standarder som MPEG-2 och H.264 mycket tydligare vägar till framgång än egna codecs som VP9. Idag har den dynamiken förändrats, så medan standardiseringsprocessen ger viss teknik trovärdighet, är det inte en garanti för framgång?
Vad har förändrats? Nästan allting. Tillbaka när H.264 lanserades 2003 var sändningen kung, och streaming var inte hundens svans, det var en nagel. Nu är streaming helt klart hunden och sänder svansen, och företag som kontrollerar distribution av codec i webbläsare och mobila operativsystem och innehållsföretag som Netflix och YouTube har ett otroligt inflytande på codec-distributionen.
Som jag kommer att prata om mer i ögonblick, med MPEG-2 och H.264, fanns det en tydlig och sammanhängande royaltypolitik som gick ut genom fönstret med HEVC, som har tre patentpooler. Två av poolerna har publicerat priser och det årliga taket hoppar från cirka 10 miljoner dollar för H.264 till över 60 miljoner dollar för HEVC. Den andra poolen publicerar inte sina priser och mer än sju år efter att HEVC släppt har det fortfarande inte angivits om de kommer att ta betalt för royalty på innehåll.
Med tanke på den tvååriga utvecklingscykeln för codec-implementeringar beslutade många hårdvaruföretag att distribuera H.264 och HEVC innan royaltypolicyn var tydlig. Efter HEVC kan stora företag som Apple och Samsung fördröja antagandet av teknik tills royaltybilden är tydligare, vilket kan ge ytterligare 24 månader till antagningscykeln.
Slutligen, från ett videokodekperspektiv, har MPEG dragit kontrakt från ungefär en tioårscykel mellan MPEG-2, H.264 och HEVC, till en sjuårig cykel för ytterligare tre videokodekar som ska slutföras 2022-2023. Visst codec erbjuder olika funktioner, prestanda och andra egenskaper, och det är osannolikt att alla kommer att uppnå samma kommersiella användning.
7. Vad är modellen för teknikägande och intäktsgenerering?
De flesta codecs är resultatet av ett samarbete mellan flera parter. Med vissa codecs resulterar detta i en eller flera patentpooler för att göra det möjligt för företag att få tillbaka kostnaderna för sina FoU-investeringar. Däremot utvecklades VP9 exklusivt av Google medan AV1 utvecklades av Alliance for Open Media-företag som alla bidrog med sina patent till AOM på royaltyfri basis.
Men bara för att ett företag eller en organisation påstår sig äga alla rättigheter till en teknik gör det inte så. Även om Google hävdar att VP9 är öppen källkod, liksom Alliance for Open Media för AV1, har patentpooladministratören Sisvel lanserat patentpooler för både VP9 och AV1, och uppgav att dessa codecs använder uppfinningar som täcks av patentägare i sina pooler (notera att författaren konsulterar Sisvel angående dessa pooler).
Självklart är både H.264 och HEVC royalty-bärande för både kodare och avkodare och vissa innehållstyper, så att det bara finns en royalty är inte en teknik. Snarare bryr sig potentiella licensgivare om gruppens sammanhållning, tydligheten i deras licensvillkor och hur snabbt de är tillgängliga.
8. Hur fastställs royalty royalty?
År 2017 skapade Jonathan Samuelsson, VD för codec-utvecklaren Divideon, grafiken som visas i Figur 3, som blev affischbarnet för den dysfunktionalitet som representeras av ägare av HEVC-relaterade patent. Du ser de tre poolerna och flera ytterligare företag, några mycket betydelsefulla, inte i någon pool. Observera att detta är originalgrafiken designad av Samuelsson; ägarbilden har förändrats något sedan dess.
Det är uppenbart att om du är en potentiell licensgivare föredrar du en enda pool som innehåller alla kända teknologibidragare, vilket faktiskt kan hända för EVC och LCEVC. Som sagt, de flesta viktiga standarder har mer än en pool; vad licensgivare vill ha är en snabb och känd struktur för alla större bidragsgivare. Det är viktigt att även om VVC-standarden slutfördes i juli 2022-2023 är det osannolikt att licensvillkoren kommer att vara kända fram till mitten av 2022-2023. Om de ser ut som vad du ser i figur 3, kanske VVC aldrig kommer från marken.
9. Finns det en royalty?
Om du är en streamingutgivare dikterar frågorna 4-8 hur snabbt en codec kan antas av maskin- och programutvecklare, som styr hur snabbt du kan börja använda codec för att leverera till dina tittare. Den här frågan avgör hur mycket det kommer att kosta dig som streamingförlag att distribuera innehåll med den codecen.
Återigen är innehållsroyalties inte ovanliga och dömmer inte en codec till misslyckande; både HEVC och H.264 har några innehållsroyalties. Uppenbarligen måste dock dessa kostnader införas i breakeven-modellen för att avgöra när och om det är ekonomiskt vettigt att distribuera den nya codec.
Ser bakåt och framåt
När man ser tillbaka är det lätt att se varför H.264 var (är) en sådan framgång: det erbjöd blygsamma bandbreddsbesparingar men spelades direkt på datorer tack vare Flash och erbjöd inträde på en ny marknad (mobil). Licensiering kontrollerades av en enda patentpool som innehöll en majoritet av de tillhörande patenten, och även om hårdvaruuppspelning krävdes för H.264-uppspelning på mobila enheter, var hårdvarusupport nästan universellt till att börja med och blev snart allestädes närvarande.
Däremot debuterade HEVC med en mycket ojämn licensstruktur som avskräckt från teknikintroduktion. Även om HEVC-stöd är nästan universellt på mobila enheter, smarta TV-apparater och de senaste generationerna av OTT-enheter, minskar bristen på webbläsarstöd den totala avkastningen på investeringen, medan bristen på tydlighet om innehållsroyalties är ett stort bekymmer för många utgivare. Som ett resultat har HEVC främst implementerats av utgivare som distribuerar 4K- och HDR-videor till vardagsrummet.