Idag fokuserar jag snävt på mångsidig videokodning (VVC) och det är potential för kommersiell framgång. För ytterligare bakgrund, ta en titt på min artikel, Hur man förutsäger codec-framgång - Jag identifierade nio frågor som avslöjar de kritiska faktorer som till stor del kommer att diktera om och när en codec kommer att uppnå kommersiell framgång.
Med detta i åtanke kommer jag att tillämpa dessa frågor på Versatile Video Coding (VVC), en standardbaserad codec som slutfördes i juli. Jag föreslår att du åtminstone skannar artikeln om codec-framgång innan du läser den här.
En av de frågor jag inte tänker på är den tekniska innovationen som används i den nya codec. Så, om du vill ha mer information om de tekniska grunden för VVC, kolla in den här artikeln. Jag hoppar direkt in i frågorna.
PRO NYHETSBREVLjud + Video + IT. Våra redaktörer är experter på att integrera ljud / video och IT. Få dagliga insikter, nyheter och professionellt nätverk. Prenumerera på Pro AV Today.
1. Vad är codecs jämförande effektivitet?
Uppenbarligen dikterar codecs jämförande effektivitet hur mycket bandbreddsbesparing codec kan leverera, en av de viktigaste fördelarna. Jämfört med HEVC lovar ITU-T: s pressmeddelande att "VVC behöver bara halva bithastigheten från sin föregångare" High Efficiency Video Coding "för att uppnå samma videokvalitet för högupplöst videoinnehåll." Qualcomm är lite mindre optimistisk och säger att “VVC … erbjuder en 40% minskning av filstorleken jämfört med den tidigare standarden, HEVC, samtidigt som samma videokvalitet bibehålls.
Den senaste vitboken om ämnet är att jämföra VVC, HEVC och AV1 med hjälp av objektiv och subjektiv bedömning. Tabell III, som visas nedan, presenterar två av de mest relevanta testfall som övervägs av forskarna, UHD och HD-video, och jämför AV1 och VVC (kallas VTM i tabellen) med HEVC med två objektiva mätvärden, PSNR och VMAF.
- Hur man förstår streaminglösningar med låg latens
- Live streaming guide
Den genomsnittliga raden längst ner berättar historien. Avläsning från vänster till höger, med PSNR som mått, producerade AV1 samma kvalitet som HEVC med en datahastighetsreduktion på 7,3%, medan VVC (återigen, VTM) levererade samma kvalitet vid en minskning av datahastigheten på 28,5%. Skannar alla VTM-resultaten, de är i genomsnitt något mindre än 30% jämfört med HEVC.
Dessa resultat motbevisar inte ITU-T- eller Qualcomm-resultaten, eftersom codecs generellt förbättrar deras prestanda över tiden. Ändå verkar den bevisade fördelen idag närmare 30% än 50%, vilket är betydande men inte banbrytande.
Som jag konstaterar i artikeln Nio frågor ”är de allra flesta nya codec-distributioner inte för att skörda bandbreddsbesparingar eller andra leveranseffektiviteter. Enda spetsen av pyramidförlagen som Netflix, Facebook och YouTube har distribuerat VP9, trots att den för närvarande är cirka 35-40% effektivare än x264. Snarare antar publicister vanligtvis nya codecs som HEVC eftersom det öppnar marknader för nya kunder. ”
Detta är en bra inledning till fråga 2.
2. Vilka nya marknader eller plattformar möjliggör codec?
När jag ser tillbaka, distribuerades H.264 mycket snabbt av strömmande utgivare eftersom det möjliggjorde leverans till mobila enheter, vilket den tidigare codec, VP6, inte gjorde. På samma sätt gör de flesta publicister som distribuerar HEVC det för att skicka 4K SDR / HDR-videor till SmartTV, en marknad som de inte hade råd med H.264.
Som vi kommer att diskutera om ett ögonblick är VVC minst 2-3 år på meningsfull användning. Kanske vid den tiden kommer 8K eller VR vara nya och övertygande marknader, men det är allmänt erkänt att 4K-video är svårt att skilja från HD i de flesta konfigurationer utan högt dynamiskt omfång. I bästa fall vet vi just inte om VVC kommer att möjliggöra nya marknader eller inte.
3. Hur är kodningstiden?
Kodningstiden översätts direkt till kodningskostnaden; ju mer det kostar att koda med en codec, desto svårare är det att uppnå brott mellan bandbreddsbesparingar, särskilt med distributionskostnader (i kostnader per GB) som kontinuerligt sjunker.
Vitboken jämförde VVC (igen, VTM) och AV1-kodningstider med HEVC normaliserade till 1,0 (HM i tabellen) och gav resultaten som visas i tabell 2. Här ser du att VVC tar mellan 7-9 gånger längre tid att koda än HEVC. Om du driver din egen kodningsgård innebär det att VVC blir 7-9 gånger dyrare att koda än HEVC. Om du använder en tjänsteleverantör, förvänta dig en liknande prisökning.
Jag bör notera att vitbokens observationer om AV1 baserades på AV1 version 1.0 och i maj 2022-2023 släppte AOM AV1 version 2.0. Medan kvalitetsförbättringarna var minimala är AV1 en mycket snabbare kodare just nu. Så medan vitbokens AV1-relaterade kvalitetsobservationer troligen fortfarande är på plats, är prestationsrelaterade observationer sannolikt föråldrade.
I linje med detta bör du också förvänta dig att VVC-kodning blir effektivare över tiden och inte förblir på 7-9x HEVC.
4. Kan VVC implementeras i programvara på relevanta plattformar?
Antagligen inte. Som vi alla personligen vet är batterilivslängden kung när det gäller mobilanvändning. Ur ett avkodningskomplexitetsperspektiv är VVC mellan 1-2 gånger mer komplex än HEVC enligt denna studie och kräver 167% av avkodningstiden för HEVC i denna rapport.
Så även om VVC kan spelas på datorer (mer om detta under nästa session) utan hårdvarustöd kommer det förmodligen inte att distribueras till mobila enheter förrän hårdvaruavkodning är tillgänglig. Tumregeln för hårdvarusupport är ett år efter att codec har slutförts för att produkter på chipnivå ska bli tillgängliga, och ytterligare ett år för slutanvändarprodukter baserade på dessa chips för att komma ut på marknaden.
Det betyder hösten 2022 för mobil support i hårdvara, i bästa fall. Ditto för SmartTV och OTT / STB-enheter, som inte har maskinvarusupport förrän då heller.
5. Stöder Alliance for Open Media (AOM) codec?
Antagligen inte. Alliance for Open Media-medlemmar är programvaruutvecklare, chip- och enhetstillverkare, innehållsföretag och tjänsteleverantörer som tillsammans utvecklat och lanserat AV1-codec. Eftersom Google och Mozilla båda är medlemmar har deras respektive webbläsare, Chrome och Firefox, länge stött AV1, men ingen stöder HEVC-codec även på plattformar där operativsystemet redan stöder codec.
Detta är en subtil men viktig punkt; Google och Mozilla kan förmodligen stödja HEVC på system med befintlig hårdvara HEVC-stöd utan att få någon royalty eftersom det är så Mozilla stöder H.264 på vissa plattformar (se här för mer information). System med HEVC-stöd inkluderar alla nya Mac- och Apple-enheter, många nya Windows-datorer och de flesta nya Android-enheter. Du kan dock inte spela HEVC i Chrome, Firefox eller Edge för den delen - Microsoft är också AOM-medlem - eftersom inget av dessa företag har lagt till stöd för den här hårdvaran.
Det är svårt att föreställa sig att någon AOM-webbläsare utvecklar stöd för VVC. Så även om VVC förmodligen kan spela utan hårdvarusupport på datorer och bärbara datorer (där batteritiden inte är så stort problem), kommer brist på support inom Chrome och Firefox att komplicera uppspelningen på dessa enheter och avskräcka från användning.
6. Är codec en MPEG-standard?
Ja, och det här är i allmänhet en bra sak. Men efter royaltydebaktionen som avskräckt HEVC-stöd är det knappast en garanti för codec-framgång som för H.264 och MPEG-2.
7. Vad är modellen för teknikägande och intäktsgenerering?
Ju renare tekniken för ägande och intäktsgenerering är, desto lättare är den ultimata licenskostnaden att fastställa. VVC är en riktig MPEG-kodek utvecklad av dussintals om inte hundratals bidragsgivare, och deras utvecklingsinsatser kommer att tjäna pengar via licensiering.
Som du kommer att läsa om i nästa avsnitt betyder det att det kan ta ett tag innan vi känner till VVC-royaltystrukturen.
8. Hur fastställs royalty royalty?
För närvarande är det helt okänt. Förstå att före lanseringen av HEVC-codec, många företag åtagit sig att stödja nya hårdvarukodec innan royalty-kostnaderna var kända eftersom de antog att kostnaderna skulle vara rimliga. Det förändrades med HEVC vilket fortfarande är en röra. Så det förväntas att större tillverkare som Apple och Samsung kommer att motstå att stödja en ny codec tills royaltystrukturen är klar.
År 2022-2023 bildades en branschgrupp som heter Media Coding Industry Forum (MC-IF) för att hjälpa VVC: s IP-ägare att formulera en mer sammanhängande och prisvärd royalty för VVC. I juli 2022-2023 inledde MC-IF formella "patentfrämjande" ansträngningar för att hjälpa till att bilda en enda patentpool för VVC. En av de tre HEVC-patentadministratörerna, HEVC Advance, tillkännagav dock nyligen sitt eget föreslagna VVC-licensprogram, vilket sågs som ett försök till förebyggande strejk av minst en annan pooladministratör.
I bästa fall skulle patentfrämjande processen leda till valet av en patentpooladministratör (eller administratörer) i slutet av 2022-2023, men det finns inga garantier. Så vid denna tidpunkt är royaltystrukturen okänd och utsikterna för en enda pool är tveksamma.
9. Finns det en royalty?
Dito. Vi vet inte just nu.
Vad betyder allt detta? I bästa fall, med tanke på den 2-åriga hårdvarucykeln mellan när en codec slutförs och när den visas i konsumentprodukter, kommer det att vara 2022 tills enheter med VVC-avkodning släppte marknaden, och det kommer att bli droppar och drabbar. Det tar mycket längre tid för den installerade basen att nå någon relevant kritisk massa. Och detta antagande kan försenas tills royaltybilden är inställd, vilket sannolikt inte kommer att ske förrän i mitten av 2022-2023.
Om du är en strömmande producent som är orolig för att du saknar båten på VVC, kan du registrera det problemet i filen "oroa dig för 2022".