本文由 DELTACAST 產(chǎn)品經(jīng)理 Olivier Antoine 聯(lián)合撰寫

虛擬制作已經(jīng)改變了電影制作人、游戲開發(fā)者和視覺效果藝術(shù)家創(chuàng)作沉浸式內(nèi)容的方式。它能夠?qū)崟r(shí)融合物理與數(shù)字環(huán)境，帶來顯著的優(yōu)勢，如節(jié)省成本、增強(qiáng)創(chuàng)意控制以及簡化工作流程。近來的電影及工作室制作已經(jīng)展示了其潛力，通過無縫整合實(shí)景與 CGI 樹立了新的行業(yè)標(biāo)準(zhǔn)，開辟了獨(dú)特的創(chuàng)意可能性?，F(xiàn)在，小型工作室和新聞媒體也正采用這項(xiàng)技術(shù)，以營造身臨其境的感覺。

推動(dòng)虛擬影視制作轉(zhuǎn)型的一項(xiàng)重要技術(shù)進(jìn)步是采用現(xiàn)場可編程門陣列（ FPGA ）與自適應(yīng)片上系統(tǒng)（ SoC ）器件。AMD Kintex UltraScale+ 與 Virtex UltraScale+ FPGA 屬于可在制造后編程的集成電路，能夠執(zhí)行廣泛的功能，并利用可編程邏輯提供可定制的硬件框架。這種適應(yīng)性使開發(fā)人員可以針對特定任務(wù)定制 FPGA 配置，從而優(yōu)化性能與效率。

AMD Zynq UltraScale+ 自適應(yīng) SoC 與 Versal 自適應(yīng) SoC 將多處理器與 FPGA 可編程邏輯和其他功能相結(jié)合，提供了硬件和軟件可重新配置的組合。AMD FPGA 和自適應(yīng) SoC 的可編程特性使其非常適合需要實(shí)時(shí)視頻處理和低時(shí)延性能的應(yīng)用與系統(tǒng)。這些多功能且強(qiáng)大的器件能夠提升虛擬制作流程，將復(fù)雜的視覺效果無縫集成到各種設(shè)備中，包括電影攝影機(jī)、攝像機(jī)跟蹤器、LED 墻、內(nèi)容生成系統(tǒng)以及監(jiān)控解決方案。

FPGA 與自適應(yīng) SoC在虛擬制作設(shè)備中的優(yōu)勢

在虛擬制作設(shè)備中采用自適應(yīng)計(jì)算技術(shù)能夠克服多重挑戰(zhàn)，使系統(tǒng)正常運(yùn)行：

提升性能與效率：FPGA 與自適應(yīng) SoC 擅長管理高清、4K、8K 乃至更高分辨率的實(shí)時(shí)視頻處理和傳輸所需的高數(shù)據(jù)吞吐量。

低時(shí)延：時(shí)延是虛擬制作中的一個(gè)關(guān)鍵因素，尤其是在整合實(shí)景鏡頭與數(shù)字元素時(shí)。任何時(shí)延都可能破壞這些組成部分的無縫融合，導(dǎo)致視覺體驗(yàn)不連貫。自適應(yīng)計(jì)算技術(shù)能以最低時(shí)延處理數(shù)據(jù)，確保虛擬制作系統(tǒng)實(shí)時(shí)運(yùn)行，同時(shí)保持不同元素之間的同步。這種低時(shí)延性能對于虛擬電影攝影等應(yīng)用至關(guān)重要，因?yàn)閷?dǎo)演需要立即看到效果，以便即時(shí)做出創(chuàng)意決策。

可擴(kuò)展性與適應(yīng)性：自適應(yīng)計(jì)算技術(shù)可輕松進(jìn)行更新和調(diào)整，確保設(shè)備在研發(fā)過程中甚至在拍攝現(xiàn)場都能隨著技術(shù)的進(jìn)步而演進(jìn)，同時(shí)也能進(jìn)行擴(kuò)展，以支持更大的系統(tǒng)和像素畫布尺寸。

提升電影攝影機(jī)與攝像機(jī)跟蹤器性能

在電影攝影機(jī)中，F(xiàn)PGA 與自適應(yīng) SoC 可實(shí)現(xiàn)先進(jìn)的圖像處理功能。它們能以最低時(shí)延應(yīng)對高分辨率圖像和傳感器數(shù)據(jù)管理，同時(shí)支持 HDR 處理，確保所捕捉的素材在不同光照條件下都能保持高質(zhì)量。它們還能提供實(shí)時(shí)視頻編碼與解碼，使電影制作人能夠通過遠(yuǎn)程監(jiān)控以出色的清晰度和速度捕捉和處理圖像。

自適應(yīng)計(jì)算也在攝像機(jī)跟蹤器中發(fā)揮著重要作用，實(shí)現(xiàn)精準(zhǔn)且快速的數(shù)據(jù)處理，這對于無縫整合實(shí)景鏡頭與虛擬元素至關(guān)重要。這些器件可提供實(shí)時(shí)跟蹤與穩(wěn)定所需的計(jì)算能力，確保流暢準(zhǔn)確的動(dòng)作捕捉。當(dāng)與AI結(jié)合時(shí)，F(xiàn)PGA 與自適應(yīng) SoC 還能提升目標(biāo)識別與場景分析能力，從而在拍攝過程中實(shí)現(xiàn)更精準(zhǔn)的跟蹤和自動(dòng)調(diào)整。

為 LED 墻提供支持

LED 墻已成為虛擬制作中不可或缺的部分，為實(shí)景拍攝提供了動(dòng)態(tài)和互動(dòng)背景，對于營造沉浸式虛擬環(huán)境至關(guān)重要。從 LED 墻控制器和像素處理器到 LED 塊的像素控制，F(xiàn)PGA 在驅(qū)動(dòng)這些高分辨率顯示器方面表現(xiàn)出色，可提供實(shí)時(shí)視頻處理與同步。其并行處理能力確保了流暢的性能，即使在應(yīng)對沉浸式環(huán)境所需的復(fù)雜圖形內(nèi)容時(shí)也是如此。自適應(yīng)計(jì)算技術(shù)能夠動(dòng)態(tài)調(diào)整顯示效果，以匹配虛擬場景的照明與視角，確保物理與數(shù)字元素的無縫融合。這一功能對于保持虛擬場景的深度和真實(shí)感至關(guān)重要。此外，LED 墻還能利用 FPGA 與自適應(yīng) SoC 進(jìn)行實(shí)時(shí)像素處理與色彩校正。

低時(shí)延監(jiān)控解決方案

在監(jiān)控解決方案中，F(xiàn)PGA 提供了處理多個(gè)視頻流所需的高速數(shù)據(jù)處理能力，并實(shí)現(xiàn)最低時(shí)延。這種低時(shí)延性能對于保持虛擬制作系統(tǒng)中不同元素之間的同步至關(guān)重要。設(shè)備制造商可以利用 FPGA 開發(fā)提供實(shí)時(shí)反饋的監(jiān)控系統(tǒng)，使導(dǎo)演、制作團(tuán)隊(duì)和技術(shù)人員能夠立即做出調(diào)整，確保制作質(zhì)量。

音視頻接口卡在虛擬制作中的重要性

音視頻接口卡是虛擬制作處理系統(tǒng)中不可或缺的組成部分。要用內(nèi)容創(chuàng)造奇跡，您首先需要能夠?qū)⑵漭斎牒鸵瞥瞿南到y(tǒng)！這些接口卡基于 ST 2110 和 IPMX 等 AV-over-IP 標(biāo)準(zhǔn)以及 SDI 和 HDMI 標(biāo)準(zhǔn)，因此需要具備高速數(shù)據(jù)處理和低時(shí)延處理能力。FPGA 提供了必要的性能來高效處理這些任務(wù)，確保媒體流傳輸流暢可靠。這種能力對于保持制作內(nèi)容的完整性和質(zhì)量至關(guān)重要。FPGA 可處理實(shí)時(shí)數(shù)據(jù)傳輸與同步的復(fù)雜任務(wù)，確保將高質(zhì)量音視頻信號無縫集成到虛擬制作工作流程中。這確保了跨各種設(shè)備和格式的兼容性與互操作性，促進(jìn)了制作流程的順暢與高效。

DELTACAST 是面向 OEM 廠商和開發(fā)商設(shè)計(jì)、開發(fā)和制造實(shí)時(shí)視頻傳輸和處理解決方案的領(lǐng)導(dǎo)者。其解決方案可提供高質(zhì)量和低時(shí)延，以滿足電視廣播、專業(yè)音視頻、醫(yī)療和眾多其他市場中要求嚴(yán)苛的應(yīng)用。

針對直播視頻應(yīng)用，該公司提供了一系列 SDI、HDMI、DisplayPort 和 IP ST 2110 視頻卡?，F(xiàn)在，這些視頻卡已完全兼容虛幻引擎 5（ Unreal Engine 5 ），使得媒體服務(wù)器用戶能夠?qū)⑻摶靡娴膶?shí)時(shí)渲染能力與 DELTACAST 視頻卡捕捉的實(shí)時(shí)視頻輸入無縫融合，并將實(shí)時(shí) 3D 渲染作為 SDI、HDMI、DP 或 IP 視頻信號發(fā)送出去。這一功能在基于 LED 墻的虛擬制作工作室中尤為實(shí)用。

為了設(shè)計(jì)虛擬場景，業(yè)界明智地采用游戲引擎來實(shí)時(shí)渲染令人驚嘆的逼真內(nèi)容，并將其投影到 LED 墻上。3D 環(huán)境必須根據(jù)拍攝現(xiàn)場攝像機(jī)的跟蹤信息進(jìn)行實(shí)時(shí)計(jì)算，并以盡可能低的時(shí)延投影到 LED 顯示屏上，從而確保背景與攝像機(jī)移動(dòng)保持一致。

DELTACAST I/O 卡和 FLEX 解決方案的特色是將視頻以最低時(shí)延輸入和移出虛幻引擎等游戲引擎。借助免費(fèi)的 DELTACAST Media Plugin，所有 SDI、HDMI 和 DisplayPort 卡型號均可在虛幻引擎中使用。

ST 2110（以及基于相同協(xié)議的 IPMX ）在虛擬制作中越來越受歡迎，特別是在 LED 墻控制器領(lǐng)域，因?yàn)樗邆渲С执蟪叽缦袼禺嫴甲鳛楸尘暗目蓴U(kuò)展性，還實(shí)現(xiàn)了不同音視頻和廣播技術(shù)之間的互操作性。ST 2110 是由 SMPTE 聯(lián)盟定義的開放標(biāo)準(zhǔn)系列，旨在為廣播基礎(chǔ)設(shè)施中使用的傳統(tǒng) SDI（串行數(shù)字接口）連接提供 IP 流媒體替代方案。由于網(wǎng)絡(luò)帶寬和計(jì)算機(jī)處理能力的不斷提升，利用 IP 基礎(chǔ)設(shè)施進(jìn)行內(nèi)容制作（其中最佳圖像質(zhì)量至關(guān)重要）現(xiàn)已成為技術(shù)現(xiàn)實(shí)。如今，10、25、100 和 400Gb/s 以太網(wǎng)連接可輕松傳輸多個(gè) 1080p、4K 甚至 8K 的未壓縮饋送。通過采用 JPEG XS 和高吞吐量 JPEG 2000 等無損圖像編解碼器，甚至可以進(jìn)一步優(yōu)化網(wǎng)絡(luò)鏈路的使用。

DELTACAST 已推出專門用于 IP 視頻流的型號。其中，DELTA-ip-ST2110 10 和 DELTA-ip-ST2110 01 是雙 10GbE 接口卡，支持 SMPTE ST 2110 視頻、音頻及輔助數(shù)據(jù)流的接收和傳輸。DELTACAST ST2110 卡因其互操作性而成功贏得了“根據(jù) JT-NM 測試計(jì)劃對 SMPTE ST 2110進(jìn)行自我測試”徽章。DELTACAST 產(chǎn)品組合提供了多種 I/O 卡，具備多種輸入和輸出組合，因此您可以根據(jù)具體的設(shè)置選擇合適的型號。

自 1986 年成立以來，DELTACAST 一直采用 AMD FPGA。如今，該公司在其視頻 I/O PCIe 板和攝像機(jī)控制板中使用了各種 AMD FPGA 與自適應(yīng) SoC。AMD 技術(shù)使 DELTACAST 視頻卡能夠?yàn)橐髧?yán)苛的工作負(fù)載提供快速視頻傳輸和處理。這包括將虛幻引擎的實(shí)時(shí)渲染功能與 DELTACAST 卡捕捉的實(shí)時(shí)視頻輸入相融合的媒體服務(wù)器。

AI 驅(qū)動(dòng)的 FPGA 與自適應(yīng) SoC在虛擬制作中的應(yīng)用

AMD 自適應(yīng)計(jì)算技術(shù)在虛擬制作中的應(yīng)用不斷演進(jìn)，持續(xù)的研發(fā)推動(dòng)著新的創(chuàng)新。一個(gè)令人興奮的領(lǐng)域是將人工智能（ AI ）和機(jī)器學(xué)習(xí)算法集成到 FPGA 與自適應(yīng) SoC 架構(gòu)中，在邊緣和拍攝現(xiàn)場直接捕捉和處理數(shù)據(jù)，最大限度降低時(shí)延。這種組合可以通過實(shí)時(shí)智能處理視覺數(shù)據(jù)來徹底改變虛擬制作。場景分析和目標(biāo)檢測可以加速工作流程，自動(dòng)設(shè)置并更快地完成拍攝。FPGA 可用于部署 AI，根據(jù)場景環(huán)境自動(dòng)調(diào)整照明和紋理，進(jìn)一步簡化制作流程并提高視覺質(zhì)量。

突破創(chuàng)意邊界

對于專業(yè)音視頻和廣播行業(yè)的設(shè)備制造商而言，了解 FPGA 與自適應(yīng) SoC 在虛擬影視制作中的價(jià)值至關(guān)重要，因?yàn)樗鼈兲峁┝丝啥ㄖ?、高性能和低時(shí)延的解決方案。隨著對復(fù)雜和沉浸式數(shù)字內(nèi)容需求的不斷增長，利用自適應(yīng)硬件平臺(tái)將成為推動(dòng)虛擬制作突破創(chuàng)意與技術(shù)卓越邊界的關(guān)鍵。通過將 FPGA 和自適應(yīng) SoC 集成到設(shè)備中，制造商可以為制作團(tuán)隊(duì)提供所需的工具，以創(chuàng)造視覺上令人驚嘆的無縫虛擬體驗(yàn)。

隨著對更復(fù)雜和沉浸式數(shù)字內(nèi)容的需求持續(xù)攀升，AMD 自適應(yīng)計(jì)算技術(shù)在虛擬影視制作中的作用也將不斷擴(kuò)大。借助這些多功能器件，制作團(tuán)隊(duì)可以突破創(chuàng)意與技術(shù)卓越的邊界。FPGA 能夠提升性能、降低成本并適應(yīng)新的需求，是提升虛擬制作能力的重要資產(chǎn)。隨著行業(yè)不斷創(chuàng)新，F(xiàn)PGA 的作用只會(huì)持續(xù)增強(qiáng)，推動(dòng)未來敘事和內(nèi)容創(chuàng)作的發(fā)展。虛擬制作的未來之旅才剛剛開始，在 FPGA 的助力下，將迎來無限可能。