Zhvillimi dhe mësimi i audios dhe videos

Së pari supozojmë se dikush ka zero bazë në audio dhe video dhe kurrë nuk ka mësuar ndonjë njohuri në lidhje me përpunimin e sinjalit dixhital. Themeli matematik është në thelb i nivelit të shkollës së mesme, por ai është i njohur me zhvillimin e C / C ++, të paktën i njohur me përpilimin dhe korrigjimin e gabimeve IDE nën një platformë të caktuar.

Përqendrohuni në dy projektet me burim të hapur ffmpeg dhe webRTC, kryesisht duke parë pjesën video të ffmpeg dhe pjesën audio të webRTC.

Para së gjithash, filloni me dekodimin e videos. Kjo është më e thjeshta. Kodi bazë për thirrjen e dekodimit të videos ffmpeg është vetëm rreth 100 rreshta. Dekodimi i videos duhet të kuptojë vetëm h.264, skenat 80% + janë në këtë format kodues, të kuptojnë konceptet themelore të H.264 sps PPS NAL dhe formatet e tjera të skedarit, të kuptojnë parimin e formatit të imazhit YUV dhe të kuptojnë konvertimin e YUV në RGB , Kështu që ju mund të bëni pasqyrimin e imazhit, ju mund të arrini një lexues të thjeshtë video. (Në thelb në fazën e parë)

Pastaj, për të mësuar rreth kodimit të videos, rekomandohet të filloni me x264, një thirrje e thjeshtë në kodin e kodimit x264 është më pak se 100 rreshta. Kodimi është më i komplikuar sesa dekodimi pasi që dekodimi nuk kërkon ndonjë parametër për tu konfiguruar, dhe kodimi ka një numër të madh të parametrave që duhet të konfigurohen. Në fillim, thjesht kuptoni disa koncepte themelore, të tilla si shpejtësia e kornizës, metodat e zakonshme të kontrollit të rrjedhës ABR CRF, GOP, I / B Çfarë do të thotë / P Frame përkatësisht. (Familjar me kodimin X264 përsëri)

Kodiku i pjesës audio është i ngjashëm me atë të videos. Në fazën fillestare, duhet të kuptoni vetëm dy enkoduesit EAAC + dhe Silk, të kuptoni konceptet e kanalit të zërit, shpejtësinë e marrjes së mostrave, etj., Dhe të kuptoni formatin e skedarit Wave. Mund të jetë një lexues i thjeshtë audio. (Bëni një lexues audio)

Pjesa komplekse e audios nuk është kodeku, por efekti i zërit. Shikoni modulin e përpunimit audio në webRTC dhe kuptoni konceptet e mëposhtme: denoizimi i NS, anulimi i ekos AEC, zbulimi i heshtur VAD, kontrolli automatik i fitimit AGC dhe integrimi i webRTC. Edhe pse algoritmi nuk është më i miri, ai mund të zgjidhë 90% + të problemeve dhe ia vlen të mësohet. (Mësoni përpunimin e audios në internet)

Pasi ta mësoj këtë, duhet të mendoj për një pyetje, nëse dua të ndjek një rrugë inxhinierike apo një rrugë algoritmike. Nëse është një rrugë algoritmike, atëherë unë duhet të mësoj matematikën. Pas përpunimit të sinjalit dixhital qëndron një numër i madh i teorive themelore matematikore. Nëse është një rrugë inxhinierike, atëherë duhet të mësoni zhvillimin ndër-platformor, të mësoni mbledhjen, riprodhimin dhe përpunimin e audios dhe videos nën shumë platforma dhe të mësoni optimizimin e gjuhës së asamblesë nën shumë platforma. (Lidhur me platformën)

Audio dhe video janë një fushë shumë e thellë, dhe ju kurrë nuk do ta mbaroni mësimin gjatë gjithë jetës, por kjo fushë ka avantazhin që shpejtësia e azhurnimit të njohurive është relativisht e ngadaltë, gjërat e mësuara nuk janë të lehta për tu eliminuar dhe akumulimi i përvojës është shumë e rëndësishme.v