U našem svakodnevnom životu navikli smo da vidimo živopisne, detaljne slike. Međutim, postoji skrivena tajna: senzori kamere su svojstveno slijepi boje. Svaki piksel može otkriti samo svjetlinu, a ne boju. Pretvaranje ovog crno-bijelih podataka u sliku u boji potreban je složen sistem. U srcu ovog sistema nalazi se Bayer uzorak (Bayer filter) i procesor signala slike (ISP). Ova dva elementa djeluju poput mozga i očiju kamere, radeći zajedno kako bi oblikovali proces iz sirovih signala na konačnu sliku.
Kao konsultant specijaliziran za module kamere, ovaj članak će pružiti detaljnu analizu Bayer uzorka, predstavit će ISP protok obrade i istražite kako ove osnovne tehnologije izravno utječu na otkrivanje objekata u ugrađenim vidonima. Osiguraćemo stručne uvide iz perspektive inženjera, pomažući vam da shvatite svaku ključnu vezu u lancu slike.
Šta je Bayer?
Da biste shvatili uzor Bayer, prvo morate razumjeti kako rade digitalni fotoaparati. Senzor kamere sastoji se od miliona fotoosjetljivih dioda (piksela). Kad fotoni udaraju ove piksele, oni stvaraju električni naboj čija se veličina proporcionalna intenziteta svjetlosti. Međutim, ovi pikseli ne mogu razlikovati boje svjetlosti; Oni bilježe samo svoju svjetlinu.
Bayer uzorak, koji se često naziva bayer filter, roman je rješenje. Sastoji se od malenog niza filtera-crvenih (r), zelenih (g) i plavih (b) -prikladno postavljen preko svakog piksela. Ovaj niz filtra omogućava svakom pikselu da primi i bilježi samo intenzitet specifične boje svjetlosti ispod nje. Na primjer, piksel prekriven crvenim filtrom samo bilježi svjetlinu crvenog svjetla.
Dakle, neobrađeni podaci o senzoru nije aboja rgb slika, ali jednobojni mozaički uzorak, poznat kao "Bayer RAW podaci". Svaki piksel u tim podacima sadrži informacije sa samo jednog kanala u boji.
Zašto je zeleno dva puta u Bayer uzorku
Ako pažljivo pogledate u tipičnom Bayer uzorku, primijetit ćete da postoji dvostruko više zelenih piksela kao crvenih i plavih piksela. To je poznato kao RGGB (ili GRBG, BGGR, itd.) Aranžman.
Ovaj dizajn nije slučajno; Zasnovan je na fiziološka svojstava ljudskog oka. Ljudska mreža mrežnice je najosjetljivija na zeleno svjetlo, uzrokujući da našu percepciju svjetline (ili "sive sive") prvenstveno dolaze sa zelenog kanala. Dodjelom više piksela na zeleno, kamera je u stanju snimiti bogatiju informacije o svjetlini, što rezultira većom jasnoćom i manje buke prilikom rekonstrukcije slike, na kraju čini da se slika čini prirodnijom i oštrijom.
GGB vs. BGGR razlika
Postoje razni aranžmani Bayer obrasca, s RGGB i BGGR-om su dva najčešća. Dok oba slijede načelo "dvostruko zeleno", specifičan aranžman se razlikuje.
U RGGB aranžmanu, crveni i plavi pikseli postavljaju se dijagonalno preko zelenih piksela. U BGGR aranžmanu, zeleni pikseli se postavljaju dijagonalno preko puta crvenih i plavih piksela. Izbor ovih aranžmana utječe na naknadnu ISP obradu, posebno algoritam za demonaciju.
Na primjer, različiti aranžmani utječu na kombinaciju susjednih piksela tokom izračuna interpolacije. Za ugrađene vidske sisteme, izbor Bayer uzorka često ovisi o dizajnu ISP čipa i zahtijeva hardversku i softversku koordinaciju kako bi se osigurala konačna kvaliteta slike.
Šta je ISP (procesor slike slike)?
TheProcesor signala slike (ISP)Je li mozak sistema kamere. Njegov primarni zadatak je primanje neobrađenih Bayer sirovih podataka od senzora i kroz složeni cjevovod za obradu pretvoriti u standardni format slike koji vidimo, spreman za prikaz ili analizu. ISP može biti samostalni čip ili integriran u glavni upravljački čip.
Efikasan ISP je ključan za modul kamere visokih performansi. Svaki koraci koje ručke su presudne i direktno određuje konačni kvalitet slike.
ISP naftovod za obradu
Kompletan ISP cjevovod obično uključuje desetine koraka obrade. Označit ćemo nekoliko ključnih koraka ovdje:
1. Loša piksela korekcija piksela
Tokom procesa proizvodnje, senzori mogu razviti pojedinačne loše piksele koji su ili ne-blistavi ili trajno blistavi. Prvi korak ISP-a je identificirati i popraviti ove loše piksele, zamjenjujući njihove podatke interpoliranjem iz okolnih piksela.
2. Crna korekcija nivoa
Čak i u potpunoj tami, senzor i dalje proizvodi slab električni signal zbog "tamne struje". ISP oduzme ovu fiksnu "crnu razinu" kako bi se osiguralo da su crni pikseli zaista nuli, poboljšavajući dinamički raspon slike.
3. Označavanje
Kad je senzor u slabom svjetlu, on generira veliku količinu slučajnih elektronskih buka. ISP koristi složene algoritme za razlikovanje detalja slike iz buke, a zatim primjenjuje smanjenje buke. To može značajno poboljšati čistoću slike, ali pretjerano smanjenje buke može također izbrisati detalje.
4. Demosaicing
Ovo je jedna od osnovnih funkcija ISP-a. Algoritam demosije interpolira informacije o susjednom crvenom, zelenom, zelenom i plavom pikselu svakog piksela kako bi zaključili potpunu RGB vrijednost tog piksela. Kvaliteta algoritma za demonacije direktno određuje reprodukciju i detalje u boji za krajnju sliku.
5 Automatski balans bijele boje
Različiti izvori svjetlosti (poput sunčeve svjetlosti, fluorescentne rasvjete i žarulje) Emitiraju svjetlost različitim temperaturama boja. AUTO Funkcija balansa bijele boje analizira raspodjelu boje na slici i automatski podešava dobitak crvenih, zelenih i plavih kanala kako bi se osiguralo da se bijeli objekti precizno postave bijeli pod bilo kojim izvorom rasvjete. Ovaj dinamični i složen proces jedna je od osnovnih prodajnih točaka ISP-a.
6. Korekcija boja (ccm)
Čak i nakon bijelog balansiranja, reprodukcija boje kamere možda nije tačna. ISP koristi matricu boja za dodatnu ispravnu boju, mapiranjem izvornog prostora boja kamere na standardni prostor u boji (kao što je SRGB) kako bi se osigurala konzistentnost boja u različitim uređajima.
7. Gama korekcija
Gamma korekcija je nelinearni postupak za svjetlinu slike koja odgovaraju nelinearnoj percepciji ljudskog oka, čineći svijetle i tamne površine čine prirodniju i bogatiju dubinu.
8. Oštrenje i unapređenje ivica
ISP poboljšava ivice u slikama, čineći ih da se pojave jasnijim i oštrijim. Međutim, za to je potrebna precizna kontrola, jer pretjerano oštrenje može uvesti neprihvatljive nazubljene artefakte.
Uticaj ISP na računarsku viziju
Za ugrađene inženjere vida, ISP je više od samo alata za uljepšavanje slike. Svaki korak obrade u ISP-u direktno utječe na performanse algoritma nizvodnog računarskog vida. Ignoriranje uloge ISP-a može dovesti do fatalnih nedostataka u aplikacijama poput otkrivanja objekta.
Efekat "crne kutije" ISP-a
Mnogi inženjeri pogrešno pregledavaju ISP kao "crna kutija", pretpostavljajući da je isključivo odgovoran za proizvodnju "dobrog izgleda". Međutim, dok neka ISP obrada može poboljšati vizualni kvalitet, može se miješati i u algoritme računarskog vida.
Na primjer, pretjerano agresivno smanjenje buke ISP-a može izraditi suptilne teksture i detalje na slici, koji su ključni za algoritme otkrivanja objekata.
Izazov auto bijele balanse
Nestabilna automatsko balans bijele boje je glavna tačka boli u računarskoj viziji. Pod promjenom uvjeta osvjetljenja, ako automatsko balans bijele boje ne precizno prilagodi temperaturu boje, može uzrokovati da boja baca na slici. Ovo može prikazati obučene modele otkrivanja objekata neefikasnog u stvarnim aplikacijama, jer oni možda ne mogu otkriti predmete sa livenom.
Kako riješiti ovo
Da bi se osigurala robusnost algoritma računarskih vida, inženjeri trebaju ISP optimizirani za vidske aplikacije. To znači da se Parametri ISP-a moraju biti kontrolirani i podesivi, omogućujući inženjerima da precizno podešavaju cjevovod za obradu slike za određene scenarije aplikacija (poput svijetlih vanjskih svjetla ili slabog svjetla). Uz to, ključno jeOdaberite modul kamerekoji izlazi sa sirovim bayer podacima. To omogućava inženjerima da obavljaju ISP obradu u bagend softveru, pružajući maksimalnu fleksibilnost i kontrolu.
Sažetak
Bayer obrazac i procesor signala slike su temelji digitalnog lanaca za obradu slika, radeći zajedno da transformiraju sirove svjetlosne signale u korisne informacije o slikama. Razumijevanje svakog koraka obrade ISP-a i prepoznavanje njenog izravnog utjecaja na algoritme za nizvodno korištenje računala od suštinskog je značaja za svaki ugrađeni inženjer vida. ISP ne samo da doprinosi estetici slika, već određuje uspjeh aplikacija AI kao što su otkrivanje objekata i prepoznavanje slike.
Mulvision pomaže u optimizaciji ISP-a
Da li se borite sa modulom kamere ISP optimizacije za svoj projekt?Danas se obratite našem stručnom timuI pružit ćemo vam profesionalne selekcije procesora i prilagođavanja signala za slike kako bi se pomoglo vašem ugrađenom projektu vida!
