Feature Extraction for High Resolution Remote Sensing Image Classification using Histograms of Oriented Gradients
•
1 like•263 views
The thesis explores the application of a advanced feature extraction technique, called "histogram of oriented gradients" (HOG), applied to multispectral VHR images. The algorithm, widely used in the human detection area, but new in this context of remote sensing, has been thoroughly analyzed in each phase, highlighting the correspondance between different parameter sets and different accuracy variations.
Recommended
More Related Content
Similar to Feature Extraction for High Resolution Remote Sensing Image Classification using Histograms of Oriented Gradients
Similar to Feature Extraction for High Resolution Remote Sensing Image Classification using Histograms of Oriented Gradients (16)
Recently uploaded
Recently uploaded (9)
Feature Extraction for High Resolution Remote Sensing Image Classification using Histograms of Oriented Gradients
- 1. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Estrazione di parametri per classificazione di immagini telerilevate ad alta risoluzione mediante istogrammi di gradienti orientati Margherita Piccini, Simone Rossi, Eugenio Zuccarelli Universit`a degli Studi di Genova - Scuola Politecnica Relatore: Prof. Gabriele Moser Correlatore: Dott. Vladimir Krylov Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 1 / 22
- 2. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Struttura della presentazione 1 Introduzione e obiettivi 2 Approccio sviluppato Histograms of oriented gradients (HOG) Support Vector Machine (SVM) 3 Risultati sperimentali Dataset Setup sperimentale Discussione dei risultati 4 Conclusioni Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 2 / 22
- 3. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Estrazione di parametri per classificazione di immagini telerilevate ad alta risoluzione mediante istogrammi di gradienti orientati Telerilevamento: estrazione remota di informazioni EO - Earth Observation Sensori di acquisizione passivi ottici Alta risoluzione spaziale (ordine di qualche metro) Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 3 / 22
- 4. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Estrazione di parametri per classificazione di immagini telerilevate ad alta risoluzione mediante istogrammi di gradienti orientati ) Costruzione automatica di mappe tematiche necessarie in svariati ambiti tra cui: analisi di sviluppo urbano mappatura di aree agricole gestione e salvaguardia ambientale Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 3 / 22
- 5. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Estrazione di parametri per classificazione di immagini telerilevate ad alta risoluzione mediante istogrammi di gradienti orientati Feature: parametri calcolati per ogni pixel utili per discriminare classi Feature di tessitura ) Obiettivo: estrarre informazioni sulla distribuzione spaziale delle intensit`a dei pixel + Informazione aggiuntiva e complementare ai canali (feature) spettrali dell’immagine telerilevata Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 3 / 22
- 6. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Estrazione di parametri per classificazione di immagini telerilevate ad alta risoluzione mediante istogrammi di gradienti orientati Obiettivo della tesi: esplorare l’applicabilit`a degli HOG nell’ambito della mappatura di copertura del suolo in area urbana Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 3 / 22
- 7. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Schema generale dell’algoritmo Immagine in ingresso Riduzione rumore Calcolo gradiente Costruzione istogrammi Normalizz. contrasto Costruzione vettore feature Classificatore Idea chiave: descrivere il comportamento locale del gradiente di un’immagine per enfatizzare strutture geometriche Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 4 / 22
- 8. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Riduzione del rumore (a) Immagine originale con rumore (b) Risultato di filtraggio gaussiano Figura: Riduzione del rumore con filtraggio gaussiano 2D . Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 5 / 22
- 9. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Calcolo del gradiente Operativamente: I(j, k) hx Gx = I ⇤ hx hy Gy = I ⇤ hy G = q G2 x + G2 y ✓ = atan( Gy Gx ) G(j, k) Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 6 / 22
- 10. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Calcolo del gradiente Figura: Calcolo delle componenti del gradiente Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 6 / 22
- 11. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Costruzione degli istogrammi Immagine Matrice di celle Istogrammi Figura: Schema esemplificativo della distribuzione spaziale di istogrammi e celle Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 7 / 22
- 12. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Costruzione degli istogrammi Si costruiscono gli istogrammi (k = 1, . . . , n✓): H0(c, k) = X i X j f [G(i, j)] ( k 1 < ✓(i, j) k) (1) quantizzazione su n✓ angle bin spaziati uniformemente voto pesato rispetto all’intensit`a del gradiente tramite la funzione f (G) Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 7 / 22
- 13. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Normalizzazione Matrice di celle Matrice di blocchi Istogrammi Motivazione: riduzione artefatti dovuti a illuminazione e contrasto. Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 8 / 22
- 14. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Normalizzazione Schema di normalizzazione: H(c, k) = H0(c, k) ⇣P ci 2Nc p kH0(ci )k2 2 + "2 ⌘ (2) dove Nc `e l’insieme delle celle del blocco considerato. Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 8 / 22
- 15. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Histograms of oriented gradients (HOG) Costruzione del descrittore vettoriale 1 Feature HOG estratte separatamente su ogni canale spettrale tra i B presenti 2 Immagine finale derivata dalla concatenazione di canali spettrali e feature HOG Red Green Blue HOG over Red HOG over Green HOG over Blue Dimensione complessiva: B + B · n✓ Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 9 / 22
- 16. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Support Vector Machine (SVM) Cos’`e un classificatore {xi , yi } Training set Addestramento Regola di decisione PredizioneX(m, n) Immagine Mappa di classificazione Y (m, n) Figura: Schema funzionale di un classificatore Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 10 / 22
- 17. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Support Vector Machine (SVM) Training set linearmente separabile x2 x1 Figura: Training set linearmente separabile Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 11 / 22
- 18. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Support Vector Machine (SVM) Training set linearmente separabile x2 x1 w ·x + b = 0 w ·x+ + b = 1w ·x + b = 1 2 kw k b kw k w Figura: Margine tra i campioni di training di due classi linearmente separabili Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 11 / 22
- 19. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Support Vector Machine (SVM) SVM lineare binaria Addestramento: max ↵ L(↵) = X i ↵i 1 2 X i X j ↵i ↵j yi yj xi · xj (3) Predizione: f (u) = X i ↵i yi xi · u + b (4) Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 12 / 22
- 20. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Support Vector Machine (SVM) SVM non lineare x1 x2 x1 x2 x3 Figura: Situazione esemplificativa della funzione di trasformazione : Rd ! H (5) Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 13 / 22
- 21. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Support Vector Machine (SVM) SVM non lineare Giustificazione Un problema di classificazione complesso, formulato attraverso una trasformazione non-lineare dei dati in uno spazio ad alta dimensionalit`a, ha maggiore probabilit`a di essere linearmente separabile che in uno spazio a bassa dimensionalit`a. Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 13 / 22
- 22. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Support Vector Machine (SVM) SVM non lineare Addestramento: max ↵ L(↵) = X i ↵i 1 2 X i X j ↵i ↵j yi yj K(xi , xj ) (5) Predizione: f (u) = X i ↵i yi K(xi , u) + b (6) con K : Rd ⇥ Rd ! R tale che K(x1, x2) = (x1) · (x2) Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 13 / 22
- 23. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Support Vector Machine (SVM) SVM non lineare Kernel usato per la fase di classificazione: radiale gaussiano (RBF) K(x1, x2) = exp ⇣ ||x1 x2||2 2 2 ⌘ (5) Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 13 / 22
- 24. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Dataset Descrizione dei dataset Progetto europeo dedicato all’identificazione di aree urbane attualmente non usate e potenzialmente riqualificabili. Tre casi analizzati tutti acquisiti da SPOT 5 HRG a 3 bande (NIR, R, G): Amiens 2006 - 5 m - 10 classi Amiens 2012 - 2.5 m - 7 classi Amiens 2006 - 2.5 m - 7 classi Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 14 / 22
- 25. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Dataset Descrizione dei dataset Figura: Amiens 2006 5 m a 10 classi Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 14 / 22
- 26. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Dataset Descrizione dei dataset Figura: Amiens 2012 2.5 m a 7 classi Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 14 / 22
- 27. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Dataset Descrizione dei dataset Figura: Amiens 2006 2.5 m a 7 classi Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 14 / 22
- 28. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Dataset Di colt`a del dataset Problema di classificazione complesso a causa di e↵etto sfocatura causato da processi di pre-elaborazione presenza di ombre nell’area urbana classi spettralmente sovrapposte classi di uso del suolo e non di copertura del suolo numero di canali spettrali limitato (solo 3) Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 15 / 22
- 29. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Setup sperimentale Setup sperimentale Algoritmo HOG: Riduzione del rumore: filtro gaussiano passabasso 15 ⇥ 15 Maschera derivativa [ 1, 0, 1] Numero di bin: 4 Grandezze delle celle: 2 ⇥ 2 pixel per dimensione del pixel di 2.5 m e 4 ⇥ 4 pixel per 5 m Grandezze dei blocchi: 16 ⇥ 16 pixel Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 16 / 22
- 30. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Setup sperimentale Setup sperimentale SVM: Soft Margin SVM Kernel RBF (Radial Basis Function) I parametri C e della SVM sono ottenuti tramite un processo di ottimizzazione automatica che minimizza un maggiorante sull’errore di generalizzazione del classificatore Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 16 / 22
- 31. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2006 - 5 m Mappa di classificazione con feaure HOG a 4 bin, celle 4 ⇥ 4 pixel, blocchi a 16 ⇥ 16 Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 17 / 22
- 32. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2006 - 5 m Accuratezze di classificazione sui campioni di test Area urbana ad alta densit`a Area urbana a bassa densit`a Strade Area urbana verde Suolo nudo 80.39% 72.91% 11.82% 0% 86.33% Terreno coltivabile Aree vegetate Alberi Corsi d’acqua Specchi d’acqua 90.96% 60.41% 73.62% 0% 67.15% Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 17 / 22
- 33. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2006 - 5 m Confronto di classificazione con e senza HOG per casi significativi Area urbana ad alta densit`a Area urbana a bassa densit`a Acc +10.87% +18.15% Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 17 / 22
- 34. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2006 - 5 m (a) Mappa con HOG (b) Mappa senza HOG Figura: Confronto su una porzione dell’area urbana di 250 ⇥ 250 pixel della mappa di classificazione con e senza estrazione di feature Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 17 / 22
- 35. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2012 - 2.5 m Mappa di classificazione con feaure HOG a 4 bin, celle 2 ⇥ 2 pixel, blocchi a 16 ⇥ 16 Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 18 / 22
- 36. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2012 - 2.5 m Accuratezze di classificazione sui campioni di test Edifici Strade Area vegetata Suolo nudo 52.78% 10.65% 26.48% 81.24% Terreno coltivabile Alberi Acqua 91.78% 68.30% 70.10% Per questo dataset nessuna classe ha registrato un calo o un aumento di accuratezza significativo nel confronto con e senza HOG Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 18 / 22
- 37. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2012 - 2.5 m (a) Mappa senza HOG (b) Mappa con HOG (c) Mappa con HOG e cartografia Figura: Confronto su una porzione della periferia di Amiens di 250 ⇥ 250 pixel della mappa di classificazione con e senza HOG e con l’aggiunta di una feature ulteriore estratta dalla cartografia a 2.5 m. Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 18 / 22
- 38. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2006 - 2.5 m Mappa di classificazione con feaure HOG a 4 bin, celle 2 ⇥ 2 pixel, blocchi a 16 ⇥ 16 Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 19 / 22
- 39. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2006 - 2.5 m Accuratezze di classificazione sui campioni di test Edifici Strade Area vegetata Suolo nudo 61.18% 65.77% 59.75% 89.32% Terreno coltivabile Alberi Acqua 87.30% 58.81% 72.14% Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 19 / 22
- 40. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Discussione dei risultati Amiens 2006 - 2.5 m Confronto di classificazione con e senza HOG per casi significativi Strade Suolo nudo Alberi Acc +22.10% 5.34% 13.47% Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 19 / 22
- 41. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Conclusioni Punti di forza Miglioramento di accuratezza per alcune classi caratterizzate da contorni ben marcati Algoritmo computazionalmente poco oneroso Punti di debolezza Peggioramento di accuratezza per alcune classi caratterizzate da texture omogenee o regioni non geometriche Necessit`a di una fase di ottimizzazione dei parametri dell’algoritmo HOG Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 20 / 22
- 42. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Conclusioni Sviluppi futuri Sperimentazione congiunta con altri estrattori di feature sensibili a informazioni non di contorno Sperimentazione con altri classificatori Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 20 / 22
- 43. Introduzione e obiettivi Approccio sviluppato Risultati sperimentali Conclusioni Bibliografia I Chang, C.-C., and Lin, C.-J. Working set selection using second order information for training svm. Journal of Machine Learning Research 6 (May 2005), 1889–1918. Dalal, N., and Triggs, B. Histograms of oriented gradientes for human detection. In Computer Vision and Pattern Recognition (June 2005), vol. 1, pp. 886–893. Moser, G. Analisi di immagini telerilevate per osservazione della terra. Ecig Universitas, 2007. Moser, G., Serpico, S., and Benediktsson, J. A. Land-cover mapping by markov modeling of spatial-contextual information in very-high-resolution remote sensing images. Proceedings of the IEEE 101, 3 (March 2013), 631–651. Vapnik, V. The Nature of Statistical Learning Theory, 2 ed. Springer-Verlag New York, 2000. Piccini, Rossi, Zuccarelli Estrazione di parametri tramite algoritmo HOG 21 / 22