Classification d'images en apprenant sur des échantillons positifs et non labélisés avec un réseau antagoniste génératif

Abstract

In this article, we suggest a novel approach for image classification task from a positive unlabeled datased. Its proper functioning is based on generative adversarial networks (GANs) abilities. These allow us to generate fake images whose distribution is close to the distribution of the negative samples included in the unlabelled dataset available, while remaining different from the distribution of positive samples that are not labeled. Then we train a CNN classifier with the positive samples and the fake samples generated, as it would have been done with a classical Positive Negative dataset. Tests performed on three different image classification datasets show that the system is stable in its behavior with a non negligible fraction of positive samples present in the unlabeled dataset. Although very different, this method outperforms the state of the art in PU learning on the RGB CIFAR-10 dataset.

-

1

Introduction

Les méthodes d’apprentissage utilisant des filtres à noyaux de convolution ont démontré de bonnes performances de prédiction dans le domaine du traitement d’image, et plus particulièrement pour la tâche de classification d’images. Pour réaliser de telles performances, de grands jeux de données entièrement labélisés sont requis. De nos jours, plusieurs jeux de données distincts peuvent être amenés à être fusionnés pour cette raison afin d’augmenter la capacité de généralisation d’un modèle d’apprentissage tel que cela est proposé dans YOLO9000 [ 18 ]. Par ailleurs, pour atténuer ce besoin de grands jeux de données labélisés, des méthodes d’apprentissage semi-supervisé existent [ 16 ]. Mais, si un objet n’appartenant à aucune classe labélisée du jeu de données d’entraînement doit être traité, il reste difficile de prédire le comportement du modèle entraîné à son égard. Néanmoins, une idée pouvant répondre à ce problème consiste à se focaliser principalement sur les données qui nous intéressent. Cela est le cas pour les méthodes de OneClass Classification (OCC) [ 8 ], détection de nouveauté [ 14 ] où il est utilisé uniquement des échantillons de la classe d’intérêt ; la classe positive. Cependant, à notre connaissance, les méthodes OCC ont une performance limitée lorsqu’elles sont appliquées à des tenseurs de données de grande dimensionalité tels que des images. De plus, il est souvent facile d’acquérir des échantillons non labélisés susceptibles de contenir des informations pertinentes à propos des contreexemples de la classe d’intérêt. De cette manière, nous abordons le problème d’apprentissage Positif Non labélisé (apprentissage PU). Il se trouve que les méthodes d’apprentissage Positif Non labélisé ont été appliquées récemment à des données de type images tel que la méthode Rank Pruning (RP) [ 13 ]. Cette méthode est la plus performante de l’état de l’art dans un contexte où l’on n’a pas de connaissances à priori sur les fractions d’échantillons bruités. Elle est cependant coûteuse en calculs car elle consiste à réaliser plusieurs entraînements consécutifs du même classifieur de manière à éliminer les échantillons les moins pertinents pendant la phase d’entraînement. De plus, selon [ 12 ], ces méthodes deviennent compétitives lorsque le nombre d’échantillons non labélisés dans le jeu de données d’entraînement augmente considérablement. Cela est un avantage lorsque l’on peut obtenir facilement des données non labélisées. Par ailleurs, les réseaux génératifs antagonistes (GANs) ont attiré notre attention en raison de leur capacité à générer de faux échantillons xF qui ont une distribution pG(xF ) qui tend vers la distribution pdata(xR) des échantillons réels xR utilisés pendant son entraînement. Le GAN originel [ 5 ] contient un modèle génératif G et un modèle discriminatif D. Ces deux modèles possèdent une structure de type perceptron multi-couche. Un vecteur de bruit z, composé de variables aléatoires continues, est placé en entrée de G. D est entraîné à distinguer les échantillons réels des faux échantillons générés par G, pendant que ce dernier est entraîné à produire des faux échantillons qui doivent sembler réels au possible. Cet entraînement adversaire consiste à utiliser la fonction d’évaluation minimax V (G; D) : min max V (G; D) = ExR pdata(xR)logD(xR) G D Lorsque D ne peut plus distinguer les vrais échantillons des faux, nous obtenons la propriété suivante, avec yD le scalaire de sortie prédit : pG(xF )

!1 pdata(xR): yD! 2 D’autres variantes du GAN sont apparues telles que le DCGAN [ 15 ], qui adapte sa structure au traitement d’images en intégrant des couches convolutives. Le Wasserstein GAN (WGAN) [ 1 ] utilise d’une part la distance Earth M over (EM ) dans sa fonction de coût, et d’autre part limite les valeurs des poids de son modèle à un certain intervalle, afin de rectifier le problème d’instabilité des précédentes versions du GAN.

En raison de leur capacité à apprendre des représentations pertinentes d’un point de vue sémantique et de leur efficacité déjà démontrée en apprentissage semi-supervisé [ 20 ], nous avons décidé d’exploiter d’une certaine manière leurs avantages pour une application d’apprentissage PU. Parallèlement à notre étude, l’approche [ 7 ] est apparue pour répondre à la même problématique en utilisant un modèle d’apprentissage de type GAN. [ 7 ] requière deux modèles génératifs et trois discriminateurs pour l’étape générative contre un générateur et un discriminateur pour notre approche. Cela devrait nous confèrer un temps de calcul moindre et un apprentissage mieux maîtrisé. Mais leur étude s’est arrêtée à la description fonctionnelle de leur modèle 1. Ici, l’approche proposée que l’on nomme Positive-GAN ("PGAN" par la 1. À noter qu’après la date de soumission de notre article à CNIAsuite) a été testée sur trois jeux de données différents et dont les résultats sont très prometteurs en termes robustesse et de performance de prédiction pour le traitement d’images complexes. Il surpasse l’état de l’art sur le jeu de données le plus difficile que nous avons testé.

Le document est organisé tel que ci-dessous. Dans la section suivante nous présentons la méthode. Les expérimentations et les résultats sont présentés dans la troisième section. Pour finir, une conclusion est faite sur notre approche et de futures directions de recherche sont suggérées. 2

Méthode d’apprentissage sée : Le Positive-GAN

Dans cette section, nous décrivons notre système d’apprentissage PU de manière générique et focalisons la description sur la méthode d’entraînement. Notre méthode d’apprentissage Positive-GAN (PGAN) consiste à substituer l’absence d’échantillons négatifs labélisés xN avec les faux échantillons xF générés par notre GAN, dont la distribution est proche au possible de celle des xN , tout en étant différente de celle des échantillons positifs xP . La figure 1 illustre le fonctionnement du système. propoFIGURE 1 – Système d’apprentissage PU proposé : PositiveGAN.

Lors de l’étape 1, le GAN est entraîné avec les échantillons non labélisés xU à partir du jeu de données d’entraînement RJCIA, une nouvelle version de la publication [ 7 ] est apparue, en version pre-print, où l’étude de leur méthode a été complétée : Leur nouvelle version datant du 4 avril 2018 inclue une partie théorique et quelques tests comparatifs sur les jeux de données USPS et MNIST auxquels il aurait été pertinent de se comparer, s’il n’y avait pas eu de conflits de dates. Leur nouvelle version nécessite la connaissance à priori de la fraction d’échantillons positifs inclus dans le jeu de données non labélisé pour fonctionner. Les tests ont été réalisés avec une faible proportion d’échantillons positifs labélisés, ce qui met en avant l’intérêt des méthodes génératives pour l’augmentation de dataset. Cependant, des détails sur l’intialisation des hyper-paramètres P , N et U auraient été appréciés, ainsi que la réalisation de tests sur des bases de données plus complexes telles que CIFAR-10 avec des structures de type réseaux convolutifs. En effet, bien que leur méthode semble fonctionnelle avec une structure de type peceptron multicouche, les étapes de convolution rendent plus difficile l’effondrement d’un générateur et donc la divergence de leur générateur GN pour l’apprentissage de la distribution des échantillons négatifs à partir d’échantillons non labélisés et d’échantillons positifs labélisés.

PU qui contient une fraction 2 (0; 1) d’échantillons positifs et une fraction 1 d’échantillons négatifs xN . Le système Positif-Non labélisé inclue trois modèles convolutifs avec différents rôles respectifs : — Le modèle discriminateur DU est entraîné à distinguer les vrais échantillons xU des faux non labélisés générés xF , avec yDU 2 (0; 1) sa valeur de sortie prédite. — Le modèle génératif G prend en entrée un vecteur de bruit z constitué de variables aléatoires continues, et fournit en sortie, dans le même format que xU , les faux échantillons xF = G(z). G est entraîné de manière antagoniste à DU afin de générer des faux échantillons tels que leur distribution p(xF ) tend vers p(xU ). — Lors de la deuxième étape, une fois que l’entraînement du GAN est considéré comme terminé, le classifieur binaire convolutif DB est entraîné à distinguer les échantillons réels positifs xP des faux échantillons xF .

Les explications présentées ci-dessous ont pour objectif de développer l’intuition derrière le système proposé. Nous rappelons que le jeu de données non labélisé est composé d’une fraction d’échantillons positifs xP et d’une fraction 1 d’échantillons négatifs xN . Ainsi, si le GAN est correctement entraîné sur les échantillons non labélisés xU , on peut en déduire que : p(xF )

!1 p(xU ) yDU ! 2 , p(xF )

p(xP ) + (1 !1 yDU ! 2 et l’on admet alors comme forte hypothèse pour la suite que p(xF ) = p(xF P ) + (1 ) p(xF N ), avec : ) p(xN ); 8 p(xF P ) < : p(xF N )

!1 p(xP ) yDU ! 2

!1 p(xN ): yDU ! 2 Lorsque yDU ! 12 , nous démarrons la deuxième étape du PGAN. Par ailleurs, un GAN n’est pas parfait dans son fonctionnement lorsqu’il se voit être appliqué à des tenseurs de grandes dimensions, ainsi : p(xF P ) 6= p(xP ), et p(xF N ) 6= p(xN ): (1) Il est donc alors possible d’estimer une distance d non nulle dans la fonction de coût du classifieur DB, tel que : d(p(xP ); p(xF )) , d(p(xP ); p(xF P )) d(p(xP ); p(xF N )): Mais, bien que calculée, la distance d(p(xP ); p(xF P )) n’est pas exploitée dans l’application finale où nous traitons uniquement des échantillons réels avec le classifieur DB. Ainsi, lorsque p(xF N ) !1 p(xN ) et que DB a été égaleyDU ! 2 ment correctement entraîné, nous obtenons l’équivalence : d(p(xP ); p(xF N )) , d(p(xP ); p(xN )): (2)

Nous sommes donc capable de calculer la distance qui nous intéresse. En transférant ce raisonnement dans notre méthode PU, cela revient à affirmer les équivalences suivantes à la sortie de la fonction de coût LDB du classifieur DB 1 : lorsque yDU ! 2

LDB = ExP p(xP )logDB(xP ) Les expériences ont été réalisées sur les trois jeux de données MNIST [ 10 ], Fashion-MNIST [ 21 ] et CIFAR-10 [ 9 ]. Nous avons comparé notre approche à RP [ 13 ], qui est à notre connaissance la meilleure méthode d’apprentissage bruité (noisy learning) et PU ne nécessitant pas de connaissances à priori de la fraction . De plus, l’implémentation de l’auteur est disponible 2. Nous indiquons aussi la performance du classifieur entraîné sur le jeu de données d’entraînement initial contenant des échantillons entièrement labélisés positifs et négatifs, et nous appelons évidemment cette méthode PN, que nous considérons comme la référence du cadre idéal. Nous comparons aussi le PGAN à un 2. https : ==github:com=cgnorthcutt=rankpruning entraînement que l’on nomme PU, qui est équivalent à PN, mais avec une substitution des échantillons négatifs par des échantillons non labélisés.

Pour ces expérimentations, les méthodes PN, PU, RP et PGAN sont testées avec exactement le même classifieur convolutif afin d’être impartial. Nous avons utilisé le modèle convolutif de classification d’imagettes proposé par tensorflow 3 pour rester générique. Il contient deux couches convolutives successives, respectivement suivies d’une étape de max-pooling, et se finit par deux couches entièrement connectées consécutives. La fonction d’activation en sortie de chaque couche est ReLU, mis à part pour la dernière où softmax est appliquée. Nous avons uniquement modifié la dimension de sortie de la dernière couche que l’on fait passer de 10 neurones à 2, afin d’être adapté à notre tâche de classification binaire. Le classifieur est entraîné sur 20 époques. Pour les images 32x32x3 de CIFAR-10, les largeurs et longueurs des tenseurs d’entrée et de sortie des deux couches convolutives sont adaptées, et la profondeur des filtres à noyaux de la première couche convolutive est établie à 3 afin de correspondre aux trois cannaux de ces images RVB. Mais le nombre de filtres et leurs largeur et longueur restent inchangés.

Pour l’étape générative du PGAN, nous avons associé la méthode d’entraînement du WGAN [ 1 ] à l’architecture du DCGAN [ 15 ] en raison de leurs performances. À noter qu’avec la distance EM , p(xF ) tend vers p(xU ) lorsque yDU tend vers 0. Bien que cela ne soit pas une nécessité, dans le cadre de ces expériences, le vecteur de bruit d’entrée z est constitué de variables aléatoires continues de distributions uniformes. La durée d’entraînement de notre modèle génératif dépend de la complexité du jeu de données à traiter : 10 époques pour MNIST, 20 pour Fashion-MNIST, et 100 pour CIFAR-10. Pour ce dernier, nous faisons les mêmes modifications dans la structure de DU et G, tel que cela a été expliqué précédemment pour le classifieur. Au sujet de la création de notre jeu de données d’entraînement, correspond à la fraction d’échantillons positifs du jeu de données initial qui contient nP échantillons positifs. Ces nP échantillons collectés sont ensuite introduits dans notre jeu de données non-labellisé Utrain, qui contient initiallement uniquement des échantillons négatifs N dont le nombre total est nN . est la fraction d’échantillons positifs P que l’on impose dans le jeu de données non labellisé d’entraînement Utrain. Pour se faire, nous retirons de Utrain un certain nombre d’échantillons négatifs que nous n’exploitons pas, de manière à respecter . Utrain contient alors à la fois des N et des P selon les paramètres et . Nous établissons qu’avec 2 (0; 1), 2 [ nN1 +1 ; 1) et nP nous pouvons alors obtenir consécutivement, avec Ptrain l’ensemble d’échantillons positifs d’entraînement, les deux jeux de données d’entraînement suivants :

Ptrain = f(1

) nP P ; 0 N g, 3. https : ==github:com=tensorf low=tensorf low=blob=master= tensorf low=examples=tutorials=mnist=mnist_sof tmax:py Utrain = f nP P ; où les notations a P et b N désignent respectivement a éléments positifs et b éléments négatifs.

Pour trouver les équations définissant Utrain selon les paramètres et , et l’intervalle des valeurs possibles pour , nous utilisons nU qui représente le nombre total d’échantillons non labélisés contenus dans l’ensemble Utrain, tel que :

Utrain = f =

nU P ; (1 f nP P ; (1 )nU N g ) nP N g, car nous imposons nP = nU .

Or, pour que cela soit réalisable, il faut que (1 ) nP soit inférieur ou égal à nN . Cela revient donc à dire que 2 [ nN1 +1 ; 1).

nP Les résultats présentés ci-dessous sont tous réalisés avec = 0:5 et pour plusieurs valeurs de . 3.2

Résultats (a) (b) (c) FIGURE 3 – Images générées par G avec = 0:5 et = 0:5 après 10 époques sur MNIST (a), 20 sur Fashion-MNIST (b), et 100 sur CIFAR-10 (c). Les classes positives respectives sont ici "5", "trouser" and "automobile". Dans la figure 3, nous présentons quelques fausses images générées par G, respectivement pour MNIST, FashionMNIST et CIFAR-10. Nous pouvons remarquer que les images générées par G semblent visuellement acceptables, ce qui indique d’un point de vue qualitatif le bon fonctionnement du modèle génératif. Afin d’obtenir un tel résultat, plus les images sont grandes et complexes, et plus il faut entraîner le GAN sur un grand nombre d’époques. Pour calculer le F1-Score, la fonction ArgMax est appliquée aux deux neurones de sortie du classifieur. Si l’indice du premier neurone est renvoyé par ArgMax, alors l’échantillon traité est classifié comme négatif. Sinon, il est considéré comme positif. De plus, étant donné que les jeux de données de test contiennent 9 fois plus d’échantillons négatifs que d’échantillons positifs, une fois toutes les prédictions de test réalisées, nous adaptons les proportions des échantillons négatifs à celle des positifs de manière à obtenir un F1-Score pertinent. Le tableau 1 montre une partie des F1-Scores comparatifs mesurés pour chaque classe pour chacun des trois jeux de données exploités, et respectivement pour chaque méthode testée. Sur Fig. 2, il peut être observé que la méthode PN est une bonne référence sur MNIST et Fashion-MNIST. Nous trouvons que l’efficacité de la méthode d’apprentissage PGAN est équivalente à celle de la méthode RP jusqu’à = 0:5 sur MNIST et = 0:3 sur Fashion-MNIST. Son efficacité décline ensuite un peu plus vite que pour RP, mais tout en conservant un score acceptable. Sur CIFAR-10 le F1-Score moyen est systématiquement meilleur pour notre méthode PGAN. Aussi, notre méthode présente de meilleurs résultats que la référence PN jusqu’à = 0:8, ce qui est très intéressant. Cela est probablement dû au fait que les échantillons générés représentent une plus grande variété de distributions d’échantillons négatifs que celles inclues dans le jeu de données initial. De plus, le F1-Score du PGAN est significativement et systématiquement meilleur que la méthode PU sur l’ensemble des trois jeux de données, même avec seulement 10% d’échantillons positifs parmis les échantillons non labélisés, autrement dit avec = 0:1.

La figure 4 présente l’étude de la robustesse de l’approche PGAN. Les figures 4.a et 4.b montrent que la méthode PGAN a comparativement à RP une meilleure stabilité dans son fonctionnement de manière à permettre de prédire plus facilement l’évolution de son F1-Score en fonction de pour chaque classe du jeu de données. La figure 4.c nous montre que le classifieur se stabilise et converge après 10 époques d’entraînement. Pour réaliser l’histogramme de la figure. 4.d, nous avons récupéré la valeur du deuxième neurone de sortie du classifieur qui correspond à la probabilité prédite pour une image d’appartenir à la classe positive. On peut observer que les distributions respectives des échantillons de test positifs et négatifs estimées par le PGAN sont de forme gaussienne, ce qui est une caractéristique intéressante pour des applications réelles.

TABLE 2 – Stabilité moyenne des performances (F1-Scores) des méthodes PGAN et RP en fonction de sur les jeux de données MNIST, Fashion-MNIST et CIFAR-10 jeux de données

MNIST Fashion-MNIST

CIFAR-10

PGAN En complément aux figures 4.a et 4.b, le tableau 2 présente la quantification des robustesses réalisée pour RP et PGAN en fonction de en ce qui concerne leurs performances de prédiction, pour chacun des trois jeux de données de test. Pour ce faire, nous avons lissé respectivement la courbe s( ) de chaque classe représentant l’évolution du F1-Score en fonction de . Les courbes lissées s~( ) ont été obtenues en appliquant un filtre moyen avec un noyau de taille 3. Ensuite, l’erreur quadratique moyenne M SE pour chaque classe est calculée entre s~( ) et s( ) tel que ci-dessous, avec k le nombre d’échantillons de s~( ) :

k M SE = 1 X (s~(i) k i=1 s(i+1))2: (3) Puis, nous calculons les erreurs moyennes EP GAN et ERP pour chaque jeu de données, ainsi que le ratio ERP : EP GAN . On peut de cette manière constater que notre méthode a systématiquement un comportement plus stable, qui est d’un facteur 4 sur MNIST et CIFAR-10. 4

Conclusion

Ainsi, nous avons démontré que l’approche d’apprentissage PU proposée surpasse l’état de l’art sur les images RVB complexes du jeu de données CIFAR-10, et a un comportement plus stable sur l’ensemble des jeux de données testés jusqu’à une fraction acceptable d’échantillons positifs dans le jeu de données non labélisé d’entraînement. Ces résultats sont en cohérence avec le raisonnement formulé et permettent ainsi d’envisager des applications PU sur des données de plus grandes dimensions. Le PGAN ne nécessite pas de connaissances à priori sur la fraction d’échantillons positifs non labélisés. Cependant, il reste à étudier plus en profondeur les risques de fonctionnement indiqués dans la section 1, afin de garantir un fonctionnement idéal pour cette approche.

L’optimisation du système peut se prolonger en testant d’autres récentes variantes du GAN tels que le BEGAN [3], le WGAN-GP [ 6 ], ou bien d’autres modèles génératifs de type auto-encodeurs variationnels (VAEs) par exemple, afin de généraliser l’approche proposée aux réseaux génératifs. Une autre idée peut être d’exploiter le vecteur latent z du GAN pour réaliser des opérations arithmétiques linéaires, tel que dans [4], afin de générer des faux échantillons dont on pourrait peut-être ainsi mieux gérer la distribution. Dans cette même idée, trouver un moyen d’exploiter les données positive labélisées pour la phase d’entraînement du générateur est envisagé. Étant données les performances prometteuses obtenues, une future orientation certaine est d’étendre cette méthode à l’analyse de plus grandes images et donc permettre la réalisation de tâches plus complexes telles que la détection d’objets [ 19 ], [ 11 ], [ 17 ] ou la segmentation sémantique [ 2 ]. Références

1.0 F1-Score sur mnist pour chaque classe en fonction du taux

1.0 F1-Score sur mnist pour chaque classe en fonction du taux

PGAN RP 1.0 Evolution en Accuracy sur mnist avec = 0.50 et = 0.50 (c) (d) FIGURE 4 – Analyse de la robustesse sur MNIST. évolution du F1-Score pour chaque classe en fonction de pour PGAN (a), et pour RP [ 13 ] (b). (c) montre l’évolution de l’Accuracy pendant l’entraînement du PGAN avec la classe positive "5" et = 0:5. (d) est l’histogramme des distributions des valeurs de sortie du deuxième neurone du classifieur à son 20ème époque d’entraînement de (c) pour les échantillons de test positifs (vert) et négatifs (bleu). [3] D. Berthelot, T. Schumm, and L. Metz. Began :

Boundary equilibrium generative adversarial networks.

arXiv preprint arXiv :1703.10717, 2017. [4] P. Bojanowski, A. Joulin, D. Lopez-Paz, and A. Szlam.

Optimizing the latent space of generative networks.

arXiv preprint arXiv :1707.05776, 2017.

References

[1] M. Arjovsky , S. Chintala , and L. Bottou . Wasserstein generative adversarial networks . In International Conference on Machine Learning , pages 214 - 223 , 2017 .

[2] V. Badrinarayanan , A. Kendall , and R. Cipolla . Segnet : A deep convolutional encoder-decoder architecture for image segmentation . IEEE transactions on pattern analysis and machine intelligence , 39 ( 12 ) : 2481 - 2495 , 2017 .

[5] I. Goodfellow , J. Pouget-Abadie , M. Mirza , B. Xu , D. Warde-Farley , S. Ozair , A. Courville , and Y. Bengio . Generative adversarial nets . In Advances in neural information processing systems , pages 2672 - 2680 , 2014 .

[6] I. Gulrajani , F. Ahmed , M. Arjovsky , V. Dumoulin , and A. C. Courville . Improved training of wasserstein gans . In Advances in Neural Information Processing Systems , pages 5769 - 5779 , 2017 .

[7] M. Hou , Q. Zhao , C. Li , and B. Chaib-draa. A generative adversarial framework for positive-unlabeled classification . arXiv preprint arXiv :1711.08054 , 2017 .

[8] S. S. Khan and M. G. Madden . One-class classification : taxonomy of study and review of techniques . The Knowledge Engineering Review , 29 ( 3 ) : 345 - 374 , 2014 .

[9] A. Krizhevsky and G. Hinton . Learning multiple layers of features from tiny images . 2009 .

[10] Y. LeCun , L. Bottou, Y. Bengio , and P. Haffner . Gradient-based learning applied to document recognition . Proceedings of the IEEE , 86 ( 11 ) : 2278 - 2324 , 1998 .

[11] W. Liu , D. Anguelov , D. Erhan , C. Szegedy , S. Reed , C.-Y. Fu, and A. C. Berg . SSD : Single shot multibox detector . In European Conference on Computer Vision , pages 21 - 37 . Springer, 2016 .

[12] G. Niu , M. C. du Plessis , T. Sakai, Y. Ma , and M. Sugiyama . Theoretical comparisons of positiveunlabeled learning against positive-negative learning . In Advances in Neural Information Processing Systems , pages 1199 - 1207 , 2016 .

[13] C. G. Northcutt , T. Wu , and I. L. Chuang . Learning with confident examples : Rank pruning for robust classification with noisy labels . In Proceedings of the Thirty-Third Conference on Uncertainty in Artificial Intelligence , UAI' 17 . AUAI Press, 2017 .

[14] M. A. Pimentel , D. A. Clifton , L. Clifton , and L. Tarassenko . A review of novelty detection . Signal Processing , 99 : 215 - 249 , 2014 .

[15] A. Radford , L. Metz , and S. Chintala . Unsupervised representation learning with deep convolutional generative adversarial networks . arXiv preprint arXiv :1511.06434 , 2015 .

[16] A. Rasmus , M. Berglund , M. Honkala , H. Valpola , and T. Raiko . Semi-supervised learning with ladder networks . In Advances in Neural Information Processing Systems , pages 3546 - 3554 , 2015 .

[17] J. Redmon , S. Divvala , R. Girshick , and A. Farhadi . You only look once : Unified, real-time object detection . In Proceedings of the IEEE conference on computer vision and pattern recognition , pages 779 - 788 , 2016 .

[18] J. Redmon and A. Farhadi . YOLO9000 : Better, Faster, Stronger. arXiv preprint arXiv :1612.08242 , 2016 .

[19] S. Ren , K. He , R. Girshick , and J. Sun. Faster RCNN : Towards real-time object detection with region proposal networks . In Advances in neural information processing systems , pages 91 - 99 , 2015 .

[20] T. Salimans , I. Goodfellow, W. Zaremba , V. Cheung , A. Radford , and X. Chen . Improved techniques for training gans . In Advances in Neural Information Processing Systems , pages 2234 - 2242 , 2016 .

[21] H. Xiao , K. Rasul , and R. Vollgraf . Fashion-mnist : a novel image dataset for benchmarking machine learning algorithms , 2017 .