Comprendre la segmentation d'image : sémantique vs d'instance vs panoptique
Plongez dans les trois paradigmes majeurs de la segmentation d'image et découvrez comment chaque approche alimente les applications modernes de vision par ordinateur, de la conduite autonome à la suppression d'arrière-plan par IA.
La segmentation d'image est l'une des tâches les plus fondamentales de la vision par ordinateur, pourtant elle reste largement mal comprise en dehors des cercles académiques. Si vous avez déjà utilisé un outil comme notre suppresseur d'arrière-plan ou essayé d'isoler un objet spécifique dans une photo, vous avez bénéficié de la technologie de segmentation. Mais toutes les segmentations ne sont pas créées égales. Il existe trois paradigmes majeurs : la segmentation sémantique, d'instance et panoptique. Chacune sert un objectif différent et comporte ses propres compromis.
Qu'est-ce que la segmentation d'image ?
À la base, la segmentation d'image signifie partitionner une image numérique en plusieurs segments ou régions. Contrairement à la classification d'image qui étiquette une image entière, ou à la détection d'objets qui dessine des boîtes autour des objets, la segmentation travaille au niveau du pixel. Chaque pixel de l'image est attribué à une catégorie. Cette précision au niveau du pixel est ce qui rend des outils comme le remplacement d'arrière-plan et le flou d'arrière-plan si efficaces.
| Tâche | Sortie | Précision | Cas d'utilisation |
|---|---|---|---|
| Classification | Étiquette unique | Niveau image | Modération de contenu |
| Détection d'objets | Boîtes englobantes | Niveau région | Voitures autonomes |
| Segmentation sémantique | Étiquettes par pixel | Niveau pixel | Imagerie médicale |
| Segmentation d'instance | Masques par objet | Niveau pixel | Photos e-commerce |
| Segmentation panoptique | Étiquettes unifiées | Niveau pixel | Robotique |
Comment ça fonctionne
La segmentation sémantique moderne repose sur des réseaux entièrement convolutifs (FCN) et des architectures encodeur-décodeur comme U-Net. L'encodeur réduit progressivement les informations spatiales, tandis que le décodeur récupère les détails fins. Les connexions sautées permettent au décodeur d'accéder aux caractéristiques haute résolution de l'encodeur, produisant des cartes de segmentation détaillées.
Segmentation d'instance ajoute une étape de détection d'objets au-dessus de la segmentation. D'abord, l'image est analysée pour les boîtes englobantes candidates, puis chaque boîte est segmentée individuellement. Cette approche, appelée « detect-then-segment », est utilisée par Mask R-CNN et ses successeurs.
Segmentation panoptique unifie les deux tâches en produisant une carte de sortie unique où chaque pixel se voit attribuer à la fois une identité sémantique (voiture, personne, route) et une identité d'instance (voiture 1, voiture 2, personne 1). Cette unification est essentielle pour des applications comme la conduite autonome où un véhicule doit comprendre à la fois ce qui est dans la scène et où chaque objet commence et se termine.
Applications de la segmentation
- Suppression d'arrière-plan : la segmentation d'instance alimente des outils comme QuickBG
- Imagerie médicale : la segmentation sémantique identifie les tumeurs, les organes et les tissus
- Conduite autonome : la segmentation panoptique fournit une compréhension complète de la scène
- E-commerce : la segmentation d'instance crée des détourages de produits propres
Chez QuickBG, nous utilisons une variante spécialisée de la segmentation d'instance spécifiquement optimisée pour le matting d'images haute résolution. Notre suppresseur d'arrière-plan atteint une précision de détection des bords de 99,2 % grâce à des techniques avancées de segmentation et au modèle BiRefNet.