Archives pour l'étiquette Street View

Créez un StreetView alternatif simplement avec votre smartphone et Mapillary !

J’ai parlé à plusieurs reprises de systèmes de prises de vues immersives (Google Street View, earthmine) ou de plateformes pour les consulter (Google StreetView, Mappy, mode chaussée chez Here, etc.) . Ces solutions sont très souvent commerciales et les données ne sont pas libres. En outre, certaines zones du monde ne sont pas couvertes par ces services.

L’idée, à l’instar d’OpenStreetMap, c’est de concevoir un StreetView libre. Quelques tentatives ont été menées, comme OpenStreetView (devenu OpenPathView) mais elles sont restées assez infructueuses.
La problématique venait aussi du matériel : difficile de réaliser des panoramas 360° géoréférencés et correctement orientés à la chaine. Quelques prototypes ont été produits, mais sans être largement diffusés pour du crowdsourcing en raison du coût.

Deux problématiques donc :

  • la plateforme, qui doit être capable de stocker un grand nombre de données, les gérer, les assembler, etc.
  • le matériel, qui doit permettre de prendre instantanément un panorama de 360° par 180° en haute résolution, avec des données de géoréférencement (capteur GNSS) et d’orientation (boussole).

Le matériel

Aujourd’hui, beaucoup de monde dispose d’un appareil photo numérique, qu’il soit une simple DSLR, un reflex, un capteur photo embarqué dans un smartphone, une caméra, etc.
Demain, c’est un nouveau type de caméra qui viendra côtoyer les fameuses caméras d’action. Il s’agit des caméras à plusieurs optiques, permettant de réaliser des photos sphériques (panoramas complets) ou des vidéos à 360*180°
Certaines sont déjà commercialisées :
– la caméra Ricoh Theta M15
– la caméra Kodak sp360

d’autres sont en passe de l’être :
– la Giroptic 360cam
– la Bublcam
– quelque chose en préparation chez GoPro depuis le rachat du français Kolor, spécialiste des assemblages de panoramas … ?

La 360cam de Giroptic
La 360cam de Giroptic

La plus prometteuse pour l’instant reste la caméra française, la 360cam de Giroptic (racheté par la marque Géonaute de Décathlon ?) puisqu’elle intègrera une connexion wifi,  un capteur GNSS (GPS) et un gyroscope. Le tout pour moins de 500€, ce qui reste abordable pour un particulier passionné ou une association voulant promouvoir les données libres par exemple. Embarquée sur un marcheur, sur le casque d’un cycliste ou le toit de votre voiture, elle permet de disposer d’un équivalent low-cost aux systèmes professionnels de mobile mapping.
L’export dans Youtube 360 ou Google StreetView sera immédiat.

Il n’en reste pas moins que produire des données en masse c’est bien beau, mais il faut les trier, les stocker et les rendre accessibles. C’est là que Mapillary vient à notre aide.

La plateforme Mapillary

Mapillary est un service de stockage, de traitement automatique et de diffusion des images géolocalisées créé par une startup du même nom à Malmö en Suède en 2014. Cette startup est notamment financée par le groupe Sequoia, avec un apport de fonds de 1,5 million de dollars en janvier 2015.
Comme il s’agit de crowdsourcing, les données brutes sont sous licence Creative Commons. Le projet est intimement lié à OpenStreetMap.
La startup entend fonctionner en commercialisant l’usage commercial des données traitées.

Acquisition des données

Afin d’être rapidement alimentée en données, une application gratuite a été portée pour les OS de smartphones/tablettes sur les plus grands marketplaces : sur l’App Store pour iOS, sur Google Play, sur Amazon Apps et Windows Store.
En effet, en attendant l’avènement des caméras sphériques, les photos de  simples smartphones sont déjà intéressantes. Elles sont acquises via l’application Mapillary manuellement ou automatiquement (pour une acquisition à vélo ou en voiture) avec les informations de localisation et d’orientation.

J’ai réalisé le test en voiture, en plaçant le smartphone derrière mon pare-brise . Il est assez difficile de produire des images de qualité :
– présence d’éléments du tableau de bord dans le champ
– présence de reflets
– images floues en raison de vibrations sur routes dégradées
– contrejours mal gérés

Mapillary
Ma première séquence sur Brive, avec un mauvais cadrage, la ventouse du support et des reflets dans le pare-brise

Envoi et traitement

Depuis l’application, l’envoi vers les serveurs se fait automatiquement dès qu’une connexion wifi est disponible.
Si l’acquisition des images est effectuée depuis un appareil photo ou autre caméra (comme la caméra Ricoh Theta M15) l’envoi des données se fait sur le site web de Mapillary.

Mapillary s’appuie sur les données d’OpenStreetMap. En retour, elle met ses services à disposition pour par exemple, mettre facilement à jour la signalisation routière dans JOSM.

À réception des données, un floutage des visages et plaques d’immatriculation est automatiquement effectué. Il y a également une reconnaissance automatique des panneaux de signalisation basiques. Il est possible de revenir dessus en floutant d’autres éléments ou en enlevant le flou sur des éléments mal reconnus, ou en corrigeant les éléments erronés.

La seconde étape du traitement est intéressante et pleine de promesses.

En premier lieu, lorsque les images sont de bonne qualité, on remarque un effet de fondu-enchainé lorsque l’on passe d’une image à une autre. Les détails homologues entre images sont appairés pour générer cet effet de fondu.

En second lieu, au fur et à mesure des passages par les contributeurs, notamment dans les zones très fréquentées, les images s’accumulent. Sur les zones où les images sont surabondantes, il devient possible d’effectuer un traitement photogrammétrique. Résultat : on peut commencer à modéliser les rues en 3D ! C’est le projet qui est en cours de développement.

A short view of the new edit capabilities in Mapillary from Mapillary on Vimeo.

Rendu

Voici le rendu de mon premier test sur la plateforme.

Limites

Pour l’instant, il faut bien avouer que ce système ne remplacera pas le fameux Google SteetView pour le grand public, sans commune mesure en termes de qualité et de couverture. Mais à l’instar d’OpenStreetMap dans certains pays, Mapillary pourrait offrir une couverture là où Google est absent, notamment en raison de la législation ou des problèmes politiques.

N’oublions pas que Google StreetView est toujours interdit en Allemagne, ou que des autorisations ou déclarations sont nécessaires dans certains pays …

Carto 3D : zoom sur la start-up Earthmine

Présentation

Basée dans la Silicon Valley, à Berkeley, en Californie, la société Earthmine a été fondée en 2006 par John Ristevski et Anthony Fassero. Elle a pour ambition, à l’instar de Google Street View, de faire des relevés de corps de rues, d’indexer la réalité si on traduit littéralement son slogan. J’avais présenté comment étaient réalisées les prises de vues de Google dans cet article. Nous allons voir que la technologie utilisée par Earthmine permet d’en faire plus en comparaison de Street View, ce dernier permettant seulement de visualiser des vues immersives. Attention cependant, Earthmine se contente de vendre une technologie clefs en main et non pas de sillonner les rues pour son compte comme le fait Google.

earthminelogo

Technologie de collecte des données

Earthmine utilise une technologie assez différente de celle du Google Street View. Cette technologie a été développée par un laboratoire de la NASA (le Jet Propulsion Laboratory) et se nomme MARS. On devine bien pourquoi ce système a été développé ! La technologie a donc été rachetée et adaptée par Earthmine pour l’utilisation en milieu urbain.

Le principe de collecte des données est la photogrammétrie terrestre. Nous avons déjà évoqué le principe de la photogrammétrie pour des prises de vues aériennes. Ici, la prise de vues se fait depuis la terre ferme (en voiture, en tricycle, sur un train, etc.) Rappelons simplement que la photogrammétrie implique une prise de vues stéréoscopique, c’est à dire de prendre une photo d’un lieu depuis deux angles différents. (On peut ajouter un angle de vue supplémentaire pour faire de la tri-stéréoscopie.)

earthmine_Mars_web

Le système est composé :

  • de 4 caméras grand angle en haut du mât (8 mégapixels chacune)
  • de 4 caméras grand angle en bas du mât (8 mégapixels chacune)
  • d’une antenne et d’un récepteur GNSS (GPS + Glonass pour assurer une précision centimétrique dans les corridors urbains)
  • d’une centrale inertielle

mars3(1)

Un moteur permet de plier le mât, c’est utile pour passer sous un pont trop bas … Dans le véhicule, un ordinateur muni du logiciel « earthmine Capture Control » épaulé d’une armée de disques durs permet le pilotage du système et la sauvegarde.

Au final, ce sont deux images couvrant chacune un tour d’horizon complet (360°) qui sont acquises à chaque prise de vue. L’image résultante couvre tout l’environnement (360°x180°) et a une définition de 32 mégapixels. La qualité des images (résolution, colorimétrie, distorsion …) est sans comparaison avec les images de Google. Mais la technologie Earthmine est plus récente.

Et la grande valeur ajoutée, c’est le traitement photogrammétrique (automatisé) qui permet d’obtenir un nuage de points 3D sur une partie un peu plus réduite que la photo (360°x165°). 8 millions de points sont calculés par image et 24 millions par seconde d’acquisition. Et ce, sans scanner laser 3D (aussi connu sous le nom de lidar). D’ailleurs, cette technologie permet de créer des nuages de points beaucoup pus denses qu’avec un scanner laser, surtout à grande vitesse.

À chaque acquisition, le système enregistre la position du mât via le récepteur GNSS et son attitude via la centrale inertielle (inclinaison du mât selon les trois angles de tangage, de roulis et de lacet.) Ainsi, à chaque pixel de la photo est associé un point 3D qui lui même possède des coordonnées (avec une certaine précision, nous y reviendrons.) Nous allons voir quelles applications sont possibles.

Technologie de traitement des données / Applications

La technologie Earthmine est utilisée un peu partout dans le monde. Earthmine a développé des outils logiciels qui permettent d’exploiter le nuage de points construit au fur et à mesure de la collecte de données.

  • Un premier logiciel (Earthmine Viewer) permet de se promener dans les rues au travers des vues immersives, comme on le ferait dans Google Street View. Il permet de prendre des mesures sur la photo : hauteur d’un lampadaire, surface d’un panneau, largeur de la chaussée, etc.
  • Un applicatif pour ArcGIS a été développé en collaboration avec ESRI. L’utilisateur se promène dans les vues immersives acquises et peut cliquer sur les objets qu’il souhaite répertorier. Ces objets sont tout de suite visibles sur la partie cartographique ou dans une table. La ville de Greater Geelong, en Australie, a choisi cette méthode pour répertorier tous les arbres et toute la signalisation routière dans son SIG. À San Diego en Californie, le système est utilisé pour inspecter l’état des chaussées, localiser les endroits dégradés, tracer les zones à réparer et donc calculer la surface totale à rénover. Ceci permet d’estimer la durée et le coût des travaux.
  • Un applicatif pour AutoCAD Map 3D a été développé (puis approuvé par Autodesk) et permet de la même façon de tracer directement sur la vue immersive. Le dessin se construit en même temps dans l’espace objet d’AutoCAD. Ainsi, il est possible de réaliser tout le levé topographique d’un corps de rue bien au chaud (ou au frais en été) dans sa voiture puis au bureau. Bouches à clé, bordures de trottoirs, avaloirs, regards, plaques d’égoût, marquage au sol, signalisation, facades de bâtiments … Autant d’éléments rapidement traçables et immédiatement géoréférencés. La rapidité d’intervention sur le terrain est sans comparaison avec celle d’un levé topographique classique.


Certes, la précision n’est pas celle d’un véritable levé topographique mais la qualité du nuage de points annoncée dans les videos de démonstration est de 3 à 4 cm. On peut lire sur différents sites web que la précision est d’environ 10 cm. C’est plus que suffisant pour une application SIG. Un inconvénient subiste : c’est celui des masques. Si une voiture est garée devant un avaloir ou sur une plaque d’égout, il est impossible d’être exhaustif dans le levé.

Une évolution majeure serait la reconnaissance et l’extraction automatique des objets (bordures de trottoirs, marquage au sol, etc.) Certains concurrents proposent déjà cette fonctionnalité (par exemple Trimble pour son système MX).

En France, le groupe PagesJaunes a utilisé la technologie Earthmine pour intégrer dans Mappy sa propre solution de vues immersives. Cette solution s’appelle UrbanDive. Elle vient directement concurrencer ce fameux Google Street View sur le territoire français (dans quelques villes pour l’instant.) Le nuage de points 3D est sous utilisé, mais il permet par exemple de placer des repères aux pas de portes de bâtiments pour indiquer les commerces, les administrations, etc. C’est à ce jour et à ma connaissance la seule entreprise française qui utilise la technologie proposée par Earthmine.

Reportage sur UrbanDive à Tours from UrbanDive on Vimeo.

Retrouvez toutes les videos de démonstration de ces applicatifs sur cette page, c’est impressionnant.

Autres applications

Inventaire du mobilier urbain, sécurité publique (vérification des gabarits routiers pour les véhicules d’urgence) gestion des espaces publicitaires (vérification des surfaces d’affichage pour contrôle fiscal) architecture, ingénierie, surveillance d’un réseau ferré … Mais aussi de la création de décors pour les jeux videos, de la réalité augmentée (exposition Monumenta à Paris), etc.

Services annexes

Earthmine propose également :

  • une solution de stockage en ligne des données (earthmine Cloud, via les webservices d’Amazon) C’est un point important : la quantité de données est très importante et doit être disponible immédiatement en cas d’utilisation par des tiers,
  • des SDK en Flash ou pour iOS (un exemple d’application ici)

L’utilisation de la technologie Earthmine se fait soit par l’achat du matériel, soit en louant leurs services.

Concurrents

Le coût de cette technologie n’est pas public. Mais il serait très intéressant de le comparer avec le prix de la solution proposée par Trimble : le modèle MX8 (technologie scanner laser, plus précis.) La suite logicielle nécessaire au traitement est un point crucial, d’autant que c’est cette partie du travail qui est la plus conséquente.

Un futur qui se construira avec Nokia

Earthmine a été rachetée fin novembre 2012 par le géant finlandais des télécoms. Nokia a déjà une belle solution cartographique avec Nokia Maps (anciennement Ovi) mais on se doute bien de ses intentions avec ce rachat.

Pour en savoir plus, visitez le site d’Earthmine.

Google nous prépare la 3D dans Google Maps …

Que nous réserve Google pour le 6 juin ?
« The next dimension of Google Maps » Pour l’instant, on est en 2D. (Une vue polaire dans Street View : angles vertical et horizontal.)
La « prochaine dimension » serait la 3D donc ? J’ai ma petite idée là-dessus …

Depuis plusieurs années déjà, les Google Car sillonnent les rues et routes d’un grand nombre de pays.
Pour l’instant, ce que l’on peut voir sur Street View sont de simples photos panoramiques géoréférencées. Mais cette photo du mat d’une Google Car me dit que d’autres données ont été acquises …

Vue détaillée d'un mat de Google Car
Vue détaillée d'un mat de Google Car (photo : ekstreme.com)

Ces voitures enregistrent donc au moins 3 données :

  • des images panoramiques (8 caméras grand angle sur le mat)
  • les coordonnées de chaque prise de vue (au moins métriques, à l’aide d’une antenne GPS bi-fréquence vraissemblablement, positionnée sur le toit de la voiture)
  • un nuage de points 3D (à l’aide de deux scanners-laser 3D accrochés de part et d’autre du mat de la voiture)

On peut soupçonner la présence d’une centrale inertielle dans le mat, afin de disposer de son attitude et de recaler à la fois les images et le nuage de points 3D à l’horizontale. On sait aussi que des données WiFi étaient enregistrées. Lorsque la voiture passait dans une rue, elle captait les routeurs WiFi. Comme la voiture embarque un GPS, elle pouvait associer une localisation à chaque routeur. Ainsi, lorsqu’un utilisateur de smartphone ne capte pas de signaux GPS mais des signaux WiFi, il peut quand même se géolocaliser. Cette technique fait aussi appel à la localisation des antennes relais captées par le téléphone. Outre Google, SkyHook-wireless travaille dans ce domaine. Désormais, ce ne sont plus les voitures qui enregistrent les points WiFi mais directement vos smartphones. 

Mais au fait, c’est quoi ces scanners-laser 3D ?

Pour faire simple, il s’agit d’appareils qui émettent un rayon laser (vert ou infrarouge) et qui mesurent la durée aller-retour de l’implusion laser. On peut donc en déduire la distance du point d’impact du laser (la façade d’une maison par exemple) depuis le mat.

Cette opération de mesure de distance est faite des centaines, voire des milliers de fois par seconde. Un petit miroir dans l’appareil, actionné par un moteur, réfléchit le rayon laser avant qu’il ne soit émis. On créé alors un balayage du laser, de haut en bas. On réalise donc un profil vertical. La voiture avance, donc on modélise une surface en 3D. On rappelle qu’un scanner se trouve de chaque côté de la voiture. Les relevés se font des côtés gauche et droit de la voiture, ce qui permet de lever tout le corps de rue.

Principe de fonctionnement du LMS500 de chez Sick (video YouTube.)

On dispose maintenant de notre nuage de points en 3D.

Source : Christian Früh

Comme dans un jeu-video, il faut  habiller cette surface 3D. Et pour cela, on va utiliser les photos réalisées et les « plaquer » sur le nuage de points :

Source : Christian Früh

Allons plus loin …

Imaginons maintenant que le même principe soit mis en place sur un avion …

L’avion prend des photos et créé un modèle 3D du sol avec un laser (lidar) ou par photogrammétrie. Tous les ingrédients sont réunis pour faire une maquette 3D. En combinant les données créées au sol plus celles créées en vol, on est capable de composer ceci :

Maquette 3D. Source : Christian Früh

Voilà à peu près ce que Google devrait nous présenter le 6 juin. Du moins j’en fais le pari 😉 On notera que ceci existe déjà peu ou prou dans Google Earth pour le relief et les bâtiments qui ont été dessinés manuellement.

Sources :

http://www.sick.com/group/EN/home/products/product_news/laser_measurement_systems/Pages/lms5xx_laser_measurement_sensors.aspx
http://www.ubergizmo.com/2012/06/google-to-hold-google-maps-event-this-coming-june-6/
http://ekstreme.com/thingsofsorts/fun-web/chatting-with-a-google-street-view-driver
http://www-video.eecs.berkeley.edu/~frueh/3d/