SystemX Blog

Mois : mai 2019

  • A glimpse of Smart City

    A glimpse of Smart City

    By 2050, 70% of the world population is likely to live in cities. Albeit, the footprint of cities only represents a few percentage of Earth surface area, but is a major contributor to pollution. Therefore, a legitimate quest is launched for optimizing resources and organization for the sake of the well-being of inhabitants. Hence, a concept of smart city aroused few decades ago and, by the same token, a technology fantasy that would revolutionize urban way of life inherited from thousand years of collective history. Is this reality? Lyon and Singapore will be providing a realistic glimpse of smart city in the course of this article.

    City. Today, understood as an important town [1], originally coming from the French word, Cité, itself rooted in civitas, the latin description of a city-state [2]: a community of free citizens. Between Latin and English, the meaning has switched from the inhabitants to the place, and by the same token so does the understanding of city evolves over times and space. History is made. What about the future?

    Smart city. A label encompassing a future vision of an improved city. It originates from a private-business led trend in the late 20th century, promoting the use of technology to improve urban life, and in the meantime creating a new commercial market. Marketing wise, “Smart” offers a wider shade of inspiration than its French counterpart “intelligent”. So much wider, that different points of views are controversial and therefore the notion itself of a smart city shall always be defined before arguing about it. It seems that “natural” intelligence has regained strength over the initial approach purely based on “artificial” intelligence, for the sake of the collective interest.

    As a basic, a common understanding of the smart city concept would be the sustainability of the urban area, using collective intelligence with Digital technology as key enabler [3]. Either way, the topics covers larger areas of sciences (legal, social, computer science, biology, geography…), and a wide variety of applications (policy, infrastructure, health, education, mobility, energy, housing…). Let’s get a humble slice of it, looking at two footprints of the IRT SystemX in Lyon and Singapore.

    So far away, yet so close? Both cities attend the Smart City Expo World Congress held annually in Barcelona [4]. A show where primarily territories compete for exposure hoping in return to get favor of investors, and possibly new citizens: in 2018, Singapore won the city award. Yes, smart city is also a business, at least in the “western” world.

    Lyon: French pioneer of smart cities

    SystemX had the opportunity to join the Lyon Metropole booth during 2017 and 2018 edition with different communication aspiration. Interestingly, SystemX was a contributor to both of them.

    Co-construction. In the 2017 edition, SystemX featured its smart territory activities (an extended concept of the smart city) lying in mobility, energy and blockchain [5], while Lyon metropole smart-city communication strategy stressed on the “CO”, meaning collective, collaborative, partnership based, contributive, open, public-private-people etc. To this end, the booth highlighted 2 key components: Experimentation– Lyon urban area as a playground for experimentation and an Innovation Ecosystem, including dynamic companies, research institutes, collaborative places, fablabs… and last but not least citizens, as the core stakeholder.

    Truly so, the greater area of Lyon fosters distinctive smart city accelerators ranging from academics (i.e. labex), to start-ups (i.e. tuba) and industrials (i.e. Cara European cluster). In that respect, SystemX provided a true leverage for this dynamic ecosystem with its ability to build collaborative projects fostering innovation based on real use case scenario. As an example, the project definition of LCE (Lyon Covoiturage et Expérimentations) kicked off the same year, integrated Lyon’s will to include different partners to boost and test carsharing solutions over his territory [6].

    Digital security. In 2018, Lyon metropole message focused on driving health and wellbeing for all citizens. Alongside air quality, care and access, the booth underlined cybersecurity as a key concern for the smart city resilience and therefore citizen protection. Again, SystemX was well suited to share its digital security research domain and field of investigation.

    It is worth mentioning that the metropole of Lyon operates several urban systems (water distribution, waste management, traffic regulation…) critical for everyday urban life. Although these systems are not always visible to citizens, they are getting more and more connected, and therefore vulnerable to cyber-attacks. The connectivity is a real added value to smart city implementation as it fosters data cross fertilization. The metropole of Lyon implemented a proactive data strategy : providing a single publicly run data platform that provides access to over 1000 sets of qualified and reliable data, from local public and private partners. Different licenses were designed to regulate the reuse of strategic data and build a trustful environment. For the last 2 years a specific focus was made on personal data management to ensure privacy and citizens’ empowerment on data. As another example of SystemX contribution to this goal, the BWM (Blockchain Wallet de la Mobilité) project is an innovative step forward powered by blockchain to the current deployment of a citypass giving access to public and private services to Lyon inhabitants.

    Singapore: The 1st Smart Nation in the world?

    In Singapore, the concept of Smart City has been extended from 2014 to the Smart Nation one. Yet in 2014, the Prime Minister launched the Smart Nation initiative, with a view to:

    • Making Citizens’ life better
    • Creating opportunities for Businesses
    • Building a better home and community (see picture below)

    This tremendous initiative is headed at the highest level of the government, and financially supported by a significant budget. If we only consider the scope of Research and Innovation, where stands SystemX, 19BSG$, that represent more than 12 Mds€, are dedicated to the digital transformation of the country in a 5 years plan. This has to be compared to the Horizon 2020’ 5 years budget of 80 Mds€ for the whole of European Union.

    This transformation is focusing both on the public and private sectors, with all governmental bodies involved in order to financially contribute and set the pace for all key involved players coming from business, research, innovation, and public bodies.

    If you go one step deeper into the objectives, you will find the same topics as in most other big cities.

    Mobility, energy, security, health, sustainability, housing, education, infrastructures, are priorities, in no order of preference.

    Part of this massive transformation is Mobility, supported by the Smart Mobility 2030 Strategic Plan [7]. This is where SystemX came into play in Singapore, starting in 2018. SystemX came to Singapore in order to join the 1stworldwide project to build a center of excellence for the certification of the autonomous vehicles (AVs), namely the CETRAN (Centre of Excellence for Testing & Research of AVs – NTU) project. This is a flagship project for Singapore, willing to set worldwide standards for the development of AVs in megacities. In cooperation with its main partner, the Nanyang Technological University (NTU), SystemX is bringing its expertise on simulation and modelling in AVs to Singapore, together with French key partners, Renault, SNCF, Systra, and AV Simulation [8]. For SystemX, it is a highly competitive challenge, and also a way to cooperate with some of the best players in the world, be it from academia or industry. It opens new doors of development for the IRT and its human resources.

    In addition, SystemX develops contacts in other industry sectors within this Smart Nation, including energy, logistics, or cybersecurity. French companies are also part of this momentum. To name a few, Airbus, Thalès, ENGIE, EDF, PSA, Bolloré, Blue Solutions, Systra, Alstom, Safran, SopraSteria and many others use Singapore as an R&D platform to build the future of their business in Asia.

    As artificial intelligence is becoming a more and more key enabler, SystemX is also looking at partnering with academia on this unlimited chapter. NTU, NUS, A*STAR, or SUTD, are among the world best ranked academic players to do so. This is also a way for SystemX PhD students to spend time abroad in competitive research teams and bring back new expertise to France.

    To sum up, Singapore appears like a living lab where the world is coming to explore, innovate, and test technological solutions that will later on benefit to other countries. It is clearly the place to be for an Institute like SystemX and we see no limit to this cooperation.

    ———————————————————————————————————————————————————————————–

    If one tries to compare two cities like Lyon and Singapore, one may realize that key topics are very similar (mobility, energy, security…). However, the approach used to tacklethese issues might be different.

    Lyon and its surrounding suburbs was the first area to be granted the full status of French metropole in 2014. It acquired the largest set of competences a French public organization can get, after the state. As a city-state, Singapore gathers even more prerogatives, and hence long tem responsibilities.

    One example is water. Singapore has been dependent from Malaysia since before the creation of the country (1965), with 2 long term agreements signed in 1961 and 1962 to supply Singapore with water. One of these agreements ended in 2011, and Singapore managed not to renew it by putting in place the NEWater programme, focusing on recycling and desalination of water. This is a key milestone in Singapore independence and sustainability.

    The metropole of Lyon doesn’t need to bother much with foreign neighbour. However, it dedicates a lot of attention to protecting its citizens, and settles himself as a leader in strengthening people’s data , against the private digital champions. A pre occupation widely spread in Europe.

    In the end, megacities share a lot of concerns in order to improve their citizen’s lives. They address these issues according to their own culture, priorities, and skills. Comparing their strategies, methods and have them cooperate will allow fastest and innovative ways to progress. This is why SystemX is present in Singapore and Lyon: think out of the box and be humble and curious about what other players develop elsewhere.

     

    References:

    [1] https://www.lta.gov.sg/content/dam/ltaweb/corp/RoadsMotoring/files/SmartMobility2030.pdf

    [2] http://erian.ntu.edu.sg/Programmes/IRP/FMSs/Pages/Centre-of-Excellence-for-Testing-Research-of-AVs-NTU-CETRAN.aspx

    [3] https://www.cerema.fr/fr/actualites/qu-est-ce-qu-smart-city

    [4] http://www.smartcityexpo.com/en/home

    [5] https://www.irt-systemx.fr/en/feedback-on-smart-city-expo-world-congress/

    [6] http://assisescovoiturage.com/

    [7] https://www.lta.gov.sg/content/dam/ltaweb/corp/RoadsMotoring/files/SmartMobility2030.pdf

    [8] https://www.irt-systemx.fr/en/project/asv/

  • Vérification des réseaux de neurones : entre besoins et défis

    Vérification des réseaux de neurones : entre besoins et défis

    Le Réseau de Neurone (RN) est l’une des principales méthodes d’apprentissage automatique supervisé. La vérification de son comportement, c’est-à-dire l’évolution de ses sorties en fonction de la variation de ses entrées, représente un réel défi. Néanmoins, cette vérification est nécessaire dans un environnement incertain où les entrées du RN sont bruitées. Cet article introduit l’importance de la vérification du RN, donne quelques exemples d’applications et décrit la formulation de leur vérification.

    Dans un article précèdent, Loic Cantat, responsable du domaine «  Science des données, Intelligence Artificielle et Interactions » et Georges Hebrail, responsable de l’axe de recherche « Science des Données et Interaction » ont présenté un état de lieux des principales approches de Machine Learning (algorithmes, outils et plateformes). Le Réseau de Neurones (RN) est l’une des approches de Machine Learning (ML) les plus populaires. Il est appliqué à plusieurs domaines, à savoir la robotique, la télécommunication, les véhicules autonomes, etc.

    Dans le contexte des véhicules autonomes, les RNs peuvent être utilisés pour différentes problématiques :

    • la perception du véhicule (détection et reconnaissance des obstacles tels que les piétons, les panneaux de signalisation, le marquage au sol, etc.),
    • la surveillance du conducteur (état de ses yeux, angle de sa tête, sa fréquence cardiaque et respiratoire, etc.),
    • et la prise de décision en fonction de l’environnement du véhicule (changement de voie, calcul de la vitesse et angle de braquage, etc.).

    Quel que soit le domaine d’application, la décision des réseaux de neurones (détecter la présence ou l’absence d’un piéton, changer ou garder la voie, etc.) peut impacter la sécurité du conducteur, des passagers et des autres utilisateurs de la route. Par exemple, détecter l’absence du piéton alors qu’il est réellement présent peut provoquer un grave accident. Ces mauvaises décisions sont généralement causées par la perturbation de l’environnement du système de décision, d’où le besoin d’une part de métriques permettant l’évaluation de la sécurité des RNs face à l’incertitude de leur environnement extérieur, et d’autre part de stratégies adversaires permettant la sécurisation des RNs contre ces incertitudes.

    Au cours de cet article, nous rappellerons le principe de fonctionnement d’un réseau de neurones. Nous définirons ensuite la sécurité d’un RN, le défi qu’elle engendre et les applications les nécessitant. Finalement, nous présenterons quelques approches de vérification d’un RN ainsi que les critères permettront de les comparer.

    Qu’est-ce qu’un réseau de neurones ?

    Un RN est composé de trois types de couches : une couche d’entrée, une couche de sortie et un ensemble de couches cachées. Le fonctionnement générique d’un RN est le suivant :

    • La couche d’entrée prend une donnée sous n’importe quel format (image, audio, description d’un trafic réseau, etc.).
    • La couche de sortie délivre une information qui peut avoir plusieurs formats (une valeur discrète, valeur continue, un vecteur de probabilités, etc.).
    • Pour passer de la couche d’entrée à la couche de sortie, une chaine de traitement est faite à travers les couches cachées. Ces dernières peuvent être des couches de convolution, de réduction de dimensionnalité, des fonctions d’activation etc.

    Au sein de cet article, nous définirons l’espace des entrées par l’ensemble de toutes les entrées possibles du RN ; et l’espace des sorties par l’ensemble des sorties possibles du RN.

    Vocabulaire d’un réseau de neurones

    Que signifie la sécurité des réseaux de neurones et comment la vérifier ?

    L’étude de la sécurité d’un réseau de neurone consiste à vérifier la capacité du RN à prendre la même décision pour toutes les données similaires, malgré les perturbations qu’elles peuvent engendrer. On appelle « une attaque » tout bruit pouvant perturber le RN.

    Le vérificateur (le système vérifiant la sécurité du RN) prend en entrée, une donnée et une attaque, et délivre à la sortie l’information sous la forme d’une « donnée sécurisée contre l’attaque ou donnée non-sécurisée contre l’attaque ».

    L’idée principale de la vérification consiste à calculer, à partir de la donnée en entrée, toutes les données possibles suite à l’attaque en question (données bruitées), et vérifier que les propriétés de la donnée originale restent valides pour les données bruitées. Les propriétés sont fixées préalablement, elles peuvent être l’appartenance à une plage d’intervalle ou encore l’appartenance à une classe d’objet.

    Principe de la vérification du réseau de neurones

    La figure suivante schématise la vérification de la sécurité d’un réseau de neurones pour une entrée donnée et pour une attaque connue. L’espace des entrées, en bleu, est l’ensemble de toutes les entrées résultantes de l’attaque en question. L’espace atteignable des sorties du RN, en rouge, désigne l’ensemble de toutes les sorties possibles. En calculant l’ensemble atteignable, deux cas peuvent exister :

    • l’ensemble atteignable est inclus dans l’ensemble désiré en vert, c’est-à-dire les propriétés des entrées sont conservées, et donc le RN est dit sécurisé.
    • l’ensemble atteignable n’est pas inclus, totalement ou partiellement, dans l’ensemble désiré, en vert, alors les propriétés ne couvrent pas l’ensemble des entrées, et donc le RN est dit non-sécurisé.
    Sécurité d’un réseau de neurones

    Pourquoi la sécurité des réseaux de neurones est-elle un défi ?

    La variation d’éclairage d’une image de piéton peut perturber le réseau de neurones qui classera par la suite le piéton comme un autre objet. Ces facteurs perturbants sont nombreux et diffèrent d’un contexte à un autre (image, audio, vidéo, etc.). Ces facteurs peuvent être regroupés en trois catégories :

    • Les facteurs environnementaux liés à l’environnement extérieur du système : il s’agit des conditions météorologiques, de l’infrastructure routière, du comportement du trafic routier, etc.
    • Les facteurs matériaux dus à la défaillance du système liée à sa durée de vie, sa configuration, son interférence avec d’autres capteurs, etc.
    • Les facteurs algorithmiques (logiciels) liés à l’erreur de précision des variables, etc.

    Le visuel ci-dessous illustre un exemple de deux attaques de RNs : dans le contexte de traitement d’images, le port des lunettes peut être une attaque qui perturbe le système biométrique de reconnaissance des visages et dans le contexte de traitement audio, un petit bruit inséré dans le signal audio a complètement modifié la transcription du signal.

    Exemples des attaques perturbant le réseau de neurones. Gauche : exemple en traitement d’images. Droite : exemple en audio.
    Exemples des attaques perturbant le réseau de neurones. Gauche : exemple en traitement d’images. Droite : exemple en audio.

    Tous ces facteurs perturbants peuvent impacter la performance du RN. Le défi actuel n’est pas uniquement de former un système de prise de décision performant (par exemple, en matière de taux de reconnaissance, de taux de bonnes détections, etc.) mais aussi le fait que ce dernier soit sécurisé (i.e. robuste) à la perturbation de ses entrées. Il s’agit du problème de vérification (ou certification) du réseau de neurones.

    Quelles sont les applications de la vérification de RN ?

    Les algorithmes de Machine Learning sont de plus en plus utilisés pour résoudre des problèmes très complexes et très sensibles à la tolérance des fautes. Prenons l’exemple de deux applications d’utilisation de réseaux de neurones : la première consiste à estimer les ressources nécessaires pour une application dans le cloud et la deuxième consiste à estimer l’angle de braquage d’un véhicule autonome. Bien que les deux applications aient la même importance, commettre une erreur de prise de décision dans la deuxième application a plus de risques que dans la première. En conséquence, la vérification d’un RN est fortement recommandée dans les applications à risques. Avoir des outils permettant de fournir des garanties formelles sur le comportement des systèmes reste un défi.

    D’une manière générale les applications à risque nécessitent une vérification/certification du RN avant son déploiement. Parmi ces applications, nous pouvons citer la cybersécurité (détection d’anomalies, détection d’intrusion, protection du mot de passe, etc.), la médecine (une mauvaise décision pourrait mettre en danger la vie des patients) et les systèmes autonomes (véhicules, robots, avions, etc.).

    Comment le problème de vérification de réseau de neurones a-t’il été formulé dans la littérature ?

    Les approches de l’état de l’art se différencient par la façon avec laquelle le problème de vérification de réseau de neurones a été formulé. On peut identifier deux stratégies de vérification du RN :

    • La première stratégie suppose l’existence d’un contre-exemple ; un exemple où le RN n’est pas sécurisé et tente de le trouver. L’existence du contre-exemple prouve que le RN n’est pas sécurisé.
    • La deuxième stratégie consiste à calculer l’ensemble atteignable de toutes les entrées et vérifie s’il est inclus dans l’ensemble désiré. Son inclusion prouve que le RN est sécurisé.

    Quels sont les critères pertinents qui peuvent nous aider à choisir l’approche de vérification ?

    Pour un utilisateur intéressé à vérifier son RN, la question qui se pose est la suivante : quels sont les critères permettant de choisir l’approche la plus adéquate ?

    Parmi les critères qui distinguent une approche de vérification d’un réseau de neurones d’une autre, on cite :

    • Le temps moyen de réponse : il s’agit du temps moyen nécessaire pour vérifier une entrée donnée.
    • La scalabilité : certaines approches perdent leur efficacité lorsqu’elles sont appliquées sur les réseaux de neurones de large profondeur. La scalabilité est définie par la capacité de l’approche à rester efficace même pour des RNs de large profondeur.

     

    Dans cet article, nous avons évoqué le problème de vérification de réseau de neurones, un problème très important pour les systèmes à faible tolérance aux fautes pour garantir sa sécurité. D’une manière générale, ce problème est celui de la vérification de l’évolution des sorties d’un réseau de neurones en fonction de la perturbation de ses entrées. Cette perturbation est due globalement au trouble de l’environnement extérieur du réseau de neurones. Pour résoudre le problème de vérification, plusieurs approches ont été proposées avec des formulations différentes. Pour un contexte donné, l’approche la plus adéquate peut-être sélectionnée en fonction de son temps moyen de réponse et de sa scalabilité. Le comportement des approches en fonction de ces critères varie d’un contexte à l’autre et d’un type de données à un autre.