SSPHub https://ssphub-test.netlify.app/project.html Blog du réseau des data scientists de la statistique publique quarto-1.9.37 Tue, 17 Mar 2026 00:00:00 GMT sndsTools, un package R pour l’extraction de recours aux soins dans les données de santé du SNDS https://ssphub-test.netlify.app/project/2026_sndsTools/

Synthèse du projet

sndsTools, un package R pour l’extraction de recours aux soins dans les données de santé du SNDS
Détail du projet sndsTools est un package R conçu pour faciliter l’extraction de recours aux soins à partir des données de santé du Système National de Données de Santé (SNDS) hébergées sur le portail de l’Assurance Maladie. Il simplifie les étapes d’extraction de données du SNDS sur des données utilisées dans la majorité des études sur le SNDS.
Acteurs Insee, Institut du Cerveau, Inria, AP-HM
Résultats du projet Le package R sndsTools est en production et téléchargeable depuis GitHub .
Produits et documentation du projet Site de documentation du package R
Code du projet - Le code est disponible sur GitHub https://github.com/SNDStoolers/sndsTools

Projets similaires

]]> Insee package extraction de données R données administratives https://ssphub-test.netlify.app/project/2026_sndsTools/ Tue, 17 Mar 2026 00:00:00 GMT Comparaison des prévisions entre nowcasting et approche ascendante https://ssphub-test.netlify.app/project/2025_nowcasting/

Synthèse du projet

Comparaison des méthodes de prévision du PIB en continu avec une méthode ascendante
Détail du projet L’Insee effectue ses prévisions de croissance du PIB à partir d’un modèle dit ascendant, permettant de répliquer la mécanique des comptes trimestriels en agrégeant les prévisions fines sur chaque poste. Se pose toutefois la question de la performance d’une telle approche pour prévoir le PIB par rapport à celle des approches directes, ou nowcasting. Une approche directe permet de prévoir directement la croissance du PIB à partir de séries conjoncturelles, sans utiliser de comptes trimestriels. Afin d’étudier les performances relatives des deux approches, un nouveau modèle de prévision ascendant de la croissance du PIB de la France, inspiré du « GDPnow » de la Réserve Fédérale d’Atlanta, a été mis au point dans le cadre de cette étude.
Acteurs Insee
Résultats du projet En début de trimestre, l’approche directe est légèrement plus performante que l’approche ascendante : en effet, peu d’indicateurs quantitatifs sont alors disponibles et la plus-value que représente l’utilisation d’un cadre comptable complet est limitée par rapport à un modèle direct, naturellement plus parcimonieux. À partir de la fin du deuxième mois en revanche, les indicateurs quantitatifs disponibles deviennent plus nombreux et l’approche ascendante présente des performances légèrement meilleures que l’approche directe estimée dans cette étude, c’est en particulier le cas au moment de la publication de la Note de conjoncture. Enfin, la différence de performance entre les deux approches est nette entre la fin du trimestre et la publication des premières estimations des comptes trimestriels trente jours plus tard : au cours de cette période, il est largement préférable d’exploiter l’information disponible via une approche ascendante plutôt que par une approche directe.
Produits et documentation du projet - Comment se comparent les approches directe et ascendante pour prévoir le PIB du trimestre courant ?, Note de conjoncture de l’Insee - septembre 2025

Projets similaires

Exploitation de données bancaires pour les prévisions de croissance du PIB
Insee
prévisions
données comptes bancaires
expérimentation

Analyse du comportement des ménages à partir de données de comptes bancaires pour les prévisions de croissance économique, pendant la crise sanitaire et entre 2023 et 2024

1 juin 2025

Prévoir la croissance en lisant le journal
Insee
machine learning
expérimentation
prévisions
webscraping

Utiliser les articles de presse en continu pour construire un indicateur aidant à prévoir la croissance

1 mars 2021

Utilisation de données de cartes bancaires et de téléphonie mobile pour prévoir l’activité économique
prévisions
expérimentation
Insee
données CB
données de téléphonie mobile

La crise sanitaire de 2020 a nécessité de revoir les processus de prévision pour être plus réactif face aux événements. Dans ce cadre, l’Insee s’est appuyé sur les données…

1 déc. 2020

Que disent les données de production et de consommation d’électricité sur l’activité économique en période de confinement ?
Insee
prévisions
données privées
expérimentation

Utilisation des données de production et de consommation d’électricité pour prévoir l’activité économique

1 déc. 2020

« GDP Tracker » : un outil pour des prévisions économiques en continu
machine learning
expérimentation arrêtée
prévisions
Insee
nowcasting

Modèles de machine learning pour effectuer des prévisions en temps réel (nowcasting) pour alimenter les analyses conjoncturelles de l’Insee

1 déc. 2019
Aucun article correspondant
]]> étude nowcasting prévisions Insee https://ssphub-test.netlify.app/project/2025_nowcasting/ Mon, 01 Sep 2025 00:00:00 GMT Exploitation de données bancaires pour les prévisions de croissance du PIB https://ssphub-test.netlify.app/project/2025_comptes_bancaires_conj/

Synthèse du projet

Exploitation de données bancaires pour les prévisions économiques de l’Insee
Détail du projet Les données de comptes bancaires constituent une source d’information avancée sur la consommation et l’épargne des ménages, aussi bien à l’échelle microéconomique qu’infra-annuelle. L’Insee les a utilisées ainsi à plusieurs reprises dans le cadre de ses prévisions économiques.

En 2020, à travers l’exploitation de données anonymisées mises à disposition par le Crédit Mutuel Alliance Fédérale, il est possible d’étudier comment la crise sanitaire a pu modifier la situation financière des ménages clients de cette banque, selon leur niveau de revenu, leur âge ou encore leur catégorie socio-professionnelle.
Les données bancaires utilisées ne permettent pas d’identifier directement les revenus des ménages mais peuvent tout de même être mobilisées pour en déduire une approximation, grâce à l’ensemble des virements et chèques entrant sur les comptes. Ces flux entrants chutent lors du premier confinement avant de rebondir en juin. Le deuxième confinement n’aurait pas provoqué de baisse de ces flux entrants, en moyenne.

Enfin, en 2025, l’Insee a utilisé des données anonymisées de La Banque Postale pour apporter un éclairage sur l’évolution de l’épargne depuis 2020, et notamment d’identifier les ménages qui ont épargné plus en 2024 qu’en 2023.
Acteurs Insee
Résultats du projet Ces études se situent dans le prolongement des travaux menés sur les ménages à partir des données de compte bancaire.

Pendant les deux confinements de 2020, tous les groupes de ménages étudiés, quels que soient leurs niveaux de revenus, auraient diminué leur consommation, laquelle s’est recentrée, en particulier en avril, aux biens de première nécessité. Les ménages qui consommaient le plus avant la crise, essentiellement des cadres et des hauts revenus, auraient donc davantage diminué leur consommation.
La chute de la consommation a provoqué un surcroît d’épargne qui a alimenté les comptes courants des ménages et leurs comptes sur livrets. Le patrimoine financier brut des ménages (épargne liquide, comptes-titres et assurances- vie, crédits exclus) aurait fortement augmenté en 2020. Cette hausse s’observe chez tous les groupes de ménages, quel que soit leur niveau de patrimoine financier. Elle est plus élevée en euros chez les ménages à hauts patrimoines financiers, qui ont pu épargner davantage en diminuant leur consommation. Les ménages à faibles patrimoines, ont également mis de l’argent de côté notamment pendant le premier confinement. Cependant, les montants en jeu pour ces ménages, quelques dizaines ou centaines d’euros en général, demeurent faibles bien qu’ils représentent une part importante de leur patrimoine initial. Parmi les ménages actifs, certains auraient été davantage touchés que d’autres par une baisse de leurs revenus et auraient donc moins augmenté leur épargne : c’est le cas des artisans et commerçants, ou encore des salariés du secteur privé, par contraste avec ceux du secteur public.

L’analyse menée pour la note de conjoncture de juin 2025 permet de montrer que les évolutions des agrégats de revenu, de consommation et du taux d’épargne issues des données de ces comptes bancaires sont cohérentes avec celles de la comptabilité nationale. Depuis le quatrième trimestre 2023, le revenu disponible des ménages a connu une tendance haussière, les dépenses de consommation ont ralenti et le taux d’épargne des ménages augmente tendanciellement en glissement annuel. Si le taux d’épargne moyen a augmenté dans la quasi-totalité des regroupements entre 2023 et 2024, c’est parmi les plus âgés que la hausse du taux d’épargne en 2023 et 2024 est la plus forte : les personnes âgées de 65 ans ou plus ont contribué pour environ deux tiers de la hausse du taux d’épargne entre 2023 et 2024 selon ces données.
Produits et documentation du projet - En 2020, la chute de la consommation a alimenté l’épargne, faisant progresser notamment les hauts patrimoines financiers : quelques résultats de l’exploitation de données bancaires, Note de conjoncture de l’Insee - mars 2021 ;
- En 2024, les revenus des retraités clients de La Banque Postale ont fortement augmenté mais leur consommation n’a pas suivi, ce qui contribuerait aux deux tiers de la hausse du taux d’épargne, Note de conjoncture de l’Insee - juin 2025

Projets similaires

Une évaluation des achats transfrontaliers de tabac et des pertes fiscales associées en France
expérimentation
données de téléphonie mobile
données CB
Insee

Exploitation d’une expérience naturelle, la fermeture des frontières en 2020, pour mesurer la part d’achats transfrontaliers de tabac

1 janv. 2024

Travaux méthodologiques sur l’enquête Budget de Famille
codification automatique
extraction de données
données de caisse

Modernisation de l’enquête budget des familles par utilisation d’outils de classification automatique

1 janv. 2022

Utilisation de données de cartes bancaires et de téléphonie mobile pour prévoir l’activité économique
prévisions
expérimentation
Insee
données CB
données de téléphonie mobile

La crise sanitaire de 2020 a nécessité de revoir les processus de prévision pour être plus réactif face aux événements. Dans ce cadre, l’Insee s’est appuyé sur les données…

1 déc. 2020

Que disent les données de production et de consommation d’électricité sur l’activité économique en période de confinement ?
Insee
prévisions
données privées
expérimentation

Utilisation des données de production et de consommation d’électricité pour prévoir l’activité économique

1 déc. 2020

Mouvements de population autour du confinement de mars 2020 grâce aux données de téléphonie mobile
datavisualisation
machine learning
Insee
expérimentation
open-data
données de téléphonie mobile

L’Insee a eu accès à des données de téléphonie mobile dans le cadre du suivi de la crise sanitaire de 2020. Ces données ont permis de produire les statistiques sur les…

1 nov. 2020

Classification des données de caisse à partir de machine learning
Python
codification automatique
données de caisse
COICOP
IPC
en production

Classifier des données de caisse dans la nomenclature COICOP par machine learning pour le calcul de l’IPC

1 janv. 2020

Ségrégation urbaine : un éclairage par les données de téléphonie mobile
Insee
expérimentation
données de téléphonie mobile
données administratives

Croisement de données administratives et de données de téléphonie pour analyser la ségrégation au niveau local

1 janv. 2018
Aucun article correspondant

Autres études menées grâces aux données bancaires

Par ailleurs, d’autres études ont été menées par l’Insee en utilisant des données de compte bancaires. Elles sont disponibles sur le site de l’Insee :

]]> Insee prévisions données comptes bancaires expérimentation https://ssphub-test.netlify.app/project/2025_comptes_bancaires_conj/ Sun, 01 Jun 2025 00:00:00 GMT Une évaluation des achats transfrontaliers de tabac et des pertes fiscales associées en France https://ssphub-test.netlify.app/project/2024_cb_mno_tabac/

Synthèse du projet

Une évaluation des achats transfrontaliers de tabac et des pertes fiscales associées en France
Détail du projet Le tabagisme est un problème majeur de santé publique, à l’origine de nombreuses maladies évitables à travers le monde. Au cours des dernières décennies, l’augmentation du prix du tabac s’est imposée comme la principale stratégie des États pour lutter contre le tabagisme. Toutefois, les différences de prix entre certains pays frontaliers sont susceptibles de limiter l’efficacité de cette mesure en permettant à certains consommateurs d’acheter du tabac à un prix inférieur dans un État voisin. Si le problème des achats transfrontaliers n’est pas nouveau, l’ampleur du phénomène reste mal connue et fait encore l’objet de débats réguliers. Cette étude contribue à son évaluation en France en exploitant une expérience naturelle sans précédent : la fermeture des frontières terrestres entre mars 2020 et juin 2020 dans le cadre de la lutte contre la pandémie de Covid-19.
Acteurs Insee
Résultats du projet Les résultats montrent que la fermeture des frontières a généré un surplus d’achats de tabac de 9,5 % en France métropolitaine, par rapport à la situation contrefactuelle où les frontières seraient restées ouvertes. Il s’agit probablement d’une estimation basse des achats transfrontaliers. En effet, une partie de la consommation de tabac en provenance de l’étranger a pu persister pendant le premier confinement, les frontières n’ayant pas été complètement fermées, notamment aux travailleurs frontaliers. En extrapolant la consommation observée dans le reste du pays aux régions frontalières, à caractéristiques identiques, les recettes générées en France seraient environ 13,5 % plus élevées s’il n’existait pas d’alternatives moins chères à l’étranger.
Produits et documentation du projet - Une évaluation des achats transfrontaliers de tabac et des pertes fiscales associées en France, Documents de travail de l’Insee n°2024-06, avril 2024

Projets similaires

Exploitation de données bancaires pour les prévisions de croissance du PIB
Insee
prévisions
données comptes bancaires
expérimentation

Analyse du comportement des ménages à partir de données de comptes bancaires pour les prévisions de croissance économique, pendant la crise sanitaire et entre 2023 et 2024

1 juin 2025

Travaux méthodologiques sur l’enquête Budget de Famille
codification automatique
extraction de données
données de caisse

Modernisation de l’enquête budget des familles par utilisation d’outils de classification automatique

1 janv. 2022

Utilisation de données de cartes bancaires et de téléphonie mobile pour prévoir l’activité économique
prévisions
expérimentation
Insee
données CB
données de téléphonie mobile

La crise sanitaire de 2020 a nécessité de revoir les processus de prévision pour être plus réactif face aux événements. Dans ce cadre, l’Insee s’est appuyé sur les données…

1 déc. 2020

Que disent les données de production et de consommation d’électricité sur l’activité économique en période de confinement ?
Insee
prévisions
données privées
expérimentation

Utilisation des données de production et de consommation d’électricité pour prévoir l’activité économique

1 déc. 2020

Mouvements de population autour du confinement de mars 2020 grâce aux données de téléphonie mobile
datavisualisation
machine learning
Insee
expérimentation
open-data
données de téléphonie mobile

L’Insee a eu accès à des données de téléphonie mobile dans le cadre du suivi de la crise sanitaire de 2020. Ces données ont permis de produire les statistiques sur les…

1 nov. 2020

Classification des données de caisse à partir de machine learning
Python
codification automatique
données de caisse
COICOP
IPC
en production

Classifier des données de caisse dans la nomenclature COICOP par machine learning pour le calcul de l’IPC

1 janv. 2020

Ségrégation urbaine : un éclairage par les données de téléphonie mobile
Insee
expérimentation
données de téléphonie mobile
données administratives

Croisement de données administratives et de données de téléphonie pour analyser la ségrégation au niveau local

1 janv. 2018
Aucun article correspondant
]]> expérimentation données de téléphonie mobile données CB Insee https://ssphub-test.netlify.app/project/2024_cb_mno_tabac/ Mon, 01 Jan 2024 00:00:00 GMT scanR, une application pour observer le paysage de la recherche et de l’innovation en France https://ssphub-test.netlify.app/project/2024_scanr/

Synthèse du projet

scanR, explorer le monde de la recherche et de l’innovation française
Détail du projet scanR est une application web pour aider à caractériser les structures publiques (unités de recherche de tous types, institutions publiques) et privées (entreprises) qui participent à la recherche et à l’innovation en France. scanR aide également à identifier les orientations des travaux des chercheuses et chercheurs actifs en France depuis le début des années 1990.

scanR combine les données structurées sous licence libre (Publications et thèses, participation à des projets de recherche collaboratifs, spin-off, brevets, etc.) et des informations ouvertes directement extraites des sites web des acteurs de la recherche et de l’innovation. Ces informations proviennent ainsi d’environ 13 sources différentes (theses.fr, le baromètre de la science ouverte, HAL, Commission européenne, INPI, ANR, l’office européen des brevets …) et sont notamment obtenues par webscraping, pdf-mining ou appel à des API. Les ressources sont ensuite identifiées et liées entre elles, notamment en utilisant des méthodes d’IA, et puis enrichies.
Une boucle de retours pour augmenter la qualité des données produites est introduite avec la possibilité de demander à corriger des données depuis le site de scanR.
Un moteur de recherche basé sur ElasticSearch permet de rechercher sur le site des thèmes, structures ou auteurs.
Enfin, il est possible d’afficher des interactions entre différentes structures ou thématiques de manière visuelle par une analyse en réseau.
Acteurs Service statistique du Ministère de l’Enseignement Supérieur et de la Recherche (SIES)
Résultats du projet Le projet scanR est en production depuis 2016 et enregistre environ 50 000 visites mensuelles.

- Le projet met à disposition des fiches par structure et auteurs présentant leur organisation, activité, domaines de recherche, source de financement.
- Il propose par ailleurs un moteur de recherche sur les structures, auteurs, financements, publications, brevets de la recherche en France.
- Il met aussi à disposition des outils d’analyse des résultats, notamment des visualisations de graphs.

Le projet met aussi à disposition plusieurs API pour récupérer des données et les données.
Produits et documentation du projet scanR est accessible sur scanr.enseignementsup-recherche.gouv.fr. Ce site comprend :
- la documentation pour accéder aux quatre API disponibles ;
- les différentes sources de données utilisées pour le projet.

Concernant la technologie et la méthodologie utilisée :
- Présentation technique détaillée de scanR scanR - Explore public data on French research and innovation, conférence euroCRIS, novembre 2024 ;
- Mapping scientific communities at scale pour expliquer l’analyse en réseaux
Code du projet - Le code est disponible sur GitHub https://github.com/dataesr/scanr-ui

Projets similaires

]]> API en production open-data SIES datavisualisation ElasticSearch https://ssphub-test.netlify.app/project/2024_scanr/ Mon, 01 Jan 2024 00:00:00 GMT Visualisations des données liées aux tests du SARS-Cov2 https://ssphub-test.netlify.app/project/2022_drees_dataviz/
Publication automatique et data-visualisation des données sur les tests du Covid-19
Détail du projet Depuis quelques années, la DREES (service statistique du Ministère de la Santé), met à disposition, dans le cadre de sa stratégie open-data, des visualisations interactives de données sur des thèmes variés (Covid bien-sûr mais aussi effectifs des professionnels de santé, pensions et âges de retraites…). Ces visualisations reposent sur Shiny et offrent ainsi la liberté à l’utilisateur de jouer avec les données et obtenir une mise à jour de graphiques exploratoires.
Entre octobre 2020 et juin 20233, la DREES a ainsi mis à disposition les données sur le volume et les délais de validation des tests RT-PCR et antigéniques de manière hebdomadaire. Ces résultats sont issus des données du système d’information SI-DEP.
Acteurs DREES
Résultats du projet Le projet a publié des informations mises à jour automatiquement sur les tests liés au Covid-19 et les délais entre 2020 et mi-2023. Les données sont toujours disponibles sur le site https://drees.shinyapps.io/delais_test_app/ mais ne sont plus mises à jour depuis juin 2023.
]]> R datavisualisation expérimentation arrêtée DREES open-data https://ssphub-test.netlify.app/project/2022_drees_dataviz/ Thu, 01 Jun 2023 00:00:00 GMT Doremifasol https://ssphub-test.netlify.app/project/2023_doremifasol/

Synthèse du projet

Package pour récupérer des données du site de l’Insee
Détail du projet Le package doremifasol (Données en R Mises à disposition par l’Insee et Facilement Sollicitables) permet d’importer facilement dans R des données mises à disposition sur le site de l’Insee.

Il offre deux fonctionnalités principales :
- télécharger et importer dans R des fichiers disponibles sur insee.fr (Base Permanente des Équipements, Recensement de Population, Filosofi…), y compris les données mises à disposition via Melodi ;
- requêter l’API Sirene et recupérer les résultats dans R.
Acteurs Insee
Résultats du projet Le package DoReMiFaSol est en production et téléchargeable depuis GitHub. La documentation est aussi publiée ici.
Code du projet - Le code est disponible sur GitHub https://github.com/InseeFrLab/DoReMIFaSol

Projets similaires

]]> package R en production Insee https://ssphub-test.netlify.app/project/2023_doremifasol/ Sun, 01 Jan 2023 00:00:00 GMT pynsee, un package Python pour récupérer les données de l’Insee https://ssphub-test.netlify.app/project/2023_pynsee/

Synthèse du projet

pynsee, un package Python pour récupérer les données de l’Insee
Détail du projet pynsee donne un accès rapide à plus de 150 000 séries macroéconomiques, une dizaine d’ensembles de données locales, de nombreuses sources disponibles sur insee.fr ainsi que des métadonnées clés et une base de données SIRENE contenant des données sur toutes les entreprises françaises. Consultez la page détaillée de l’API portail-api.insee.fr.
Ce paquet est une contribution à la recherche reproductible et à la transparence des données publiques. Il bénéficie des développements réalisés par les équipes travaillant sur les API à l’Insee et à l’IGN.
Acteurs Insee
Résultats du projet Le package pynsee est en production et téléchargeable depuis GitHub. La documentation est aussi publiée ici.
Code du projet - Le code est disponible sur GitHub https://github.com/InseeFrLab/pynsee

Projets similaires ayant abouti à la création de package

]]> en production Insee package Python https://ssphub-test.netlify.app/project/2023_pynsee/ Sun, 01 Jan 2023 00:00:00 GMT Utilisation des images satellites pour la statistique publique https://ssphub-test.netlify.app/project/2022_satellites/

Synthèse du projet

Utilisation des images satellites pour la statistique publique
Détail du projet Fin 2022, un groupe de travail expérimental sur l’utilisation des données satellites pour la statistique publique a été lancé. Cette initiative visait à améliorer l’organisation des enquêtes cartographiques dans les départements d’outre-mer, particulièrement en Guyane et à Mayotte. Ces enquêtes servent à mettre à jour le répertoire individus / logement (RIL) chaque année, et facilitent l’identification en amont des enquêtes de nouvelles zones d’habitations spontanées ou temporaires. Des algorithmes appliqués à des photographies satellites permettent d’identifier de telles zones, qui à une année d’exercice donnée nécessiteront plus d’enquêteurs qu’à l’exercice précédent.
Le projet est présenté plus précisément ici.
Acteurs Insee (DG et Direction interrégionale Réunion-Mayotte)
Résultats du projet Les résultats du projet sont présentés plus précisément sur le site dédié. La phase d’expérimentation s’est achevée avec:
- La transmission de statistiques d’évolution de bâti par îlot à Mayotte. Ces statistiques ont servi à l’organisation de l’enquête cartographique complémentaire 2024 à Mayotte ;
- Le développement d’une application de visualisation intégrant des fonds de carte construits à partir de tuiles Pleiades et les bâtiments détectés sur ces tuiles avec nos algorithmes, ainsi que des couches de détection de changement ;
- La création du package Python de traitement d’images satellites Astrovision
Code du projet - https://github.com/InseeFrLab/astrovision : package Python pour travailler avec des données satellites:
- https://inseefrlab.github.io/satellite-images-webapp/: code de l’application de visualisation
- https://github.com/InseeFrLab/satellite-images-preprocess: code de pré-processing des données
- https://github.com/InseeFrLab/satellite-images-train : code pour l’entraînement des modèles
- https://github.com/InseeFrLab/satellite-images-inference : code pour l’inférence

Documents relatifs au projet sur les données satellites à l’Insee

Présentation JMS 2025
Description : Utilisation des images satellites pour améliorer le repérage des logements à Mayotte.
Maëlys Bernard, Raya Berova et Thomas Faria
25 nov. 2025

Article JMS 2025
Description : Utilisation des images satellites pour améliorer le repérage des logements à Mayotte.
Maëlys Bernard, Raya Berova et Thomas Faria
25 nov. 2025

Utilisation des images satellites pour améliorer le repérage des logements dans les départements d'outre-mer
Description : Slides pour le séminaire de Méthodologie Statistique & Sciences des données de la DMCSI - La terre vue d’en haut : images satellites, images aériennes et statistique publique.
Raya Berova et Thomas Faria
3 juil. 2025

Conference on New Techniques and Technologies for official Statistics (NTTS 2025)
Description : Slide deck for the NTTS 2025 conference.
Raya Berova, Thomas Faria et Clément Guillo
12 mars 2025

AIML4OS Workshop on Earth Observation
Description : Slideshow presentation of the project Detecting changes in buildings in French overseas departments for Work Package 7, Artificial Intelligence and Machine Learning for Official Statistics, organized by Eurostat.
Raya Berova, Thomas Faria et Clément Guillo
13 nov. 2024

Séminaire à la Dirag
Description : Ce séminaire marque la fin des travaux d’expérimentation. À cette occasion, nous présenterons l’intégralité de la chaîne de traitement, de la récupération des images jusqu’à l’application d’aide à la décision, en mettant l’accent sur les difficultés rencontrées. La poursuite de ces travaux dépendra des besoins réels de l’Insee et nécessitera des compétences variées et une technicité élevée pour maintenir et/ou améliorer la chaîne de traitement.
Raya Berova, Gaëtan Carrere, Thomas Faria, Clément Guillo et Tom Seimandi
28 mai 2024

Document de travail
Description : Document retraçant les avancées et résultats obtenus sur les travaux exploratoires utilisant des images satellitaires
Raya Berova, Gaëtan Carrere, Thomas Faria, Clément Guillo et Tom Seimandi
16 mai 2024

Application web
Description : Application web à destination des agents facilitant l'utilisation des résultats fournis par le modèle de segmentation.
6 mai 2026

Documentation
Description : Ici est rassemblée toute la documentation technique sur le travail effectué au cours de l'expérimentation sur les données satellite
Raya Berova, Gaëtan Carrere, Thomas Faria, Clément Guillo et Tom Seimandi
6 mai 2026
Aucun article correspondant

Projets similaires

]]> Python package deep learning images satellites https://ssphub-test.netlify.app/project/2022_satellites/ Sat, 01 Oct 2022 00:00:00 GMT Curiexplore, la plateforme de comparaison des politiques nationales d’enseignement et de recherche https://ssphub-test.netlify.app/project/2022_Curiexplore/

Synthèse du projet

Curiexplore, la plateforme de comparaison des politiques nationales d’enseignement et de recherche
Détail du projet Le projet CurieXplore, développé par le SIES (service statistique du Ministère de l’Enseignement Supérieur et de la Recherche) propose une visualisation interactive de l’environnement de l’enseignement et de la recherche dans les différents pays.
La plateforme combine du contenu textuel collecté par le SIES auprès du réseau diplomatique français et des données issues de sources statistiques internationales (Unesco, banque mondiale, OCDE, Eurostat, …) ou privées (classements d’Etablissements d’ES comme Shanghai, UMULTIRANK ou THE) moissonnées automatiquement régulièrement (webscraping).
Acteurs Service statistique du Ministère de l’Enseignement Supérieur et de la Recherche (SIES)
Résultats du projet Le projet est en production, avec un site dédié disponible sur curiexplore.enseignementsup-recherche.gouv.fr.
Code du projet - Le code est disponible sur GitHub https://github.com/dataesr/curiexplore-ui.

Projets similaires

]]> webscraping en production datavisualisation SIES https://ssphub-test.netlify.app/project/2022_Curiexplore/ Sat, 01 Jan 2022 00:00:00 GMT Travaux méthodologiques sur l’enquête Budget de Famille https://ssphub-test.netlify.app/project/2022_Enquete_Budget_Famille/

Synthèse du projet

Travaux méthodologiques sur l’enquête Budget de Famille
Détail du projet La collecte de la prochaine enquête Budget de Famille en 2026 sera largement différente de celle de l’enquête précédente (2017).
- En effet, une partie des données de consommation des ménages sera remontée à travers une application mobile mise à disposition des ménages enquêtés.
- De plus, l’enregistrement en base de données des produits issus des données de consommation ne se fera plus par les enquêteurs mais par un prestataire de saisie ou d’extraction automatique.
Deux axes existent dans cette expérimentation :
- Le premier axe consiste à tester les solutions open-source d’extraction automatique du contenu de tickets de caisse, afin de pouvoir mieux dialoguer avec des partenaires comme Teklia et potentiellement pouvoir procéder à une partie des extractions en interne ;
- Le second axe (principal) est autour de la codification automatique des produits de consommation dans la nomenclature COICOP : entraînement d’un modèle de classification sur les données de l’enquête précédente et élaboration d’une stratégie de reprise optimale.
Acteurs Insee
Résultats du projet Projet en cours
Code du projet - https://git.lab.sspcloud.fr/ssplab/bdf
- https://git.lab.sspcloud.fr/ssplab/experimentation-bdf

Projets similaires

]]> codification automatique extraction de données données de caisse https://ssphub-test.netlify.app/project/2022_Enquete_Budget_Famille/ Sat, 01 Jan 2022 00:00:00 GMT Jocas, webscraping des offres d’emploi en ligne https://ssphub-test.netlify.app/project/2022_JOCAS/

Synthèse du projet

Les offres d’emploi en ligne, nouvelle source de données sur le marché du travail
Détail du projet En quelques années, Internet est devenu une nouvelle source d’information sur le marché du travail. Selon l’enquête Offre d’emploi et recrutement (Ofer) de la Dares, 95 % des annonces d’offres d’emploi ont fait l’objet d’une publication sur Internet en 2016 contre 53 % en 2005. Forte de ce constat, la Dares a décidé de collecter les offres d’emploi en ligne publiées sur une quinzaine de sites pour en faire une nouvelle base de données sur les offres d’emploi : Jocas (Job offers collection and analysis system). Différents outils sont utilisés pour construire cette nouvelle base de données : webscraping, algorithme de classification automatique de texte, déduplication.
Sur l’année 2019, la base Jocas peut être comparée aux sources usuelles de la statistique publique sur l’offre d’emploi, qu’il s’agisse de sources administratives, comme les offres diffusées par Pôle emploi et les Déclarations préalables à l’embauche (DPAE) des Urssaf, ou bien des données issues d’enquête telles que celle sur les Besoins en main-d’œuvre (BMO) de Pôle emploi, l’enquête Emploi de l’Insee, l’enquête Activité et conditions d’emploi de la main-d’œuvre (Acemo) de la Dares. Il en ressort que les métiers sont inégalement couverts par Jocas. Les domaines professionnels avec une forte proportion de cadres ou effectuant beaucoup de recrutements en ligne ont tendance à être surreprésentés. Au contraire, ceux comptabilisant beaucoup de recrutements multiples ou mobilisant des canaux de recrutement informels sont plutôt sous-représentés.
Acteurs DARES
Résultats du projet Les données d’offres en ligne ont notamment été intégrées au calcul des tensions sur le marché du travail. Elles ont également été utilisées pour la production du tableau de suivi de la situation du marché du travail en 2020-2021 lors de la crise du Covid-19. les données Jocas sont en accès libre pour les étudiants, les chercheurs et les agents de la fonction publique. L’accès aux données peut également être accordé pour un usage statistique et non commercial, sur demande auprès de la Dares. La base est notamment accessible sur la plateforme SSPCloud de l’Insee, en suivant le chemin d’accès ‘projet-jocas-prod/diffusion/JOCAS’.
Produits et documentation du projet - Description sur le site de la DARES
- Document de travail
- Hackathon en mars 2023 sur le dédoublement des offres d’emploi
- Actualités du projet
- Formation pour utiliser la base JOCAS
Code du projet - Le code est disponible sur GitHub https://github.com/OnlineJobVacanciesESSnetBigData/JobTitleProcessing_FR

Projets similaires

Curiexplore, la plateforme de comparaison des politiques nationales d’enseignement et de recherche

Visualisation interactive de l’environnement de l’enseignement et de la recherche dans les différents pays.

1 janv. 2022

Travaux méthodologiques sur l’enquête Budget de Famille

Modernisation de l’enquête budget des familles par utilisation d’outils de classification automatique

1 janv. 2022

Baromètre de la science ouverte

Pour être en mesure de suivre l’ouverture des publications scientifiques (objectif de la stratégie nationale de science ouverte), le service statistique du Ministère de…

1 janv. 2022

Codification automatique de l’activité principale des entreprises

Développer un algorithme de machine learning pour automatiser la classification de l’activité principale des entreprises et mise en production

1 janv. 2022

Indices des prix à la consommation des nuitées hôtelières : l’expérience du webscraping d’une plateforme de réservation en ligne

Exploration des apports du webscraping pour mesurer le prix des nuitées hôtelières dans l’IPC

1 juin 2021

Prévoir la croissance en lisant le journal

Utiliser les articles de presse en continu pour construire un indicateur aidant à prévoir la croissance

1 mars 2021

Codification automatique des professions dans la nomenclature PCS 2020

Codifier automatiquement les professions dans le cadre de la bascule vers la nouvelle nomenclature PCS (PCS 2020)

1 janv. 2021

Webscrapper les caractéristiques des produits pour améliorer la mesure de l’inflation

Collecter sur le web les caractéristiques des produits pour améliorer la prise en compte des effets qualité dans l’indice des prix à la consommation

1 juin 2020

Classification des données de caisse à partir de machine learning

Classifier des données de caisse dans la nomenclature COICOP par machine learning pour le calcul de l’IPC

1 janv. 2020

Codification automatique de l’activité des associations

Codification automatique de l’activité des associations à partir de méthodes de machine learning

1 juin 2019
Aucun article correspondant
]]> webscraping en production codification automatique DARES https://ssphub-test.netlify.app/project/2022_JOCAS/ Sat, 01 Jan 2022 00:00:00 GMT Baromètre de la science ouverte https://ssphub-test.netlify.app/project/2022_bso/

Synthèse du projet

Baromètre français de la science ouverte
Détail du projet La généralisation de l’accès ouvert aux publications scientifiques est l’un des axes de la stratégie nationale de science ouverte, avec pour objectif un taux d’accès ouvert de 100 % en 2030 pour les articles de revue. En effet, l’accès ouvert facilite, élargit et accélère la diffusion des résultats de la recherche auprès des communautés scientifiques et des acteurs de la société en général : enseignants, étudiants, entreprises, associations, acteurs des politiques publiques, etc.

Le baromètre construit ainsi des indicateurs de la science ouverte pour les publications, données, logiciels et codes afin de mesurer l’atteinte de cet objectif.
Concernant les publications, un maximum de métadonnées sur les publications est collecté. Il est ensuite filtré pour ne garder que les affiliations françaises et puis enrichi pour suivre le statut d’ouverture des publications par discipline identifiée. Les données sont ensuite publiées en open-data. Cette méthode permet ainsi de constituer la base de données des publications françaises la plus exhaustive au monde.
Concernant les données, logiciels et codes, la production scientifique est d’abord répertoriée. Le texte de la publication est ensuite analysé pour détecter la mise à disposition de données, logiciels ou codes en accès ouvert. Des indicateurs de suivi sont enfin produits et publiés.
Acteurs Service statistique du Ministère de l’Enseignement Supérieur et de la Recherche (SIES)
Résultats du projet Le projet est présenté sur le site dédié : https://barometredelascienceouverte.esr.gouv.fr/. Il comprend notamment une méthodologie
Code du projet Les dossiers de code sont disponibles sur GitHub

Projets similaires en lien avec le webscraping

]]> webscraping datavisualisation open-data en production SIES https://ssphub-test.netlify.app/project/2022_bso/ Sat, 01 Jan 2022 00:00:00 GMT Codification automatique de l’activité principale des entreprises https://ssphub-test.netlify.app/project/2022_codif_ape/

Synthèse du projet

Codification automatique de l’activité principale des entreprises
Détail du projet La codification de l’activité principale exercée (APE) des entreprises à partir de descriptions d’activité (sous forme de texte libre) dans le répertoire Sirene était auparavant réalisée grâce à 6 environnements de codification déterministes mobilisant un nombre énorme de règles de décision. Le but de l’expérimentation est de tester les performances des modèles d’apprentissage statistique pour prédire la catégorie d’APE dans le cadre de la refonte du répertoire Sirene et de la mise en place d’un guichet unique.
Acteurs Insee
Résultats du projet Le modèle développé présente des performances similaires aux modèles précédents, en les automatisant, et propose par ailleurs une aide à la décision. Le modèle a par ailleurs été mis en production, en appliquant quand cela était possible les principes MLOps.
Les présentations et supports écrits concernant le projet sont accessibles sur ce site.
Code du projet Dépôts de code accessibles sur Github . Ils comprennent :
- Code relatif à l’annotation de données à l’aide de Label Studio ;
- Code d’une API web de codification déployée sur le SSP Cloud ;
- Code qui implémente un dashboard de visualisation permettant de surveiller l’activité d’un modèle de codification en production et accessible via une API web ;
- Code pour l’entraînement de modèles de classification de l’APE.

Documents relatifs au projet

PyData Global
Description : Presentation at PyData Global 2025
Cédric Couralet, Meilame Tayebjee
9 déc. 2025

Présentation JMS
Description : Présentation sur la génération de données d'entraînement via LLM pour un classifieur dans un contexte de changement de nomenclature
Nathan Randriamanana
25 nov. 2025

Présentation JMS
Description : Présentation de la nouvelle mouture de TTC (torchTextClassifiers)
Meilame Tayebjee
12 nov. 2025

JMS2025 - réentraînement lié au changement de NAF
Description : Papier JMS sur la méthodologie basée sur LLM
Nathan Randriamanana
25 nov. 2025

JMS2025 - fastText, en production et déjà obsolète
Description : Papier JMS sur le package
Meilame Tayebjee
23 sept. 2025

Échange avec Statec - Luxembourg
Description : Cas d'usage de Label Studio à la DSE de l'Insee
Nathan Randriamanana
23 sept. 2025

PyData Paris
Description : Presentation at PyData Paris 2025
Cédric Couralet, Meilame Tayebjee
1 oct. 2025

WP10 Project Presentation
Description : Presentation given during the WP10
Thomas Faria, Meilame Tayebjee
22 mai 2025

Conférence UNECE
Description : Presentation given during the UNECE Generative AI and Official Statistics Workshop 2025
Thomas Faria
12 mai 2025

Ateliers concepteurs
Description : Présentation non technique de la codification automatique de la NAF
Meilame Tayebjee
4 avr. 2025

Groupe de veille Codification Automatique n°10
Description : Présentation du package torchFastText et ses performances sur la codification de l'APE
Meilame Tayebjee
5 mars 2025

Groupe de veille Codification Automatique n°9
Description : Travaux sur le passage de la nomenclature NAF2008 Rev2.1 à la NAF2025
Thomas Faria, Nathan Randriamanana
6 nov. 2024

European Conference for Quality in Official Statistics 2024
Description : Retraining strategies for an economic activity classification model
Thomas Faria, Nathan Randriamanana, Tom Seimandi
24 mai 2024

Échange avec l'Inserm
Description : Codification automatique de l'APE à l'Insee
Thomas Faria et Nathan Randriamanana
7 mai 2024

Eurostat webinar
Description : Presentation given during the NACE implementation webinar
Nathan Randriamanana
30 avr. 2024

MLOps exhange with StatCan
Description : Slides used for an exchange with StatCan on MLOps
Romain Avouac, Thomas Faria et Tom Seimandi
19 mars 2024

Formation BCEAO 2023
Description : Présentation pour la formation Big Data donné à la BCEAO à Dakar
Romain Avouac, Thomas Faria et Tom Seimandi
27 sept. 2023

Conférence UNECE
Description : Presentation given during the UNECE Machine Learning for Official Statistics Workshop 2023
Thomas Faria and Tom Seimandi
5 juin 2023

Journée SSP Hub
Description : Présentation lors de l'évènement de lancement du SSP Hub
Thomas Faria et Tom Seimandi
17 avr. 2023

Séminaire DMS
Description : Séminaire interne du département des méthodes statistiques de l'Insee
Thomas Faria et Tom Seimandi
1 sept. 2023
Aucun article correspondant

Projets similaires

sndsTools, un package R pour l’extraction de recours aux soins dans les données de santé du SNDS

Le package R sndsTools facilite l’extraction de recours aux soins à partir des données de santé du Système National de Données de Santé (SNDS) hébergées sur le portail de…

17 mars 2026

Doremifasol

Le package R Doremifasol facilite la récupération des données Insee pour les data scientists. La librairie est open source, disponible sur…

1 janv. 2023

pynsee, un package Python pour récupérer les données de l’Insee

Le package pynsee facilite la récupération des données Insee pour les data scientists. La librairie est open source, disponible sur Github.

1 janv. 2023

Utilisation des images satellites pour la statistique publique

Utiliser les images satellites pour améliorer le recensement de la population dans les territoires ultra-marins

1 oct. 2022

Travaux méthodologiques sur l’enquête Budget de Famille

Modernisation de l’enquête budget des familles par utilisation d’outils de classification automatique

1 janv. 2022

Jocas, webscraping des offres d’emploi en ligne

Le projet Jocas (Job offers collection and analysis system) permet à la DARES (Service statistique ministériel Travail) de collecter automatique des offres d’emploi en…

1 janv. 2022

Codification automatique des professions dans la nomenclature PCS 2020

Codifier automatiquement les professions dans le cadre de la bascule vers la nouvelle nomenclature PCS (PCS 2020)

1 janv. 2021

Classification des données de caisse à partir de machine learning

Classifier des données de caisse dans la nomenclature COICOP par machine learning pour le calcul de l’IPC

1 janv. 2020

Codification automatique de l’activité des associations

Codification automatique de l’activité des associations à partir de méthodes de machine learning

1 juin 2019
Aucun article correspondant
]]> Python codification automatique package en production MLFlow https://ssphub-test.netlify.app/project/2022_codif_ape/ Sat, 01 Jan 2022 00:00:00 GMT Détecter la cybercriminalité dans les procédures https://ssphub-test.netlify.app/project/2021_detection_cyber/
Détecter la cybercriminalité dans les procédures
Détail du projet La cybercriminalité est une nouvelle forme de criminalité en plein essor, et la lutte contre celle-ci est un enjeu important pour les services de police et de gendarmerie. Elle s’avère toutefois particulièrement difficile à quantifier. Elle regroupe toutes les infractions pénales tentées ou commises à l’encontre ou principalement au moyen des systèmes d’information et de communication. La nomenclature des infractions ne permet de repérer qu’une partie de ce type de délinquance. Pour obtenir une meilleure mesure statistique, il est nécessaire d’utiliser des informations fournies dans des zones textuelles des procédures. L’enjeu de l’expérimentation est d’explorer le potentiel des méthodes d’analyse textuelle sur ces données pour mesurer l’ampleur de ce type de délinquance.
Acteurs Insee et service statistique ministériel de la sécurité intérieure (SSMSI)
Résultats du projet Les travaux ont été repris par le SSMSI pour en déduire notamment une nomenclature à deux dimensions des délits relevant du cyber. L’algorithme prédit à plus de 95% les infractions comme relevant de la cybercriminalité au sens de la définition. De même, il prédit moins de 1% d’infractions comme ne relevant pas de la cybercriminalité au sens de notre définition.
Produits et documentation du projet - Détection des infractions relevant de la cyberdélinquance à partir d’une analyse textuelle des manières d’opérer, Journée de méthodologie statistique, 2022
]]> en production SSMSI deep learning https://ssphub-test.netlify.app/project/2021_detection_cyber/ Tue, 01 Jun 2021 00:00:00 GMT Modélisation de l’appartenance au parc des véhicules routiers et de son utilisation https://ssphub-test.netlify.app/project/2021_vehicules/

Synthèse du projet

Modélisation de l’appartenance au parc des véhicules routiers et de son utilisation
Détail du projet Le SSM du ministère de la Transition écologique (SDES) a entrepris en 2019 la refonte du répertoire statistique des véhicules routiers (RSVero). Principale innovation de ce projet, l’utilisation des données de contrôles techniques permet de s’assurer que les véhicules immatriculés sont toujours en circulation et de déterminer leur utilisation annuelle, grâce au relevé du compteur kilométrique effectué à chaque visite. Cependant, l’intégration de ces données n’est pas sans poser de questions méthodologiques : les visites interviennent à des dates variables, parfois avec du retard, et on ne peut connaître avec certitude le statut des véhicules dont la dernière visite précède la date à laquelle on souhaite déterminer le parc. Le projet permet d’estimer, pour toutes les voitures du répertoire, la probabilité qu’elles soient toujours en circulation à une date donnée et, le cas échéant, la distance annuelle parcourue. Plus largement, ce projet s’inscrit dans le mouvement de développement de méthodologies de traitement des sources administratives.
Acteurs Insee, SSM Transition écologique (SDES)
Résultats du projet La méthodologie est aujourd’hui en production et utilisée pour déterminer chaque année les véhicules en circulation, leurs caractéristiques et leur utilisation.
Produits et documentation du projet - Méthodologie pour l’estimation des parcs de véhicules et des distances parcourues, document de travail, mars 2024
- Modélisation de l’appartenance au parc des véhicules routiers et de son utilisation, Journées de méthodologie statistique 2022

Projets similaires

]]> en production appariement SDES données administratives https://ssphub-test.netlify.app/project/2021_vehicules/ Tue, 01 Jun 2021 00:00:00 GMT Indices des prix à la consommation des nuitées hôtelières : l’expérience du webscraping d’une plateforme de réservation en ligne https://ssphub-test.netlify.app/project/2021_webscraping_ipc_hotel/

Synthèse du projet

Webscraping des prix de nuitées hôtelières pour construire l’indice des prix à la consommation
Détail du projet L’indice des prix à la consommation pour les nuitées hôtelières est calculé à partir de relevés effectués sur le terrain par des enquêtrices et enquêteurs de l’Insee qui relèvent le prix d’une chambre pour une nuitée le jour même pour 2 personnes avec petit-déjeuner. Afin d’améliorer l’indice et de s’émanciper de certaines limites de la méthode actuelle, ce projet explore une méthode de collecte innovante, le webscraping depuis un site de réservation.
Après récolte des données en ligne, celles-ci sont brutes et nécessitent un nettoyage : par exemple la valeur pour une caractéristique n’est pas forcément décrite de la même manière entre deux observations. Pour palier les problèmes liés à un indice à panier fixe, l’indice final est construit à partir de classes homogènes. Enfin, les résultats de l’indice calculé avec les données de la plateforme de réservation en ligne sont comparés avec l’indice publié.
Acteurs Insee
Résultats du projet Depuis 2026, l’indice des prix des hôtels provient pour moitié de collecte terrain et pour moitié de la plateforme de réservation.
Produits et documentation du projet - Indices des prix à la consommation des nuitées hôtelières : l’expérience du webscraping d’une plateforme de réservation en ligne, Journées de méthodologie statistique 2022

Projets similaires

Une évaluation des achats transfrontaliers de tabac et des pertes fiscales associées en France
expérimentation
données de téléphonie mobile
données CB
Insee

Exploitation d’une expérience naturelle, la fermeture des frontières en 2020, pour mesurer la part d’achats transfrontaliers de tabac

1 janv. 2024

Curiexplore, la plateforme de comparaison des politiques nationales d’enseignement et de recherche
webscraping
en production
datavisualisation
SIES

Visualisation interactive de l’environnement de l’enseignement et de la recherche dans les différents pays.

1 janv. 2022

Travaux méthodologiques sur l’enquête Budget de Famille
codification automatique
extraction de données
données de caisse

Modernisation de l’enquête budget des familles par utilisation d’outils de classification automatique

1 janv. 2022

Jocas, webscraping des offres d’emploi en ligne
webscraping
en production
codification automatique
DARES

Le projet Jocas (Job offers collection and analysis system) permet à la DARES (Service statistique ministériel Travail) de collecter automatique des offres d’emploi en…

1 janv. 2022

Baromètre de la science ouverte
webscraping
datavisualisation
open-data
en production
SIES

Pour être en mesure de suivre l’ouverture des publications scientifiques (objectif de la stratégie nationale de science ouverte), le service statistique du Ministère de…

1 janv. 2022

Prévoir la croissance en lisant le journal
Insee
machine learning
expérimentation
prévisions
webscraping

Utiliser les articles de presse en continu pour construire un indicateur aidant à prévoir la croissance

1 mars 2021

Utilisation de données de cartes bancaires et de téléphonie mobile pour prévoir l’activité économique
prévisions
expérimentation
Insee
données CB
données de téléphonie mobile

La crise sanitaire de 2020 a nécessité de revoir les processus de prévision pour être plus réactif face aux événements. Dans ce cadre, l’Insee s’est appuyé sur les données…

1 déc. 2020

Mouvements de population autour du confinement de mars 2020 grâce aux données de téléphonie mobile
datavisualisation
machine learning
Insee
expérimentation
open-data
données de téléphonie mobile

L’Insee a eu accès à des données de téléphonie mobile dans le cadre du suivi de la crise sanitaire de 2020. Ces données ont permis de produire les statistiques sur les…

1 nov. 2020

Webscrapper les caractéristiques des produits pour améliorer la mesure de l’inflation
Insee
IPC
webscraping
forêt aléatoire

Collecter sur le web les caractéristiques des produits pour améliorer la prise en compte des effets qualité dans l’indice des prix à la consommation

1 juin 2020

Classification des données de caisse à partir de machine learning
Python
codification automatique
données de caisse
COICOP
IPC
en production

Classifier des données de caisse dans la nomenclature COICOP par machine learning pour le calcul de l’IPC

1 janv. 2020

Ségrégation urbaine : un éclairage par les données de téléphonie mobile
Insee
expérimentation
données de téléphonie mobile
données administratives

Croisement de données administratives et de données de téléphonie pour analyser la ségrégation au niveau local

1 janv. 2018
Aucun article correspondant
]]> en production webscraping IPC Insee https://ssphub-test.netlify.app/project/2021_webscraping_ipc_hotel/ Tue, 01 Jun 2021 00:00:00 GMT Prévoir la croissance en lisant le journal https://ssphub-test.netlify.app/project/2021_gdp_media/

Synthèse du projet

Construction d’un indicateur de sentiment économique à partir d’articles de presse pour prévoir la croissance économique
Détail du projet L’information produite par les media est réactive, fournie et aborde de nombreux domaines économiques. En outre les techniques d’analyse textuelle (text mining) et de collecte automatisée des données en ligne (webscraping) permettent d’élaborer des indicateurs synthétisant cette richesse. Le but de l’expérimentation est d’estimer la plus-value d’un indicateur médiatique associé à l’activité économique par sa complémentarité avec les enquêtes de conjoncture existantes. Cette expérimentation complète les travaux pré-existants, qui cherchent à construire un indicateur aidant à prédire le PIB sur la base des archives du journal Le Monde, en mobilisant des sources journalistiques complémentaires et revoyant les modèles utilisés.
Acteurs Insee
Résultats du projet Un indicateur indicateur de sentiment médiatique conjoncturel a été construit à partir des tonalités des articles de presse.
Produits et documentation du projet - Comment prévoir l’emploi en lisant le journal, Note de conjoncture de mars 2017 ;
- Prévoir la croissance du PIB en lisant le journal, Economie et statistiques n° 505-506 - 2018 ;
- Les messages issus des articles de presse peuvent contribuer à prédire l’activité économique en temps réel, Notes et points de conjoncture de l’Insee de l’année 2020 ;
- Éclairage - L’activité économique française au travers d’articles de presse, Note de conjoncture de l’Insee de mars 2021 ;
- Prédire l’activité économique à partir d’articles de presse, Journées de méthodologie statistique 2022

Projets similaires

]]> Insee machine learning expérimentation prévisions webscraping https://ssphub-test.netlify.app/project/2021_gdp_media/ Mon, 01 Mar 2021 00:00:00 GMT Comparaison des méthodes d’appariement et apport du machine learning https://ssphub-test.netlify.app/project/2021_Appariement/
Comparaison des méthodes d’appariement et apport du machine learning
Détail du projet Le programme Resil vise à construire un système de répertoires d’individus, de ménages et de locaux d’habitation, durable et évolutif, mis à jour à partir de sources administratives diverses. Il nécessite l’agrégation de plusieurs sources de données sans identifiant direct commun.
Le but de l’expérimentation est de tester et de comparer différentes méthodes d’appariements afin de dégager des recommandations pour les travaux nécessaires à la construction des répertoires. Celles-ci seront fondées sur des critères de performance (qualité de l’appariement) mais aussi sur des considérations opérationnelles (facilité de déploiement, temps de calcul, etc.). L’objectif est notamment d’évaluer l’apport et les contraintes des méthodes probabilistes ainsi que du machine learning dans les tâches d’appariement. Ce travail s’accompagnera d’une réflexion sur la normalisation préalable des données et l’évaluation des résultats d’un appariement.
Acteurs Insee
Produits et documentation du projet - Méthodologie d’appariement de données individuelles, Journées de méthodologie statistique 2022 ;
- Probabilistes ou déterministes, des méthodes d’appariements au banc d’essai du programme RéSIL, Journées de méthodologie statistique 2022 ;
- Impact du nettoyage des données sur la qualité d’un appariement, Journées de méthodologie statistique 2022
- Les appariements : finalités, pratiques et enjeux de qualité, document de travail de l’Insee, juillet 2024
]]> appariement données administratives en production https://ssphub-test.netlify.app/project/2021_Appariement/ Fri, 01 Jan 2021 00:00:00 GMT Extraction automatique du tableau des filiales et participations des comptes sociaux des entreprises https://ssphub-test.netlify.app/project/2021_Extraction_CS/
Extraction automatique du tableau des filiales et participations des comptes sociaux des entreprises
Détail du projet Une expérimentation autour de l’extraction automatisée du tableau des filiales et participations des comptes sociaux des entreprises a été démarrée en 2022 à la suite d’un stage dans la division PTGU. Ce tableau est exploité à la main au cours des opérations de profilage des entreprises, ce qui constitue un travail fastidieux. L’expérimentation a été menée avec la Banque de France qui est intéressé par le même cas d’usage que l’Insee, avec deux objectifs principaux :

- développer un prototype d’application permettant à des utilisateurs de récupérer un tableau des filiales et participations automatiquement pour un numéro Siren et une année donnés ;
- comparer les performances de différentes méthodes d’extraction automatique de tableaux, basées d’une part sur des outils open-source et d’autre part sur des solutions commerciales.
Acteurs Insee, Inpi, Banque de France
Résultats du projet - Une API expérimentale et une interface expérimentale ont été mises en place pour répondre au besoin métier.
Produits et documentation du projet - Le projet a été présenté le 27 juin 2024 à un séminaire interne Insee slides
- Extraction automatique de données issues d’images scannées : Une illustration par les comptes sociaux d’entreprises, Journées de méthodologie statistique 2022
Code du projet - https://github.com/InseeFrLab/ca-document-querier/ : wrapper Python autour de l’API entreprises de l’Inpi
- https://github.com/InseeFrLab/extraction-comptes-sociaux : dépôt « core » où se trouvent les éléments pour la détection de page/extraction de tableaux
- https://github.com/InseeFrLab/extract-table-ui : dépôt de code de l’interface expérimentale
- https://github.com/InseeFrLab/extraction-comptes-sociaux-llm : code source de l’architecture globale, comprenant des microservices conteneurisés et orchestrés par Kubernetes. Il combine des appels à des API externes (INPI), le traitement de PDF, et l’utilisation de modèles de langage (LLM) pour l’analyse et l’extraction de données.
]]> Python extraction de données API machine learning en production https://ssphub-test.netlify.app/project/2021_Extraction_CS/ Fri, 01 Jan 2021 00:00:00 GMT