Datami

Editez, visualisez, partagez 
 et contribuez à vos données 
 en toute simplicité

Julien Paris
développeur fullstack
co-fondateur de la coopérative multi

20 mars 2023
Plan en pressant echap
Versions : fr / en

Aider vos publics avec vos données

Quels enjeux ?

Enjeu #1

Rendre vos données intelligibles

 
 

Vos données brutes
sans Datami

Vos données valorisées
avec Datami

Enjeu #2

Faciliter la mise à jour et la contribution

Manipuler des données est une question d’habitudes, faciliter leur manipulation pour le plus grand nombre signifie qu’il faut s’adapter aux habitudes du plus grand nombre

Pour permettre à chacun de facilement contribuer aux données la vue sous forme de table est encore aujourd’hui la plus communément adoptée

 

Enjeu #3

Le faire de façon économique

Lorsqu’on est une structure de taille petite ou moyenne (association, collectivité…) et qu’on produit des données d’intérêt général il peut être compliqué de les mettre en valeur sur son site ou de faire appel à sa communauté pour les mettre à jour

Manque de moyens, manque de compétences, manque de temps…

Le coût des solutions techniques habituelles de partage / visualisation / contribution aux données s’explique souvent par la complexité technique de ces fonctionnalités

Un autre coût est lié à la nécessité de mettre en place des serveurs dédiés en backend ou des configurations très spécifiques

La maintenance des applicatifs ou des serveurs sont générateurs de coûts souvent importants

L’architecture originale de Datami permet de s’affranchir d’une grande part de ces coûts de serveurs de backend tout en permettant une personnalisation jeu de données par jeu de données

Valorisez vos données d’intérêt général avec Datami

 

Vos tableurs transformés en cartographies

Datami permet de créer des cartes interactives sur mesure

Vos données territoriales peuvent être visualisées sous forme géographique, quelles que soient leurs thématiques

 

Visualisez vos données
sous tous les angles

Vos données peuvent être visualisées comme des tableurs, des cartes, des listes de fiches miniatures ou détaillées, ou des graphiques

Toutes les vues sont interactives et configurables afin de mettre en lumière toutes les spécificités de vos données

 

Adaptez Datami
en fonction de vos besoins

 
 

Vos maquettes
et vos données…

… implémentées et valorisées
avec Datami

Vous contrôlez vos données
Datami les rend intelligibles

L’architecture de Datami est pensée comme une interface entre le citoyen et votre base de données afin de faciliter le lien entre les citoyens et les producteurs d’open data

Datami ne stocke pas vos données : vos données restent sur l’outil de votre choix (Github, Gitlab, base de données ou API).

Utiliser Datami est ainsi plus économique car il vous évite d’avoir à installer et à maintenir un backend dédié.

Intégrez Datami à votre site
et chez vos partenaires

Datami utilise la technologie des widgets : des modules clé en main et personnalisables que vous pouvez ajouter sur un site déjà existant

Les widgets Datami sont open source, simples à copier-coller, sans abonnement, sans surcoût

 

Une mise à jour des données simplifiée et contributive

Permettez à vos équipes et à vos publics d’améliorer les données

Datami inclut un système de contribution et de modération

En s’appuyant sur le langage Git, les widgets Datami vous permettent de garder la main sur vos données et de gérer les contributions, sans création de compte pour proposer des améliorations

 

Structurez vos données
pour les rendre interopérables

Vos données peuvent être associées à des fichiers permettant de les structurer, tels que des fichiers de schéma de données

En associant votre jeu de données à un schéma de données respectant des standards internationaux vous vous assurez qu’elles pourront être correctement réutilisées et améliorées

 

Un outil de pilotage

Pilotez vos actions de terrain par la donnée

Explorer vos données vous permet de mieux comprendre et piloter vos actions sur le terrain

Datami permet de mettre en place des data-visualisations interactives personnalisées, afin de rendre vos données facilement explorables

 

Un outil open source

Un logiciel libre et multi-usages

 

Découvrez les interfaces

Datami est un logiciel sous licence libre entièrement auditable et réutilisable

Pour découvrir et apprendre à utiliser Datami vous pouvez :

Le site officiel

Sur notre site officiel vous trouverez des vidéos de présentation, des exemples, ainsi que notre espace de blog

Le site est traduit au français et à l’anglais

 

🚀 datami.multi.coop

Le code source

Notre code source est sur Gitlab sous licence open source

N’hésitez pas à nous signaler les bugs en proposant des issues, ou à donner des idées de nouvelles fonctionnalités sur notre roadmap

Un repo miroir est également synchronisé automatiquement sur Github

Pensez à laisser une petite ⭐️ si le projet vous plaît !

 

💻 Repo Gitlab

Le site de documentation technique

Visitez également notre site de documentation dédié

Le site est traduit au français et à l’anglais

Vous y trouverez différentes sections: principes techniques, tutoriels, exemples, description des différents widgets et de leurs éléments de configuration…

 

🔧 datami-docs.multi.coop

La stack technique

La stack technique est entièrement composée de librairies open source

Référencement

Sur Le Comptoir du Libre

Visitez cette page pour laisser un commentaire sur Datami !

 

Sur AlternativeTo

Visitez cette page pour laisser un commentaire sur Datami !

 

Offre de services

L’offre Datami par la coopérative multi

Afin de rendre Datami le plus accessible possible, nous avons pour principe celui de mutualiser la conception et les coûts de développements

Tous les développements - même minimes - contribuant à améliorer Datami profitent ainsi au final à tous les utilisateurs

 

Mise en place de Datami

 

Nous proposons un forfait économique de quelques jours seulement pour un accompagnement de mise en place de Datami

Nous pouvons vous aider à configurer Datami et vous conseiller dans votre projet de valorisation de données

Logiciel libre

 

Datami est un outil 100% open source

Vous pouvez utiliser Datami tel quel en vous appuyant sur la documentation, vous êtes libre !

Développements personnalisés

 

N’hésitez pas à nous contacter pour nous faire part de vos besoins pour vous établir un devis personnalisé

Nous avons à cœur de continuer à développer et d’améliorer Datami, et nous proposons également des services en data science et data engineering

Guide d’installation

Le code source

Clonez le code source depuis le repo Gitlab de Datami

git clone git@gitlab.com:multi-coop/datami-project/datami.git

Puis accédez au dossier

cd datami

Installation

Installez npm 8.3.2 …

npm install -g npm@8.3.2

… ou utilisez nvm

brew install nvm # sur mac
nvm use

Installez les dépendances

npm install

Créez un fichier .env localement sur la base du ficher example.env en exemple

cp example.env .env

Lancez Datami

Lancez le script

npm run serve

Dans votre navigateur

http://localhost:8080

Liste d’exemples de widgets

Lancez le serveur local

nvm use
npm run http

Dans votre navigateur

http://localhost:8180/html-tests/

Benchmark

Il existe plusieurs solutions de datavisualisation et d’édition
partageant des similitudes avec Datami

Voici quelques-unes des solutions les plus populaires

Ces benchmarks sont donnés à titre purement indicatif

N’hésitez pas à nous écrire à
contact@multi.coop
si vous souhaitez y apporter des corrections ou des ajouts

Outils de datavisualisation

Solution Type de solution Langages supportés Niveau de difficulté En Saas Site officiel
Gogocarto Open source Propre langage de requête Facile Oui https://gogocarto.fr/projects
Umap Open source Propre langage de requête Facile Oui https://umap.openstreetmap.fr/
Lizmap Open source Propre langage de requête Moyen Oui https://www.lizmap.com
Apache Superset Open source SQL Moyen Oui https://superset.apache.org/
Apache Zeppelin Open source Plusieurs langages de programmation Difficile Non https://zeppelin.apache.org/
BIRT Open source Java, JavaScript Difficile Non https://www.eclipse.org/birt/
FineReport Open source Java, JavaScript Moyen Non https://www.finereport.com/en
Grafana Open source Propre langage de requête Difficile Non https://grafana.com/
Metabase Open source SQL Facile Oui https://www.metabase.com/
Redash Open source SQL Moyen Non https://redash.io/
Datasette Open source SQL Moyen Non https://datasette.io/
LightDash Open source Dbt Moyen Oui https://www.lightdash.com/
Google Data Studio Gratuit SQL Facile Oui https://datastudio.google.com/
Datawrapper Commercial API, CSV, GSheet Facile Oui https://www.datawrapper.de/
Google Looker Commercial LookML Difficile Oui https://looker.com/
Microsoft Power BI Commercial DAX et M Moyen Oui https://powerbi.microsoft.com/
QlikView Commercial Propre langage de script Difficile Oui https://www.qlik.com/
Tableau Commercial Calculs personnalisés Moyen Oui https://www.tableau.com/

Outils d’édition en ligne

Solution Type de solution Langages supportés Niveau de difficulté Saas Public visé Site officiel
Apache Zeppelin Open source Scala, Python, R, SQL Difficile Non Développeurs et utilisateurs professionnels https://zeppelin.apache.org/
Baserow Open source Python, Javascript, Vue.js Moyen Oui Développeurs et utilisateurs professionnels https://baserow.io/
Grist Open source Python Facile Oui Entreprises, organisations sans but lucratif, gouvernements, universités, chercheurs https://getgrist.com/
Metabase Open source Java, Clojure Moyen Oui Startups, PME, organisations sans but lucratif https://www.metabase.com/
LockoKit Open source … Moyen Non Développeurs et utilisateurs professionnels https://locokit.io/
NoCodB Open source Javascript, Node.js Facile Oui Développeurs et utilisateurs professionnels https://nocodb.com/
Gsheet Gratuit Aucune Facile Oui Entreprises, équipes, indépendants, PME https://www.google.com/sheets/about/
Airtable Commercial Aucune Facile Oui Entreprises, équipes, indépendants, PME https://airtable.com/
Qlikview Commercial Aucune Moyen Oui Grandes entreprises, institutions financières https://www.qlik.com/us/

Benchmark fonctionnel

Parmi toutes les solutions que nous venons de lister certaines peuvent être relativement aisément
comparées avec les fonctionnalités principales proposées par Datami

Solution Open source Facilité Vue table Vue fiches Vue carto Vue dataviz Edition Modération Interface de configuration Data sources Backend Widget Site officiel
Datami ✅ ⭐⭐ ✅ ✅ ✅ ✅ ✅ ✅ ❌ (for now) API ext. (Git) Git platforms / APIs ✅ Website
Metabase ✅ ⭐⭐ ✅ ❓ ✅ ✅ ⚠️ ❌ ✅ SQL, connectors server / APIs ✅ Website
Gogocarto ✅ ⭐⭐⭐ ✅ ✅ ✅ ❌ ✅ ❌ ✅ proper server / APIs ✅ Website
Lizmap ✅ ⭐ ⚠️ ❌ ✅ ✅ ✅ ❌ ✅ PostGreSQL server / ❓ ✅ Website
Umap ✅ ⭐⭐⭐ ❌ ❌ ✅ ❌ ✅ ❌ ✅ … server / ❓ ✅ Website
Grist ✅ ⭐ ✅ ✅ ❌ ❌ ✅ ❓ ✅ SQL server / APIs ❌ Website
Baserow ✅ ⭐⭐ ✅ ✅ ❌ ❌ ✅ ❓ ✅ SQL server / ❓ ❌ Website
LockoKit ✅ ⭐⭐ ✅ ❌ ❌ ❌ ✅ ❓ ✅ PostgreSQL server / ❓ ❌ Website
NoCodB ✅ ⭐ ✅ ❌ ❌ ❌ ✅ ❓ ✅ SQL server / ❓ ❌ Website
Apache Superset ✅ ⭐⭐ ✅ ❌ ❌ ✅ ✅ ❓ ✅ SQL server / Saas ❓ Website
Datawrapper 🔒 ⭐⭐⭐ ✅ ❓ ✅ ✅ ❌ ❌ ✅ SQL, connectors Saas ✅ Website
Airtable 🔒 ⭐⭐⭐ ✅ ✅ ❌ ⚠️ ✅ ⚠️ ✅ proper, connectors Saas ✅ Website
Gsheet 🔒 ⭐⭐⭐ ✅ ❌ ❌ ✅ ✅ ✅ ✅ proper, connectors Saas ✅ Website

Les ❓ indiquent que l’information est à compléter
Les ⚠️ que la fonctionnalité peut être mise en place mais que son usage peut être ardu

Bien que ces solutions partagent certaines fonctionnalités avec Datami, elles peuvent différer considérablement en termes de coût, de complexité et de fonctionnalités spécifiques

Il est important de prendre en compte les besoins spécifiques de chaque projet avant de choisir la solution de datavisualisation et d’édition en ligne la plus adaptée

Feuilles de route techniques

Voici une liste de différentes fonctionnalités
reflétant les demandes et les besoins émanant
de nos différents utilisateurs à ce jour.

Cette feuille de route est à prendre comme une whish list des fonctionnalités que nous considérons comme intéressantes et compatibles avec Datami, et que nous aimerions pouvoir développer si nous arrivons à trouver les financements correspondants.

Les développements sont décrits par :

  • Milestone : la famille de fonctionnalités
  • Features : la fonctionnalité à développer
  • Priority ( 🔴 ) : importance donnée à la fonctionnalité par les utilisateurs
  • Difficulty ( ▪️ ) : complexité anticipée des développements
  • Dev. + man. : somme des temps de développement et de gestion de projet à prévoir (en jours / personne)

Feuille de route technique 2023 - globale


Classement par milestones

Milestones Priority Difficulty Dev + man.
More data sources 🔴 high ▪️ easy 38 days
Online widget configuration 🔴 high ▪️▪️▪️ hard 26 days
Manage contribution widget 🔴 high ▪️▪️▪️ hard 25 days
Protect widget with password 🟠 medium ▪️ easy 12 days
Better UX - data management 🟡 low ▪️▪️ medium 42 days
Better UX - data interaction 🟡 low ▪️▪️ medium 44 days
Better UX - maps 🟡 low ▪️▪️ medium 37 days
Better UI - customization 🟠 medium ▪️ easy 13 days
Better UI - new views 🟡 low ▪️▪️ medium 27 days
Refactoring 🟠 medium ▪️▪️▪️ hard 48 days
Tests 🟡 low ▪️▪️▪️ hard 18 days
TOTAL 330 days

Schémas des futurs développements

Les parties en orange symbolisent les principales milestones à développer décrites dans les feuilles de route.

Les parties en turquoise symbolisent les fonctionnalités déjà existantes dans Datami.

  • A : Online widget configuration
  • B : Manage contribution widget
  • C : More data sources
 

Feuille de route technique 2023 - détaillée 1/2

Milestones Features Priority Difficulty Dev + man.
More data sources Connect to external APIs - generic 🔴 high ▪️ easy 5 days
More data sources Connect to external APIs - OSM 🟡 low ▪️ easy 5 days
More data sources Activity pub integration 🟡 low ▪️▪️▪️ hard 18 days
More data sources Connector to SourceForge 🟡 low ▪️▪️▪️ hard 5 days
More data sources Connector to BitBucket 🟡 low ▪️▪️▪️ hard 5 days
Online widget configuration Interactive interface + preview 🔴 high ▪️▪️▪️ hard 20 days
Online widget configuration Save new config to git repo 🔴 high ▪️▪️ medium 6 days
Manage contribution widget Interface loading last PRs from repo 🔴 high ▪️▪️▪️ hard 15 days
Manage contribution widget Accept / moderate PR + messages 🔴 high ▪️ easy 10 days
Protect widget with password Protect access before showing widget 🟠 medium ▪️ easy 6 days
Protect widget with password Special token for protected widget 🟠 medium ▪️▪️ medium 6 days
Better UX - data management Add a new column + update schema 🟠 medium ▪️▪️ medium 10 days
Better UX - data management Drag & drop CSV to widget 🟡 low ▪️▪️ medium 10 days
Better UX - data management Save CSV file to Git repo 🟡 low ▪️▪️ medium 4 days
Better UX - data management Add / drag-drop a picture in a cell 🟡 low ▪️▪️ medium 6 days
Better UX - data management Cache user changes / branch until pushing 🟠 medium ▪️▪️▪️ hard 12 days
Better UX - data interaction Full screen - debug 🟠 medium ▪️▪️ medium 6 days
Better UX - data interaction Range filter 🟡 low ▪️ easy 4 days
Better UX - data interaction Change width column 🟠 medium ▪️▪️ medium 8 days
Better UX - data interaction Helper at loader 🟡 low ▪️ easy 2 days
Better UX - data interaction Better integration of Frictionless data packages 🟡 low ▪️▪️▪️ hard 12 days
Better UX - data interaction Export as pdf 🟡 low ▪️▪️▪️ hard 12 days

Feuille de route technique 2023 - détaillée 2/2

Milestones Features Priority Difficulty Dev + man.
Better UX - maps Inject data to vector tiles on map view 🟡 low ▪️▪️ medium 8 days
Better UX - maps Add or edit geojson objects 🟡 low ▪️▪️▪️ hard 29 days
Better UI - customization Custom styles / CSS / logos 🟠 medium ▪️ easy 4 days
Better UI - customization Accessibility 🟠 medium ▪️▪️ medium 9 days
Better UI - new views Agenda view 🟡 low ▪️ easy 8 days
Better UI - new views Graphs view with D3js 🟡 low ▪️▪️ medium 10 days
Better UI - new views Simultaneous dataviz + map on same view 🟡 low ▪️▪️ medium 9 days
Refactoring Put all git* requests into a package 🟡 low ▪️▪️▪️ hard 15 days
Refactoring Migration to Typescript 🟠 medium ▪️▪️▪️ hard 15 days
Refactoring Migration to Vue3 🟡 low ▪️▪️▪️ hard 18 days
Tests Add functional & unit tests 🟡 low ▪️▪️▪️ hard 18 days

Feuille de route technique 2023 - globale


Classement par priorité / difficulté

Priority / Difficulty ▪️▪️▪️ hard ▪️▪️ medium ▪️ easy TOTAL
🔴 high 35 days 6 days 15 days 56 days
🟠 medium 27 days 39 days 10 days 76 days
🟡 low 132 days 47 days 19 days 198 days
TOTAL 194 days 92 days 44 days 330 days

Planning prévisionnel

 

Note : ce planning est appelé à évoluer en fonction des demandes des utilisateurs et des financements.

Crédits

Un projet par la coopérative multi

Notre coopérative contribue à développer des communs numériques et des services associés, en regroupant une communauté de professionnel·le·s oeuvrant pour un numérique d’intérêt général

 

🚀 https://multi.coop

Nos premiers utilisateurs

 

Nos sponsors

Datami a été un projet lauréat du Plan France Relance 2022 et a bénéficié du soutien des organismes suivants

 

Merci pour votre attention !


 

Datami

est un projet porté par la coopérative

multi

 
 

contact@multi.coop

Source de la présentation