Python pour les scientifiques
Une rapide introduction
Créer une dataframe et obtenir des infos
On peut construire une DataFrame à partir de dictionnaires, tableaux numpy, … ou de fichiers :
# Dictionnaire des colonnes
d = {
"one": pd.Series([1.0, 2.0, 3.0], index=["a", "b", "c"]),
"two": pd.Series([1.0, 2.0, 3.0, 4.0], index=["a", "b", "c", "d"]),
"three": pd.Series([1.0, 2.0 ], index=["b", "d"])
}
df = pd.DataFrame(d)
# Liste des lignes
df = pd.DataFrame([{"one": 1, "two": 2}, {"one": 5, "two": 10, "three": 20}])
# Fichier CSV
df = pd.read_csv("fichier.csv", delimiter=";")- on obtient des infos avec
df.info(),df.describe(),df.head() - statistiques descriptives (mean, std, count)
df.describe(), (unique, top, freq)df.describe(include='category')
Vérifier et corriger les types
- Les types des colonnes peuvent être le type générique “object”.
- si des données sont des temps (
datetime), des données catégoriellescategories, des données numériques, il faut fixer les types
def read_data(filepath: str):
df = pd.read_csv(filepath, delimiter=";")
return df
def fix_datatypes(df):
cat_columns = ['code_station', 'libelle_station', ...]
for c in cat_columns:
df[c] = df[c].astype('category')
df["date_observation"] = pd.to_datetime(df["date_observation"])
df = read_data("ecoulements.csv")
fix_datatypes(df)
Important fixer les types des séries permet de profiter de toutes les fonctionnalités associées (e.g. catégories, temps)
Joindre des tables
On peut joindre plusieurs dataframes par des clés, e.g. :
- une table définit des campagnes de mesures avec leurs dates, l’opérateur, etc…
- une table contient des observations, associées à un identifiant de campagne de mesures
Ces tableaux peuvent être joints, par exemple pour lister les observations réalisées par un opérateur.
pd.merge dans les cheatsheets pandasTracer des données
Pandas est interfacée avec matplotlib pour le tracé d’histogrammes (hist), nuages de points (scatter), séries (plot, même avec le temps !)
Les fonctions de tracé conduisent à des tracés indépendants pour des données groupées groupby.
Matplotlib for beginners
Matplotlib for intermediate users
Les cheatsheats (1/2)
Les cheatsheats (2/2)
Qu’apporte scikit-learn ? Une vue d’ensemble
Scikit-learn est une librairie python qui offre:
- des intefaces à plusieurs jeux de données classiques sklearn.datasets
- des fonctions pour prétraiter les données sklearn.preprocessing (e.g. normaliser, traiter les données catégorielles, …), de réduction de dimensions sklearn.feature_selection, sklearn.feature_extraction
- différentes familles de prédicteurs : modèles linéaires, arbres, svm,
- voir des aggrégats de prédicteurs
- des métriques d’évaluation sklearn.metrics
- des algorithmes d’évaluation du risque réel cross_validation,
- des algorithmes de recherche des meilleurs hyperparamètres sklearn.model_selection
Le tout étant pipelinable et disposant d’une interface commune.
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
# Chargement des données
iris = load_iris()
X, y = iris.data, iris.target
# Construction d'un pli d'entrainement et un pli de test
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
# Construction du prédicteur et entrainement
clf = make_pipeline(StandardScaler(), KNeighborsClassifier(3))
clf.fit(X_train, y_train)
# Evaluation du risque sur un pli de test
score = clf.score(X_test, y_test)
# Inférence sur le pli de test
y_test_pred = clf.transform(X_test)
