from pathlib import Path
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
plt.rcParams["figure.dpi"] = 140
DATA_DIR = Path("data/pandas")13 Vaje: pandas
Ta beležnica spremlja poglavje o pandas. Zasnovana je kot kratek praktični sklop: najprej osvežimo osnove tabel, nato pa naredimo aplikativne analize na dejanskih podatkih iz izvornih repozitorijev.
Priporočen način dela:
- najprej poženite vse podane celice,
- nato spreminjajte pogoje, stolpce in grupiranja,
- pri vsakem delu razmislite, ali bi problem reševali s
loc,iloc, filtrom aligroupby().
13.1 Datoteke za vaje
V tej beležnici uporabljamo dejanske datoteke, povzete iz izvornih repozitorijev:
data/pandas/bikes.csv,data/pandas/ljubljana2020.csv,data/pandas/covid19_si.csv.
Po želji lahko pogledate tudi data/pandas/weather_2012.csv, ki ostaja uporaben dodaten primer časovne vrste.
13.2 Osnovni DataFrame
V prvi vaji ustvarimo majhno tabelo in ponovimo osnovne operacije: izbor stolpcev, filtriranje, dodajanje stolpca in grupiranje.
podatki = pd.DataFrame(
{
"mesto": ["Ljubljana", "Maribor", "Celje", "Koper", "Novo mesto"],
"temperatura": [28, 30, 27, 29, 26],
"padavine": [2.1, 0.0, 5.4, 1.2, 3.8],
"regija": ["osrednja", "stajerska", "stajerska", "primorska", "dolenjska"],
}
)
podatkiprint(podatki[["mesto", "temperatura"]])
print()
print(podatki[podatki["temperatura"] >= 29])podatki["temperatura_F"] = podatki["temperatura"] * 9 / 5 + 32
podatki["oznaka"] = np.where(podatki["padavine"] > 1, "mokro", "suho")
podatkipovzetek = podatki.groupby("regija")[["temperatura", "padavine"]].mean()
povzetekPoskusi sam:
- izberi samo mesta brez padavin,
- uredi tabelo po temperaturi od najvišje do najnižje,
- dodaj stolpec, ki pove, ali je dan
vročealizmerno.
13.3 Branje CSV in pregled podatkov
Ta primer je neposredno navezan na izvorne pandas primere z datoteko bikes.csv.
bikes_path = DATA_DIR / "bikes.csv"
kolesarji_raw = pd.read_csv(bikes_path, encoding="latin1")
kolesarji_raw.head()kolesarji = pd.read_csv(
bikes_path,
sep=";",
encoding="latin1",
parse_dates=["Date"],
dayfirst=True,
index_col="Date",
)
kolesarji.head()berri = kolesarji[["Berri 1"]].copy()
berri["dan_v_tednu"] = berri.index.dayofweek
tedenski_vzorec = berri.groupby("dan_v_tednu")[["Berri 1"]].sum()
tedenski_vzorec.index = ["pon", "tor", "sre", "čet", "pet", "sob", "ned"]
tedenski_vzorec.plot(kind="bar", legend=False, color="steelblue", figsize=(7, 4))
plt.title("Število kolesarjev po dnevih v tednu")
plt.ylabel("število")
plt.show()
tedenski_vzorecPoskusi sam:
- izračunaj povprečje namesto vsote,
- primerjaj
Berri 1inMaisonneuve 1, - ugotovi, ali so vikend vrednosti nižje od delovnih dni.
13.4 Vremenski podatki
Ta del temelji na logiki beležnice 08 pandas vreme.ipynb in uporablja dejansko datoteko ljubljana2020.csv.
vreme_path = DATA_DIR / "ljubljana2020.csv"
vreme = pd.read_csv(vreme_path, parse_dates=["valid"], index_col="valid")
vremevreme.info()vreme.describe()topli_dnevi = vreme[vreme[" povp. dnevna T [°C]"] >= 8]
topli_dnevivreme["mesec"] = vreme.index.month
vreme_po_mesecih = vreme.groupby("mesec")[[" povp. dnevna T [°C]", "trajanje sonca [h]", "oblačnost [%]"]].mean()
vreme_po_mesecihvreme[" povp. dnevna T [°C]"].plot(marker="o", figsize=(8, 4.5), title="Temperatura po datumih")
plt.ylabel("temperatura [C]")
plt.show()Poskusi sam:
- poišči dneve, ko je grmelo,
- uredi tabelo po stolpcu
trajanje sonca [h], - izriši histogram stolpca
povp. dnevna T [°C].
13.5 Časovna analiza primerov okužb
Ta vaja je navdihnjena z beležnico pandas covid.ipynb in uporablja lokalno kopijo dejanskih podatkov covid19_si.csv.
covid_path = DATA_DIR / "covid19_si.csv"
covid = pd.read_csv(covid_path, parse_dates=["date"], index_col="date")
covid = covid.loc["2020-09":"2020-11", ["cases.confirmed", "cases.active", "tests.performed"]].copy()
covid.head()covid["week"] = covid.index.isocalendar().week
covid[["cases.confirmed", "week"]].head()covid_tedensko = covid.groupby("week")[["cases.confirmed", "tests.performed"]].sum()
covid_tedenskocovid_resample = covid[["cases.confirmed"]].resample("W").sum()
covid_resamplecovid[["cases.confirmed", "cases.active"]].plot(figsize=(8, 4.5), marker="o")
plt.title("Dnevni potek primerov")
plt.ylabel("število")
plt.show()Poskusi sam:
- izberi samo drugi teden podatkov,
- primerjaj
groupby("week")inresample("W"), - izračunaj še povprečno število testov na teden.
13.6 Združevanje tabel
Na koncu sledi še en kratek primer merge(), ker bomo to logiko kmalu potrebovali tudi pri atributnih tabelah v GeoPandas.
postaje = pd.DataFrame(
{
"postaja": ["LJ", "MB", "KP"],
"ime": ["Ljubljana", "Maribor", "Koper"],
}
)
meritve = pd.DataFrame(
{
"postaja": ["LJ", "MB", "KP"],
"temp_C": [11.2, 9.8, 14.5],
}
)
pd.merge(postaje, meritve, on="postaja")13.7 Samostojni izziv
Pripravi lasten mali CSV primer z datumi in vsaj tremi stolpci. Nato:
- ga preberi z
pd.read_csv(), - nastavi datumski indeks,
- dodaj nov izpeljan stolpec,
- naredi eno
groupby()analizo, - izriši en graf.