from pathlib import Path
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
plt.rcParams["figure.dpi"] = 140
DATA_DIR = Path("data/pandas")13 Vaje: pandas
Ta beležnica spremlja poglavje o pandas. Zasnovana je kot kratek praktični sklop: najprej osvežimo osnove tabel, nato pa naredimo aplikativne analize na dejanskih podatkih iz izvornih repozitorijev.
Priporočen način dela:
- najprej poženite vse podane celice,
- nato spreminjajte pogoje, stolpce in grupiranja,
- pri vsakem delu razmislite, ali bi problem reševali s
loc,iloc, filtrom aligroupby().
13.1 Datoteke za vaje
V tej beležnici uporabljamo dejanske datoteke, povzete iz izvornih repozitorijev:
data/pandas/bikes.csv,data/pandas/ljubljana2020.csv,data/pandas/covid19_si.csv.
Po želji lahko pogledate tudi data/pandas/weather_2012.csv, ki ostaja uporaben dodaten primer časovne vrste.
13.2 Osnovni DataFrame
V prvi vaji ustvarimo majhno tabelo in ponovimo osnovne operacije: izbor stolpcev, filtriranje, dodajanje stolpca in grupiranje.
podatki = pd.DataFrame(
{
"mesto": ["Ljubljana", "Maribor", "Celje", "Koper", "Novo mesto"],
"temperatura": [28, 30, 27, 29, 26],
"padavine": [2.1, 0.0, 5.4, 1.2, 3.8],
"regija": ["osrednja", "stajerska", "stajerska", "primorska", "dolenjska"],
}
)
podatki| mesto | temperatura | padavine | regija | |
|---|---|---|---|---|
| 0 | Ljubljana | 28 | 2.1 | osrednja |
| 1 | Maribor | 30 | 0.0 | stajerska |
| 2 | Celje | 27 | 5.4 | stajerska |
| 3 | Koper | 29 | 1.2 | primorska |
| 4 | Novo mesto | 26 | 3.8 | dolenjska |
print(podatki[["mesto", "temperatura"]])
print()
print(podatki[podatki["temperatura"] >= 29]) mesto temperatura
0 Ljubljana 28
1 Maribor 30
2 Celje 27
3 Koper 29
4 Novo mesto 26
mesto temperatura padavine regija
1 Maribor 30 0.0 stajerska
3 Koper 29 1.2 primorska
podatki["temperatura_F"] = podatki["temperatura"] * 9 / 5 + 32
podatki["oznaka"] = np.where(podatki["padavine"] > 1, "mokro", "suho")
podatki| mesto | temperatura | padavine | regija | temperatura_F | oznaka | |
|---|---|---|---|---|---|---|
| 0 | Ljubljana | 28 | 2.1 | osrednja | 82.4 | mokro |
| 1 | Maribor | 30 | 0.0 | stajerska | 86.0 | suho |
| 2 | Celje | 27 | 5.4 | stajerska | 80.6 | mokro |
| 3 | Koper | 29 | 1.2 | primorska | 84.2 | mokro |
| 4 | Novo mesto | 26 | 3.8 | dolenjska | 78.8 | mokro |
povzetek = podatki.groupby("regija")[["temperatura", "padavine"]].mean()
povzetek| temperatura | padavine | |
|---|---|---|
| regija | ||
| dolenjska | 26.0 | 3.8 |
| osrednja | 28.0 | 2.1 |
| primorska | 29.0 | 1.2 |
| stajerska | 28.5 | 2.7 |
Poskusi sam:
- izberi samo mesta brez padavin,
- uredi tabelo po temperaturi od najvišje do najnižje,
- dodaj stolpec, ki pove, ali je dan
vročealizmerno.
13.3 Branje CSV in pregled podatkov
Ta primer je neposredno navezan na izvorne pandas primere z datoteko bikes.csv.
bikes_path = DATA_DIR / "bikes.csv"
kolesarji_raw = pd.read_csv(bikes_path, encoding="latin1")
kolesarji_raw.head()| Date;Berri 1;Brébeuf (données non disponibles);Côte-Sainte-Catherine;Maisonneuve 1;Maisonneuve 2;du Parc;Pierre-Dupuy;Rachel1;St-Urbain (données non disponibles) | |
|---|---|
| 0 | 01/01/2012;35;;0;38;51;26;10;16; |
| 1 | 02/01/2012;83;;1;68;153;53;6;43; |
| 2 | 03/01/2012;135;;2;104;248;89;3;58; |
| 3 | 04/01/2012;144;;1;116;318;111;8;61; |
| 4 | 05/01/2012;197;;2;124;330;97;13;95; |
kolesarji = pd.read_csv(
bikes_path,
sep=";",
encoding="latin1",
parse_dates=["Date"],
dayfirst=True,
index_col="Date",
)
kolesarji.head()| Berri 1 | Brébeuf (données non disponibles) | Côte-Sainte-Catherine | Maisonneuve 1 | Maisonneuve 2 | du Parc | Pierre-Dupuy | Rachel1 | St-Urbain (données non disponibles) | |
|---|---|---|---|---|---|---|---|---|---|
| Date | |||||||||
| 2012-01-01 | 35 | NaN | 0 | 38 | 51 | 26 | 10 | 16 | NaN |
| 2012-01-02 | 83 | NaN | 1 | 68 | 153 | 53 | 6 | 43 | NaN |
| 2012-01-03 | 135 | NaN | 2 | 104 | 248 | 89 | 3 | 58 | NaN |
| 2012-01-04 | 144 | NaN | 1 | 116 | 318 | 111 | 8 | 61 | NaN |
| 2012-01-05 | 197 | NaN | 2 | 124 | 330 | 97 | 13 | 95 | NaN |
berri = kolesarji[["Berri 1"]].copy()
berri["dan_v_tednu"] = berri.index.dayofweek
tedenski_vzorec = berri.groupby("dan_v_tednu")[["Berri 1"]].sum()
tedenski_vzorec.index = ["pon", "tor", "sre", "čet", "pet", "sob", "ned"]
tedenski_vzorec.plot(kind="bar", legend=False, color="steelblue", figsize=(7, 4))
plt.title("Število kolesarjev po dnevih v tednu")
plt.ylabel("število")
plt.show()
tedenski_vzorec<Figure size 980x560 with 1 Axes>
| Berri 1 | |
|---|---|
| pon | 134298 |
| tor | 135305 |
| sre | 152972 |
| čet | 160131 |
| pet | 141771 |
| sob | 101578 |
| ned | 99310 |
Poskusi sam:
- izračunaj povprečje namesto vsote,
- primerjaj
Berri 1inMaisonneuve 1, - ugotovi, ali so vikend vrednosti nižje od delovnih dni.
13.4 Vremenski podatki
Ta del temelji na logiki beležnice 08 pandas vreme.ipynb in uporablja dejansko datoteko ljubljana2020.csv.
vreme_path = DATA_DIR / "ljubljana2020.csv"
vreme = pd.read_csv(vreme_path, parse_dates=["valid"], index_col="valid")
vreme| station id | station name | povp. dnevna T [°C] | višina snežne odeje [cm] | trajanje sonca [h] | oblačnost [%] | grmenje | |
|---|---|---|---|---|---|---|---|
| valid | |||||||
| 2020-01-01 | _1895 | LJUBLJANA - BEŽIGRAD | -0.6 | 0 | 6.7 | 7 | ne |
| 2020-01-02 | _1895 | LJUBLJANA - BEŽIGRAD | -2.7 | 0 | 2.3 | 40 | ne |
| 2020-01-03 | _1895 | LJUBLJANA - BEŽIGRAD | -1.0 | 0 | 4.4 | 73 | ne |
| 2020-01-04 | _1895 | LJUBLJANA - BEŽIGRAD | 1.6 | 0 | 2.2 | 80 | ne |
| 2020-01-05 | _1895 | LJUBLJANA - BEŽIGRAD | 0.6 | 0 | 7.9 | 7 | ne |
| ... | ... | ... | ... | ... | ... | ... | ... |
| 2020-12-16 | _1895 | LJUBLJANA - BEŽIGRAD | 1.3 | 0 | 0.5 | 63 | ne |
| 2020-12-17 | _1895 | LJUBLJANA - BEŽIGRAD | 4.5 | 0 | 1.4 | 63 | ne |
| 2020-12-18 | _1895 | LJUBLJANA - BEŽIGRAD | 3.7 | 0 | 0.1 | 97 | ne |
| 2020-12-19 | _1895 | LJUBLJANA - BEŽIGRAD | 4.3 | 0 | 0.0 | 100 | ne |
| 2020-12-20 | _1895 | LJUBLJANA - BEŽIGRAD | 3.8 | 0 | 0.0 | 100 | ne |
355 rows × 7 columns
vreme.info()<class 'pandas.DataFrame'>
DatetimeIndex: 355 entries, 2020-01-01 to 2020-12-20
Data columns (total 7 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 station id 355 non-null str
1 station name 355 non-null str
2 povp. dnevna T [°C] 355 non-null float64
3 višina snežne odeje [cm] 355 non-null int64
4 trajanje sonca [h] 355 non-null float64
5 oblačnost [%] 355 non-null int64
6 grmenje 355 non-null str
dtypes: float64(2), int64(2), str(3)
memory usage: 22.2 KB
vreme.describe()| povp. dnevna T [°C] | višina snežne odeje [cm] | trajanje sonca [h] | oblačnost [%] | |
|---|---|---|---|---|
| count | 355.000000 | 355.00000 | 355.000000 | 355.000000 |
| mean | 12.379437 | 0.15493 | 5.959155 | 58.650704 |
| std | 7.521453 | 1.35971 | 4.522998 | 30.688645 |
| min | -2.700000 | 0.00000 | 0.000000 | 0.000000 |
| 25% | 5.600000 | 0.00000 | 1.600000 | 33.000000 |
| 50% | 12.900000 | 0.00000 | 5.800000 | 63.000000 |
| 75% | 18.550000 | 0.00000 | 9.750000 | 85.000000 |
| max | 26.700000 | 17.00000 | 14.900000 | 100.000000 |
topli_dnevi = vreme[vreme[" povp. dnevna T [°C]"] >= 8]
topli_dnevi| station id | station name | povp. dnevna T [°C] | višina snežne odeje [cm] | trajanje sonca [h] | oblačnost [%] | grmenje | |
|---|---|---|---|---|---|---|---|
| valid | |||||||
| 2020-01-31 | _1895 | LJUBLJANA - BEŽIGRAD | 8.5 | 0 | 4.5 | 60 | ne |
| 2020-02-01 | _1895 | LJUBLJANA - BEŽIGRAD | 9.4 | 0 | 0.0 | 90 | ne |
| 2020-02-02 | _1895 | LJUBLJANA - BEŽIGRAD | 10.2 | 0 | 0.9 | 73 | ne |
| 2020-02-03 | _1895 | LJUBLJANA - BEŽIGRAD | 10.7 | 0 | 0.0 | 93 | ne |
| 2020-02-10 | _1895 | LJUBLJANA - BEŽIGRAD | 9.4 | 0 | 0.0 | 93 | ne |
| ... | ... | ... | ... | ... | ... | ... | ... |
| 2020-11-02 | _1895 | LJUBLJANA - BEŽIGRAD | 13.1 | 0 | 6.3 | 60 | ne |
| 2020-11-03 | _1895 | LJUBLJANA - BEŽIGRAD | 13.1 | 0 | 8.1 | 30 | ne |
| 2020-11-04 | _1895 | LJUBLJANA - BEŽIGRAD | 10.7 | 0 | 0.0 | 97 | ne |
| 2020-11-05 | _1895 | LJUBLJANA - BEŽIGRAD | 10.5 | 0 | 0.0 | 90 | ne |
| 2020-11-14 | _1895 | LJUBLJANA - BEŽIGRAD | 8.0 | 0 | 6.0 | 70 | ne |
237 rows × 7 columns
vreme["mesec"] = vreme.index.month
vreme_po_mesecih = vreme.groupby("mesec")[[" povp. dnevna T [°C]", "trajanje sonca [h]", "oblačnost [%]"]].mean()
vreme_po_mesecih| povp. dnevna T [°C] | trajanje sonca [h] | oblačnost [%] | |
|---|---|---|---|
| mesec | |||
| 1 | 1.925806 | 4.048387 | 48.967742 |
| 2 | 6.841379 | 4.517241 | 57.758621 |
| 3 | 7.212903 | 5.619355 | 59.903226 |
| 4 | 12.960000 | 9.740000 | 36.766667 |
| 5 | 15.335484 | 6.796774 | 64.483871 |
| 6 | 19.583333 | 7.906667 | 59.966667 |
| 7 | 21.803226 | 10.525806 | 44.903226 |
| 8 | 22.219355 | 7.248387 | 54.838710 |
| 9 | 17.470000 | 6.673333 | 52.400000 |
| 10 | 11.877419 | 3.367742 | 73.000000 |
| 11 | 5.333333 | 2.866667 | 68.233333 |
| 12 | 2.215000 | 0.155000 | 94.800000 |
vreme[" povp. dnevna T [°C]"].plot(marker="o", figsize=(8, 4.5), title="Temperatura po datumih")
plt.ylabel("temperatura [C]")
plt.show()<Figure size 1120x630 with 1 Axes>
Poskusi sam:
- poišči dneve, ko je grmelo,
- uredi tabelo po stolpcu
trajanje sonca [h], - izriši histogram stolpca
povp. dnevna T [°C].
13.5 Časovna analiza primerov okužb
Ta vaja je navdihnjena z beležnico pandas covid.ipynb in uporablja lokalno kopijo dejanskih podatkov covid19_si.csv.
covid_path = DATA_DIR / "covid19_si.csv"
covid = pd.read_csv(covid_path, parse_dates=["date"], index_col="date")
covid = covid.loc["2020-09":"2020-11", ["cases.confirmed", "cases.active", "tests.performed"]].copy()
covid.head()| cases.confirmed | cases.active | tests.performed | |
|---|---|---|---|
| date | |||
| 2020-09-01 | 55.0 | 486.0 | 1608.0 |
| 2020-09-02 | 53.0 | 496.0 | 1653.0 |
| 2020-09-03 | 47.0 | 505.0 | 1733.0 |
| 2020-09-04 | 43.0 | 505.0 | 1708.0 |
| 2020-09-05 | 43.0 | 514.0 | 1212.0 |
covid["week"] = covid.index.isocalendar().week
covid[["cases.confirmed", "week"]].head()| cases.confirmed | week | |
|---|---|---|
| date | ||
| 2020-09-01 | 55.0 | 36 |
| 2020-09-02 | 53.0 | 36 |
| 2020-09-03 | 47.0 | 36 |
| 2020-09-04 | 43.0 | 36 |
| 2020-09-05 | 43.0 | 36 |
covid_tedensko = covid.groupby("week")[["cases.confirmed", "tests.performed"]].sum()
covid_tedensko| cases.confirmed | tests.performed | |
|---|---|---|
| week | ||
| 36 | 266.0 | 8620.0 |
| 37 | 559.0 | 15482.0 |
| 38 | 721.0 | 18339.0 |
| 39 | 919.0 | 17045.0 |
| 40 | 1186.0 | 17820.0 |
| 41 | 2258.0 | 22566.0 |
| 42 | 4852.0 | 30700.0 |
| 43 | 10427.0 | 39660.0 |
| 44 | 12106.0 | 40558.0 |
| 45 | 9437.0 | 35105.0 |
| 46 | 9927.0 | 36513.0 |
| 47 | 10215.0 | 36374.0 |
| 48 | 10073.0 | 40099.0 |
| 49 | 1299.0 | 5868.0 |
covid_resample = covid[["cases.confirmed"]].resample("W").sum()
covid_resample| cases.confirmed | |
|---|---|
| date | |
| 2020-09-06 | 266.0 |
| 2020-09-13 | 559.0 |
| 2020-09-20 | 721.0 |
| 2020-09-27 | 919.0 |
| 2020-10-04 | 1186.0 |
| 2020-10-11 | 2258.0 |
| 2020-10-18 | 4852.0 |
| 2020-10-25 | 10427.0 |
| 2020-11-01 | 12106.0 |
| 2020-11-08 | 9437.0 |
| 2020-11-15 | 9927.0 |
| 2020-11-22 | 10215.0 |
| 2020-11-29 | 10073.0 |
| 2020-12-06 | 1299.0 |
covid[["cases.confirmed", "cases.active"]].plot(figsize=(8, 4.5), marker="o")
plt.title("Dnevni potek primerov")
plt.ylabel("število")
plt.show()<Figure size 1120x630 with 1 Axes>
Poskusi sam:
- izberi samo drugi teden podatkov,
- primerjaj
groupby("week")inresample("W"), - izračunaj še povprečno število testov na teden.
13.6 Združevanje tabel
Na koncu sledi še en kratek primer merge(), ker bomo to logiko kmalu potrebovali tudi pri atributnih tabelah v GeoPandas.
postaje = pd.DataFrame(
{
"postaja": ["LJ", "MB", "KP"],
"ime": ["Ljubljana", "Maribor", "Koper"],
}
)
meritve = pd.DataFrame(
{
"postaja": ["LJ", "MB", "KP"],
"temp_C": [11.2, 9.8, 14.5],
}
)
pd.merge(postaje, meritve, on="postaja")| postaja | ime | temp_C | |
|---|---|---|---|
| 0 | LJ | Ljubljana | 11.2 |
| 1 | MB | Maribor | 9.8 |
| 2 | KP | Koper | 14.5 |
13.7 Samostojni izziv
Pripravi lasten mali CSV primer z datumi in vsaj tremi stolpci. Nato:
- ga preberi z
pd.read_csv(), - nastavi datumski indeks,
- dodaj nov izpeljan stolpec,
- naredi eno
groupby()analizo, - izriši en graf.