Das Experiment

---

## Warum sollten wir _randomisieren_?

Das Fundamentale Problem der _kausalen_ Inferenz:

- Auf individueller Ebene können keine kausalen Effekte beobachtet werden
- Es gibt keine individuellen Alternativszenarien (außer in "Zurück in die Zukunft")

.alert[Wenn wir durchschnittliche Effekte zwischen Gruppen von Personen betrachten wollen, dann funktioniert dies nur, wenn die Gruppen die gleichen Eigenschaften haben.]

---

## Warum sollten wir _randomisieren_?

Mit einer ausreichend großen Stichprobe erhalten Sie durch Randomisierung Gruppen, die in ihren (pre-Treatment) Charakteristika gleich sind.

Übertragen auf ihr DAG bedeutet die Randomisierung: .alert[Confounder beeinflussen ihr Treatment nicht!]

<img src="Experiment_slides_files/figure-html/confounding_fam1-1.png" width="100%" style="display: block; margin: auto;" />
]

.pull-right[
<img src="Experiment_slides_files/figure-html/confounding_fam2-1.png" width="100%" style="display: block; margin: auto;" />
]

---

## Wie wird randomisiert?

---

## Validität

**Interne Validität:** Misst ihre Methodik das was sie tatsächlich herausfinden wollen? D.h. können Sie die Änderung von Y _kausal_ auf die Änderung von X zurückführen?

**Externe Validität:** Lassen sich die Ergebnisse auch auf andere Datensätze übertragen/generalisieren?

---

## Probleme für die interne Validität

- **Omitted Variables Bias**: Selbstselektion, Attrition (Schwund)
- **Trends in den Daten**: Reifung, Globale Trends, Saisonalität, Wiederholung, Regression zur Mitte
- **Kalibrierung der Studie**: Messfehler, Zeitrahmen
- **Kontamination**: Hawthorne, John Henry, Spillovers

---

## Ommitted Variable Bias

**Selbstselektion**
  - Problem: Personen können selbst entscheiden ob (oder wann) Sie an einem Programm teilnehmen oder nicht
  - Lösung: Randomisierung in Treatment und Kontrollgruppe und über die Zeit

**Attrition (Schwund)**
  - Problem: Personen die das Experiment verlassen sind unterschiedlich zu denen die bleiben
  - _Überprüfung_: Wie ähnlich sind die Personen die bleiben zu denen die gehen auf Basis beobachtbarer Charakteristika?
    
---

## Trends in den Daten

**Reifung**
  - Problem: Personen ändern sich alleine durch zunehmendes Alter zwischen zwei Messungen
  - Lösung: Kontrollgruppe verwenden um den Trend heraus rechnen zu können

**Globale Trends**
  - Problem: Globale Ereignisse können die Änderung in den Daten erklären
  - Lösung: Kontrollgruppe verwenden um den Trend heraus rechnen zu können

**Saisonalität**
  - Problem: Änderungen in den Daten basieren auf saisonalen Schwankungen
  - Lösung: Beobachtungen aus der gleichen Periode miteinander vergleichen

---

## Trends in den Daten

**Wiederholung**
  - Problem: Personen lernen natürlicherweise, wenn Sie immer den gleichen Fragen/Aufgaben ausgesetzt sind
  - Lösung: Tests verändern, Kontrollgruppen verwenden

**Regression zur Mitte**
  - Problem: Extreme Beobachtungen werden mit der Zeit weniger Extrem (Glück, Pech ...)
  - Lösung: Keine Ausreiser selektieren, Randomisierung

---

## Kalibrierung der Studie

**Falsche Messung**
  - Problem: Der Output wird nicht richtig gemessen
  - Lösung: Output muss richtig gemessen werden

**Zeitrahmen**
  - Problem: Studie ist zu kurz (oder zu lange) angelegt
  - Lösung: Richtigen Zeitrahmen anlegen

---

## Kontamination

**Hawthorne Effekt**
  - Problem: Personen verhalten sich unterscheidlich wenn diese beobachtet werden
  - Lösung: Versteckte Kontrollgruppen verwenden?

**John Henry Effekt**
  - Problem: Kontrollgruppe arbeitet sehr hart um zu zeigen das sie so gut wie die Treatment Gruppe sind
  - Lösung: Kontroll und Treatmentgruppe separat halten

**Spillover Effekt**
  - Problem: Kontrollgruppe lernt über die Zeit von der Treatment Gruppe
  - Lösung: Räumlich getrennte Kontrollgruppen verwenden

---

## Randomisiertes Experiment

Schritt 1: Untersuchen Sie ob die demographischen Faktoren und andere Charakteristika zwischen Treatment und Kontrollgruppe ähnlich sind (gebalanced)

Schritt 2: Untersuchen Sie die durchschnittlichen Differenzen im Ergebnis zwischen Treatment und Kontrollgruppe

---

## Experiment - Wochenbettdepressionen

.small[Quelle: Baranov, Victoria, Sonia Bhalotra, Pietro Biroli, and Joanna Maselko. 2020. "Maternal Depression, Women's Empowerment, and Parental Investment: Evidence from a Randomized Controlled Trial." American Economic Review, 110 (3): 824-59.]

---

## Experiment - Wochenbettdepressionen

**Was sind Wochenbettdepressionen?**

**Postpartale Stimmungskrisen** (von lat. partus Geburt, Entbindung) beschreiben psychische Zustände oder Störungen, die in einem **zeitlichen Zusammenhang mit dem Wochenbett** auftreten (lat. post = nach; partus = Entbindung, Trennung).[1] Die Bandbreite der im Wochenbett auftretenden affektiven Zustände reicht von einer leichten Traurigkeit über Depressionen bis hin zu schweren psychotischen Erkrankungen.

Quelle: Wikipedia

.alert[Die Folgen einer Wochenbettdepression können langfristige Effekte auf die ganze Familie haben. Neben den negativen Folgen für die Gesundheit der Frau und des Kindes, verursachen Depressionen auch hohe wirtschaftliche Kosten.]

---

## Experiment - Wochenbettdepressionen

```r
thp <- read_csv("../case-study/data/THP_clean.csv")

thp %>%
  select(treat, depressed_1y, age_baseline, kids_no, first_child, employed_mo_baseline, MIL, maternalgma, edu_fa_baseline, employed_fa_baseline) %>%
  glimpse() 
```

```
Rows: 1,203
Columns: 10
$ treat                <dbl> 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1…
$ depressed_1y         <dbl> 1, 0, NA, 0, NA, 1, 1, 0, 0, 0, NA, 0, 0, 0, 0, 0…
$ age_baseline         <dbl> 28, 37, NA, 29, NA, 23, 30, 22, 30, 25, NA, 27, 2…
$ kids_no              <dbl> 3, 6, NA, 2, NA, 1, 3, 0, 4, 1, NA, 2, 2, 1, 2, 3…
$ first_child          <dbl> 0, 0, 1, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1…
$ employed_mo_baseline <dbl> 0, 0, NA, 0, NA, 0, 0, 0, 0, 0, NA, 0, 0, 0, 0, 0…
$ MIL                  <dbl> 1, 0, NA, 0, NA, 1, 0, 0, 0, 1, NA, 0, 1, 1, 0, 0…
$ maternalgma          <dbl> 0, 0, NA, 0, NA, 0, 0, 0, 0, 0, NA, 1, 0, 0, 0, 0…
$ edu_fa_baseline      <dbl> 10, 8, NA, 10, NA, 10, 0, 7, 8, 10, NA, 10, 10, 8…
$ employed_fa_baseline <dbl> 1, 0, NA, 1, NA, 1, 1, 1, NA, 1, NA, 1, 0, 1, 1, …
```

---

## Schritt 1: Unterschiede untersuchen

```r
*thp
```
]
 
.panel2-balancing-auto[

```
# A tibble: 1,203 × 394
   newid interviewer    uc grandmother employed_mo income_mo income_hh genhealth
   <dbl>       <dbl> <dbl> <chr>       <chr>           <dbl> <chr>     <chr>    
 1    NA          NA     1 <NA>        <NA>               NA <NA>      <NA>     
 2   226           1     1 No          No                  0 60        Very good
 3   222           6     1 Yes         No                  0 200       Moderate 
 4     3           1     1 No          No                  0 150       Good     
 5   217           3     1 No          No                  0 250       0        
 6   354           1     1 Yes         No                  0 110       Very good
 7    NA          NA     1 <NA>        <NA>               NA <NA>      <NA>     
 8    NA          NA     1 <NA>        <NA>               NA <NA>      <NA>     
 9   225           4     1 No          No                  0 60        Very good
10     2           4     1 Yes         No                  0 60        Good     
# ℹ 1,193 more rows
# ℹ 386 more variables: edu_mo <dbl>, edu_fa <dbl>, ideal_no_kids <chr>,
#   no_kids_over5_dead <dbl>, no_kids_1_5_dead <dbl>, no_kids_less1_dead <dbl>,
#   mo_185 <chr>, mo_358 <chr>, mo_360 <chr>, c_wt <dbl>, c_ht <dbl>,
#   ch_27 <chr>, ch_28 <chr>, ch_29 <chr>, ch_30 <chr>, ch_31 <chr>,
#   ch_32 <chr>, ch_33 <chr>, ch_34 <chr>, ch_35 <chr>, ch_36 <chr>,
#   mo_ht <dbl>, mo_bmi <dbl>, hamd_baseline <dbl>, bdq_baseline <dbl>, …
```
]

---
count: false

```r
thp %>%
* filter(THP_sample==1)
```
]
 
.panel2-balancing-auto[

```
# A tibble: 903 × 394
   newid interviewer    uc grandmother employed_mo income_mo income_hh genhealth
   <dbl>       <dbl> <dbl> <chr>       <chr>           <dbl> <chr>     <chr>    
 1    NA          NA     1 <NA>        <NA>               NA <NA>      <NA>     
 2   226           1     1 No          No                  0 60        Very good
 3     3           1     1 No          No                  0 150       Good     
 4   354           1     1 Yes         No                  0 110       Very good
 5    NA          NA     1 <NA>        <NA>               NA <NA>      <NA>     
 6    NA          NA     1 <NA>        <NA>               NA <NA>      <NA>     
 7   225           4     1 No          No                  0 60        Very good
 8     2           4     1 Yes         No                  0 60        Good     
 9   729           1     1 No          No                  0 65        Good     
10    NA          NA     1 <NA>        <NA>               NA <NA>      <NA>     
# ℹ 893 more rows
# ℹ 386 more variables: edu_mo <dbl>, edu_fa <dbl>, ideal_no_kids <chr>,
#   no_kids_over5_dead <dbl>, no_kids_1_5_dead <dbl>, no_kids_less1_dead <dbl>,
#   mo_185 <chr>, mo_358 <chr>, mo_360 <chr>, c_wt <dbl>, c_ht <dbl>,
#   ch_27 <chr>, ch_28 <chr>, ch_29 <chr>, ch_30 <chr>, ch_31 <chr>,
#   ch_32 <chr>, ch_33 <chr>, ch_34 <chr>, ch_35 <chr>, ch_36 <chr>,
#   mo_ht <dbl>, mo_bmi <dbl>, hamd_baseline <dbl>, bdq_baseline <dbl>, …
```
]

---
count: false

```r
thp %>%
  filter(THP_sample==1) %>%
* select( treat, depressed_1y, age_baseline, kids_no, first_child, employed_mo_baseline, MIL, maternalgma, edu_fa_baseline, employed_fa_baseline)
```
]
 
.panel2-balancing-auto[

```
# A tibble: 903 × 10
   treat depressed_1y age_baseline kids_no first_child employed_mo_baseline
   <dbl>        <dbl>        <dbl>   <dbl>       <dbl>                <dbl>
 1     1            1           28       3           0                    0
 2     1            0           37       6           0                    0
 3     1            0           29       2           0                    0
 4     1            1           23       1           0                    0
 5     1            1           30       3           0                    0
 6     1            0           22       0           1                    0
 7     1            0           30       4           0                    0
 8     1            0           25       1           0                    0
 9     1            0           27       2           0                    0
10     1            0           26       2           0                    0
# ℹ 893 more rows
# ℹ 4 more variables: MIL <dbl>, maternalgma <dbl>, edu_fa_baseline <dbl>,
#   employed_fa_baseline <dbl>
```
]

---
count: false

```
# A tibble: 8,127 × 3
   treat variable             value
   <dbl> <chr>                <dbl>
 1     1 depressed_1y             1
 2     1 age_baseline            28
 3     1 kids_no                  3
 4     1 first_child              0
 5     1 employed_mo_baseline     0
 6     1 MIL                      1
 7     1 maternalgma              0
 8     1 edu_fa_baseline         10
 9     1 employed_fa_baseline     1
10     1 depressed_1y             0
# ℹ 8,117 more rows
```
]

---
count: false

```
# A tibble: 9 × 2
  variable                           data
  <chr>                <list<tibble[,2]>>
1 MIL                           [903 × 2]
2 age_baseline                  [903 × 2]
3 depressed_1y                  [903 × 2]
4 edu_fa_baseline               [903 × 2]
5 employed_fa_baseline          [903 × 2]
6 employed_mo_baseline          [903 × 2]
7 first_child                   [903 × 2]
8 kids_no                       [903 × 2]
9 maternalgma                   [903 × 2]
```
]

---
count: false

```
# A tibble: 9 × 3
  variable                           data t.test           
  <chr>                <list<tibble[,2]>> <list>           
1 MIL                           [903 × 2] <tibble [1 × 10]>
2 age_baseline                  [903 × 2] <tibble [1 × 10]>
3 depressed_1y                  [903 × 2] <tibble [1 × 10]>
4 edu_fa_baseline               [903 × 2] <tibble [1 × 10]>
5 employed_fa_baseline          [903 × 2] <tibble [1 × 10]>
6 employed_mo_baseline          [903 × 2] <tibble [1 × 10]>
7 first_child                   [903 × 2] <tibble [1 × 10]>
8 kids_no                       [903 × 2] <tibble [1 × 10]>
9 maternalgma                   [903 × 2] <tibble [1 × 10]>
```
]

---
count: false

```
# A tibble: 9 × 12
  variable        data estimate estimate1 estimate2 statistic  p.value parameter
  <chr>      <list<ti>    <dbl>     <dbl>     <dbl>     <dbl>    <dbl>     <dbl>
1 MIL        [903 × 2] -0.0642     0.402     0.467     -1.95  5.16e- 2      900.
2 age_basel… [903 × 2]  0.505     27        26.5        1.48  1.38e- 1      897.
3 depressed… [903 × 2]  0.316      0.589     0.273      9.43  4.57e-20      770.
4 edu_fa_ba… [903 × 2]  0.134      7.09      6.95       0.507 6.12e- 1      900.
5 employed_… [903 × 2]  0.0124     0.913     0.901      0.635 5.26e- 1      888.
6 employed_… [903 × 2]  0.0125     0.0341    0.0216     1.14  2.56e- 1      841.
7 first_chi… [903 × 2] -0.00586    0.186     0.192     -0.225 8.22e- 1      900.
8 kids_no    [903 × 2]  0.172      2.33      2.16       1.43  1.52e- 1      898.
9 maternalg… [903 × 2] -0.0299     0.05      0.0799    -1.83  6.77e- 2      877.
# ℹ 4 more variables: conf.low <dbl>, conf.high <dbl>, method <chr>,
#   alternative <chr>
```
]

---
count: false

```r
thp %>%
  filter(THP_sample==1) %>%
  select( treat, depressed_1y, age_baseline, kids_no, first_child, employed_mo_baseline, MIL, maternalgma, edu_fa_baseline, employed_fa_baseline) %>%
  pivot_longer(cols = -treat, names_to = "variable", values_to = "value") %>%
  group_nest(variable) %>%
  mutate(t.test = map(data, ~tidy(t.test(value ~ treat, data = .x)))) %>%
  unnest(t.test) %>%
* mutate( Mean_Treatment = round(estimate2, 2),
*         Mean_Kontrolle = round(estimate1, 2),
*   Differenz = -round(estimate, 2),
*         Signifikanz = round(p.value,2))
```
]
 
.panel2-balancing-auto[

```
# A tibble: 9 × 16
  variable        data estimate estimate1 estimate2 statistic  p.value parameter
  <chr>      <list<ti>    <dbl>     <dbl>     <dbl>     <dbl>    <dbl>     <dbl>
1 MIL        [903 × 2] -0.0642     0.402     0.467     -1.95  5.16e- 2      900.
2 age_basel… [903 × 2]  0.505     27        26.5        1.48  1.38e- 1      897.
3 depressed… [903 × 2]  0.316      0.589     0.273      9.43  4.57e-20      770.
4 edu_fa_ba… [903 × 2]  0.134      7.09      6.95       0.507 6.12e- 1      900.
5 employed_… [903 × 2]  0.0124     0.913     0.901      0.635 5.26e- 1      888.
6 employed_… [903 × 2]  0.0125     0.0341    0.0216     1.14  2.56e- 1      841.
7 first_chi… [903 × 2] -0.00586    0.186     0.192     -0.225 8.22e- 1      900.
8 kids_no    [903 × 2]  0.172      2.33      2.16       1.43  1.52e- 1      898.
9 maternalg… [903 × 2] -0.0299     0.05      0.0799    -1.83  6.77e- 2      877.
# ℹ 8 more variables: conf.low <dbl>, conf.high <dbl>, method <chr>,
#   alternative <chr>, Mean_Treatment <dbl>, Mean_Kontrolle <dbl>,
#   Differenz <dbl>, Signifikanz <dbl>
```
]

---
count: false

```r
thp %>%
  filter(THP_sample==1) %>%
  select( treat, depressed_1y, age_baseline, kids_no, first_child, employed_mo_baseline, MIL, maternalgma, edu_fa_baseline, employed_fa_baseline) %>%
  pivot_longer(cols = -treat, names_to = "variable", values_to = "value") %>%
  group_nest(variable) %>%
  mutate(t.test = map(data, ~tidy(t.test(value ~ treat, data = .x)))) %>%
  unnest(t.test) %>%
  mutate( Mean_Treatment = round(estimate2, 2),
          Mean_Kontrolle = round(estimate1, 2),
    Differenz = -round(estimate, 2),
          Signifikanz = round(p.value,2)) %>%
* select( Mean_Treatment, Mean_Kontrolle, Differenz, Signifikanz) -> total
```
]
 
.panel2-balancing-auto[

]

---
count: false

```r
thp %>%
  filter(THP_sample==1) %>%
  select( treat, depressed_1y, age_baseline, kids_no, first_child, employed_mo_baseline, MIL, maternalgma, edu_fa_baseline, employed_fa_baseline) %>%
  pivot_longer(cols = -treat, names_to = "variable", values_to = "value") %>%
  group_nest(variable) %>%
  mutate(t.test = map(data, ~tidy(t.test(value ~ treat, data = .x)))) %>%
  unnest(t.test) %>%
  mutate( Mean_Treatment = round(estimate2, 2),
          Mean_Kontrolle = round(estimate1, 2),
    Differenz = -round(estimate, 2),
          Signifikanz = round(p.value,2)) %>%
  select( Mean_Treatment, Mean_Kontrolle, Differenz, Signifikanz) -> total

*rownames(total) <- c("Alter der Mutter", "Depressiv (1 Jahr)", "Bildung des Vaters", "Vater beschäftigt", "Mutter beschäftigt", "Erstes Kind", "Anzahl der Kinder", "Oma im Haus", "Stiefoma im Haus")
```
]
 
.panel2-balancing-auto[

]

---
count: false

```r
thp %>%
  filter(THP_sample==1) %>%
  select( treat, depressed_1y, age_baseline, kids_no, first_child, employed_mo_baseline, MIL, maternalgma, edu_fa_baseline, employed_fa_baseline) %>%
  pivot_longer(cols = -treat, names_to = "variable", values_to = "value") %>%
  group_nest(variable) %>%
  mutate(t.test = map(data, ~tidy(t.test(value ~ treat, data = .x)))) %>%
  unnest(t.test) %>%
  mutate( Mean_Treatment = round(estimate2, 2),
          Mean_Kontrolle = round(estimate1, 2),
    Differenz = -round(estimate, 2),
          Signifikanz = round(p.value,2)) %>%
  select( Mean_Treatment, Mean_Kontrolle, Differenz, Signifikanz) -> total

rownames(total) <- c("Alter der Mutter", "Depressiv (1 Jahr)", "Bildung des Vaters", "Vater beschäftigt", "Mutter beschäftigt", "Erstes Kind", "Anzahl der Kinder", "Oma im Haus", "Stiefoma im Haus")

*total
```
]
 
.panel2-balancing-auto[

```
# A tibble: 9 × 4
  Mean_Treatment Mean_Kontrolle Differenz Signifikanz
*          <dbl>          <dbl>     <dbl>       <dbl>
1           0.47           0.4       0.06        0.05
2          26.5           27        -0.51        0.14
3           0.27           0.59     -0.32        0   
4           6.95           7.09     -0.13        0.61
5           0.9            0.91     -0.01        0.53
6           0.02           0.03     -0.01        0.26
7           0.19           0.19      0.01        0.82
8           2.16           2.33     -0.17        0.15
9           0.08           0.05      0.03        0.07
```
]

---
count: false

```r
thp %>%
  filter(THP_sample==1) %>%
  select( treat, depressed_1y, age_baseline, kids_no, first_child, employed_mo_baseline, MIL, maternalgma, edu_fa_baseline, employed_fa_baseline) %>%
  pivot_longer(cols = -treat, names_to = "variable", values_to = "value") %>%
  group_nest(variable) %>%
  mutate(t.test = map(data, ~tidy(t.test(value ~ treat, data = .x)))) %>%
  unnest(t.test) %>%
  mutate( Mean_Treatment = round(estimate2, 2),
          Mean_Kontrolle = round(estimate1, 2),
    Differenz = -round(estimate, 2),
          Signifikanz = round(p.value,2)) %>%
  select( Mean_Treatment, Mean_Kontrolle, Differenz, Signifikanz) -> total

total %>%
* kbl(col.names = c("Treatment", "Kontrolle","Differenz","p-Wert"), digits = 2, format = "html",
*     caption = "Balancing Tabelle für die Grundcharakteristika")
```
]
 
.panel2-balancing-auto[
<table>
<caption>Balancing Tabelle für die Grundcharakteristika</caption>
 <thead>
  <tr>
   <th style="text-align:right;"> Treatment </th>
   <th style="text-align:right;"> Kontrolle </th>
   <th style="text-align:right;"> Differenz </th>
   <th style="text-align:right;"> p-Wert </th>
  </tr>
 </thead>
<tbody>
  <tr>
   <td style="text-align:right;"> 0.47 </td>
   <td style="text-align:right;"> 0.40 </td>
   <td style="text-align:right;"> 0.06 </td>
   <td style="text-align:right;"> 0.05 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 26.49 </td>
   <td style="text-align:right;"> 27.00 </td>
   <td style="text-align:right;"> -0.51 </td>
   <td style="text-align:right;"> 0.14 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.27 </td>
   <td style="text-align:right;"> 0.59 </td>
   <td style="text-align:right;"> -0.32 </td>
   <td style="text-align:right;"> 0.00 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 6.95 </td>
   <td style="text-align:right;"> 7.09 </td>
   <td style="text-align:right;"> -0.13 </td>
   <td style="text-align:right;"> 0.61 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.90 </td>
   <td style="text-align:right;"> 0.91 </td>
   <td style="text-align:right;"> -0.01 </td>
   <td style="text-align:right;"> 0.53 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.02 </td>
   <td style="text-align:right;"> 0.03 </td>
   <td style="text-align:right;"> -0.01 </td>
   <td style="text-align:right;"> 0.26 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.19 </td>
   <td style="text-align:right;"> 0.19 </td>
   <td style="text-align:right;"> 0.01 </td>
   <td style="text-align:right;"> 0.82 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 2.16 </td>
   <td style="text-align:right;"> 2.33 </td>
   <td style="text-align:right;"> -0.17 </td>
   <td style="text-align:right;"> 0.15 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.08 </td>
   <td style="text-align:right;"> 0.05 </td>
   <td style="text-align:right;"> 0.03 </td>
   <td style="text-align:right;"> 0.07 </td>
  </tr>
</tbody>
</table>
]

---
count: false

```r
thp %>%
  filter(THP_sample==1) %>%
  select( treat, depressed_1y, age_baseline, kids_no, first_child, employed_mo_baseline, MIL, maternalgma, edu_fa_baseline, employed_fa_baseline) %>%
  pivot_longer(cols = -treat, names_to = "variable", values_to = "value") %>%
  group_nest(variable) %>%
  mutate(t.test = map(data, ~tidy(t.test(value ~ treat, data = .x)))) %>%
  unnest(t.test) %>%
  mutate( Mean_Treatment = round(estimate2, 2),
          Mean_Kontrolle = round(estimate1, 2),
    Differenz = -round(estimate, 2),
          Signifikanz = round(p.value,2)) %>%
  select( Mean_Treatment, Mean_Kontrolle, Differenz, Signifikanz) -> total

total %>%
  kbl(col.names = c("Treatment", "Kontrolle","Differenz","p-Wert"), digits = 2, format = "html",
      caption = "Balancing Tabelle für die Grundcharakteristika") %>%
* kable_styling(bootstrap_options = c("striped", "hover", "condensed", "responsive"))
```
]
 
.panel2-balancing-auto[
<table class="table table-striped table-hover table-condensed table-responsive" style="margin-left: auto; margin-right: auto;">
<caption>Balancing Tabelle für die Grundcharakteristika</caption>
 <thead>
  <tr>
   <th style="text-align:right;"> Treatment </th>
   <th style="text-align:right;"> Kontrolle </th>
   <th style="text-align:right;"> Differenz </th>
   <th style="text-align:right;"> p-Wert </th>
  </tr>
 </thead>
<tbody>
  <tr>
   <td style="text-align:right;"> 0.47 </td>
   <td style="text-align:right;"> 0.40 </td>
   <td style="text-align:right;"> 0.06 </td>
   <td style="text-align:right;"> 0.05 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 26.49 </td>
   <td style="text-align:right;"> 27.00 </td>
   <td style="text-align:right;"> -0.51 </td>
   <td style="text-align:right;"> 0.14 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.27 </td>
   <td style="text-align:right;"> 0.59 </td>
   <td style="text-align:right;"> -0.32 </td>
   <td style="text-align:right;"> 0.00 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 6.95 </td>
   <td style="text-align:right;"> 7.09 </td>
   <td style="text-align:right;"> -0.13 </td>
   <td style="text-align:right;"> 0.61 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.90 </td>
   <td style="text-align:right;"> 0.91 </td>
   <td style="text-align:right;"> -0.01 </td>
   <td style="text-align:right;"> 0.53 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.02 </td>
   <td style="text-align:right;"> 0.03 </td>
   <td style="text-align:right;"> -0.01 </td>
   <td style="text-align:right;"> 0.26 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.19 </td>
   <td style="text-align:right;"> 0.19 </td>
   <td style="text-align:right;"> 0.01 </td>
   <td style="text-align:right;"> 0.82 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 2.16 </td>
   <td style="text-align:right;"> 2.33 </td>
   <td style="text-align:right;"> -0.17 </td>
   <td style="text-align:right;"> 0.15 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.08 </td>
   <td style="text-align:right;"> 0.05 </td>
   <td style="text-align:right;"> 0.03 </td>
   <td style="text-align:right;"> 0.07 </td>
  </tr>
</tbody>
</table>
]

---
count: false

```r
thp %>%
  filter(THP_sample==1) %>%
  select( treat, depressed_1y, age_baseline, kids_no, first_child, employed_mo_baseline, MIL, maternalgma, edu_fa_baseline, employed_fa_baseline) %>%
  pivot_longer(cols = -treat, names_to = "variable", values_to = "value") %>%
  group_nest(variable) %>%
  mutate(t.test = map(data, ~tidy(t.test(value ~ treat, data = .x)))) %>%
  unnest(t.test) %>%
  mutate( Mean_Treatment = round(estimate2, 2),
          Mean_Kontrolle = round(estimate1, 2),
    Differenz = -round(estimate, 2),
          Signifikanz = round(p.value,2)) %>%
  select( Mean_Treatment, Mean_Kontrolle, Differenz, Signifikanz) -> total

---
count: false

```r
thp %>%
  filter(THP_sample==1) %>%
  select( treat, depressed_1y, age_baseline, kids_no, first_child, employed_mo_baseline, MIL, maternalgma, edu_fa_baseline, employed_fa_baseline) %>%
  pivot_longer(cols = -treat, names_to = "variable", values_to = "value") %>%
  group_nest(variable) %>%
  mutate(t.test = map(data, ~tidy(t.test(value ~ treat, data = .x)))) %>%
  unnest(t.test) %>%
  mutate( Mean_Treatment = round(estimate2, 2),
          Mean_Kontrolle = round(estimate1, 2),
    Differenz = -round(estimate, 2),
          Signifikanz = round(p.value,2)) %>%
  select( Mean_Treatment, Mean_Kontrolle, Differenz, Signifikanz) -> total

total %>%
  kbl(col.names = c("Treatment", "Kontrolle","Differenz","p-Wert"), digits = 2, format = "html",
      caption = "Balancing Tabelle für die Grundcharakteristika") %>%
  kable_styling(bootstrap_options = c("striped", "hover", "condensed", "responsive")) %>%
  kable_paper(full_width = F)  %>%
* add_header_above(c(" ", "Stichprobe Baseline (N = 903)" = 3))
```
]
 
.panel2-balancing-auto[
<table class="table table-striped table-hover table-condensed table-responsive lightable-paper" style='margin-left: auto; margin-right: auto; font-family: "Arial Narrow", arial, helvetica, sans-serif; width: auto !important; margin-left: auto; margin-right: auto;'>
<caption>Balancing Tabelle für die Grundcharakteristika</caption>
 <thead>
<tr>
<th style="empty-cells: hide;" colspan="1"></th>
<th style="padding-bottom:0; padding-left:3px;padding-right:3px;text-align: center; " colspan="3"><div style="border-bottom: 1px solid #00000020; padding-bottom: 5px; ">Stichprobe Baseline (N = 903)</div></th>
</tr>
  <tr>
   <th style="text-align:right;"> Treatment </th>
   <th style="text-align:right;"> Kontrolle </th>
   <th style="text-align:right;"> Differenz </th>
   <th style="text-align:right;"> p-Wert </th>
  </tr>
 </thead>
<tbody>
  <tr>
   <td style="text-align:right;"> 0.47 </td>
   <td style="text-align:right;"> 0.40 </td>
   <td style="text-align:right;"> 0.06 </td>
   <td style="text-align:right;"> 0.05 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 26.49 </td>
   <td style="text-align:right;"> 27.00 </td>
   <td style="text-align:right;"> -0.51 </td>
   <td style="text-align:right;"> 0.14 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.27 </td>
   <td style="text-align:right;"> 0.59 </td>
   <td style="text-align:right;"> -0.32 </td>
   <td style="text-align:right;"> 0.00 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 6.95 </td>
   <td style="text-align:right;"> 7.09 </td>
   <td style="text-align:right;"> -0.13 </td>
   <td style="text-align:right;"> 0.61 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.90 </td>
   <td style="text-align:right;"> 0.91 </td>
   <td style="text-align:right;"> -0.01 </td>
   <td style="text-align:right;"> 0.53 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.02 </td>
   <td style="text-align:right;"> 0.03 </td>
   <td style="text-align:right;"> -0.01 </td>
   <td style="text-align:right;"> 0.26 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.19 </td>
   <td style="text-align:right;"> 0.19 </td>
   <td style="text-align:right;"> 0.01 </td>
   <td style="text-align:right;"> 0.82 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 2.16 </td>
   <td style="text-align:right;"> 2.33 </td>
   <td style="text-align:right;"> -0.17 </td>
   <td style="text-align:right;"> 0.15 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.08 </td>
   <td style="text-align:right;"> 0.05 </td>
   <td style="text-align:right;"> 0.03 </td>
   <td style="text-align:right;"> 0.07 </td>
  </tr>
</tbody>
</table>
]

---
count: false

```r
thp %>%
  filter(THP_sample==1) %>%
  select( treat, depressed_1y, age_baseline, kids_no, first_child, employed_mo_baseline, MIL, maternalgma, edu_fa_baseline, employed_fa_baseline) %>%
  pivot_longer(cols = -treat, names_to = "variable", values_to = "value") %>%
  group_nest(variable) %>%
  mutate(t.test = map(data, ~tidy(t.test(value ~ treat, data = .x)))) %>%
  unnest(t.test) %>%
  mutate( Mean_Treatment = round(estimate2, 2),
          Mean_Kontrolle = round(estimate1, 2),
    Differenz = -round(estimate, 2),
          Signifikanz = round(p.value,2)) %>%
  select( Mean_Treatment, Mean_Kontrolle, Differenz, Signifikanz) -> total

total %>%
  kbl(col.names = c("Treatment", "Kontrolle","Differenz","p-Wert"), digits = 2, format = "html",
      caption = "Balancing Tabelle für die Grundcharakteristika") %>%
  kable_styling(bootstrap_options = c("striped", "hover", "condensed", "responsive")) %>%
  kable_paper(full_width = F)  %>%
  add_header_above(c(" ", "Stichprobe Baseline (N = 903)" = 3)) %>%
* footnote(general = "Diese Tabelle testet, wie ausbalanciert die Beobachtungen in der Baseline Stichprobe sind. In den ersten beiden Spalten wird der Mittelwert für die Treatment bzw. Kontrollgruppe für die Baseline Stichprobe gezeigt. Spalte (3) zeigen die Differenz zwischen den Mittelwerten der Treatment und Kontrollgruppe für die jeweilige Stichprobe und die Spalte (4) zeigt die p-Werte und damit ob die einzelnen Mittelwerte statistisch signifikant unterschiedlich voneinander sind.")
```
]
 
.panel2-balancing-auto[
<table class="table table-striped table-hover table-condensed table-responsive lightable-paper" style='margin-left: auto; margin-right: auto; font-family: "Arial Narrow", arial, helvetica, sans-serif; width: auto !important; margin-left: auto; margin-right: auto;border-bottom: 0;'>
<caption>Balancing Tabelle für die Grundcharakteristika</caption>
 <thead>
<tr>
<th style="empty-cells: hide;" colspan="1"></th>
<th style="padding-bottom:0; padding-left:3px;padding-right:3px;text-align: center; " colspan="3"><div style="border-bottom: 1px solid #00000020; padding-bottom: 5px; ">Stichprobe Baseline (N = 903)</div></th>
</tr>
  <tr>
   <th style="text-align:right;"> Treatment </th>
   <th style="text-align:right;"> Kontrolle </th>
   <th style="text-align:right;"> Differenz </th>
   <th style="text-align:right;"> p-Wert </th>
  </tr>
 </thead>
<tbody>
  <tr>
   <td style="text-align:right;"> 0.47 </td>
   <td style="text-align:right;"> 0.40 </td>
   <td style="text-align:right;"> 0.06 </td>
   <td style="text-align:right;"> 0.05 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 26.49 </td>
   <td style="text-align:right;"> 27.00 </td>
   <td style="text-align:right;"> -0.51 </td>
   <td style="text-align:right;"> 0.14 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.27 </td>
   <td style="text-align:right;"> 0.59 </td>
   <td style="text-align:right;"> -0.32 </td>
   <td style="text-align:right;"> 0.00 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 6.95 </td>
   <td style="text-align:right;"> 7.09 </td>
   <td style="text-align:right;"> -0.13 </td>
   <td style="text-align:right;"> 0.61 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.90 </td>
   <td style="text-align:right;"> 0.91 </td>
   <td style="text-align:right;"> -0.01 </td>
   <td style="text-align:right;"> 0.53 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.02 </td>
   <td style="text-align:right;"> 0.03 </td>
   <td style="text-align:right;"> -0.01 </td>
   <td style="text-align:right;"> 0.26 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.19 </td>
   <td style="text-align:right;"> 0.19 </td>
   <td style="text-align:right;"> 0.01 </td>
   <td style="text-align:right;"> 0.82 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 2.16 </td>
   <td style="text-align:right;"> 2.33 </td>
   <td style="text-align:right;"> -0.17 </td>
   <td style="text-align:right;"> 0.15 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.08 </td>
   <td style="text-align:right;"> 0.05 </td>
   <td style="text-align:right;"> 0.03 </td>
   <td style="text-align:right;"> 0.07 </td>
  </tr>
</tbody>
<tfoot>
<tr><td style="padding: 0; " colspan="100%"><span style="font-style: italic;">Note: </span></td></tr>
<tr><td style="padding: 0; " colspan="100%">
<sup></sup> Diese Tabelle testet, wie ausbalanciert die Beobachtungen in der Baseline Stichprobe sind. In den ersten beiden Spalten wird der Mittelwert für die Treatment bzw. Kontrollgruppe für die Baseline Stichprobe gezeigt. Spalte (3) zeigen die Differenz zwischen den Mittelwerten der Treatment und Kontrollgruppe für die jeweilige Stichprobe und die Spalte (4) zeigt die p-Werte und damit ob die einzelnen Mittelwerte statistisch signifikant unterschiedlich voneinander sind.</td></tr>
</tfoot>
</table>
]

---
count: false

```r
thp %>%
  filter(THP_sample==1) %>%
  select( treat, depressed_1y, age_baseline, kids_no, first_child, employed_mo_baseline, MIL, maternalgma, edu_fa_baseline, employed_fa_baseline) %>%
  pivot_longer(cols = -treat, names_to = "variable", values_to = "value") %>%
  group_nest(variable) %>%
  mutate(t.test = map(data, ~tidy(t.test(value ~ treat, data = .x)))) %>%
  unnest(t.test) %>%
  mutate( Mean_Treatment = round(estimate2, 2),
          Mean_Kontrolle = round(estimate1, 2),
    Differenz = -round(estimate, 2),
          Signifikanz = round(p.value,2)) %>%
  select( Mean_Treatment, Mean_Kontrolle, Differenz, Signifikanz) -> total

total %>%
  kbl(col.names = c("Treatment", "Kontrolle","Differenz","p-Wert"), digits = 2, format = "html",
      caption = "Balancing Tabelle für die Grundcharakteristika") %>%
  kable_styling(bootstrap_options = c("striped", "hover", "condensed", "responsive")) %>%
  kable_paper(full_width = F)  %>%
  add_header_above(c(" ", "Stichprobe Baseline (N = 903)" = 3)) %>%
  footnote(general = "Diese Tabelle testet, wie ausbalanciert die Beobachtungen in der Baseline Stichprobe sind. In den ersten beiden Spalten wird der Mittelwert für die Treatment bzw. Kontrollgruppe für die Baseline Stichprobe gezeigt. Spalte (3) zeigen die Differenz zwischen den Mittelwerten der Treatment und Kontrollgruppe für die jeweilige Stichprobe und die Spalte (4) zeigt die p-Werte und damit ob die einzelnen Mittelwerte statistisch signifikant unterschiedlich voneinander sind.")
```
]
 
.panel2-balancing-auto[
<table class="table table-striped table-hover table-condensed table-responsive lightable-paper" style='margin-left: auto; margin-right: auto; font-family: "Arial Narrow", arial, helvetica, sans-serif; width: auto !important; margin-left: auto; margin-right: auto;border-bottom: 0;'>
<caption>Balancing Tabelle für die Grundcharakteristika</caption>
 <thead>
<tr>
<th style="empty-cells: hide;" colspan="1"></th>
<th style="padding-bottom:0; padding-left:3px;padding-right:3px;text-align: center; " colspan="3"><div style="border-bottom: 1px solid #00000020; padding-bottom: 5px; ">Stichprobe Baseline (N = 903)</div></th>
</tr>
  <tr>
   <th style="text-align:right;"> Treatment </th>
   <th style="text-align:right;"> Kontrolle </th>
   <th style="text-align:right;"> Differenz </th>
   <th style="text-align:right;"> p-Wert </th>
  </tr>
 </thead>
<tbody>
  <tr>
   <td style="text-align:right;"> 0.47 </td>
   <td style="text-align:right;"> 0.40 </td>
   <td style="text-align:right;"> 0.06 </td>
   <td style="text-align:right;"> 0.05 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 26.49 </td>
   <td style="text-align:right;"> 27.00 </td>
   <td style="text-align:right;"> -0.51 </td>
   <td style="text-align:right;"> 0.14 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.27 </td>
   <td style="text-align:right;"> 0.59 </td>
   <td style="text-align:right;"> -0.32 </td>
   <td style="text-align:right;"> 0.00 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 6.95 </td>
   <td style="text-align:right;"> 7.09 </td>
   <td style="text-align:right;"> -0.13 </td>
   <td style="text-align:right;"> 0.61 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.90 </td>
   <td style="text-align:right;"> 0.91 </td>
   <td style="text-align:right;"> -0.01 </td>
   <td style="text-align:right;"> 0.53 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.02 </td>
   <td style="text-align:right;"> 0.03 </td>
   <td style="text-align:right;"> -0.01 </td>
   <td style="text-align:right;"> 0.26 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.19 </td>
   <td style="text-align:right;"> 0.19 </td>
   <td style="text-align:right;"> 0.01 </td>
   <td style="text-align:right;"> 0.82 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 2.16 </td>
   <td style="text-align:right;"> 2.33 </td>
   <td style="text-align:right;"> -0.17 </td>
   <td style="text-align:right;"> 0.15 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.08 </td>
   <td style="text-align:right;"> 0.05 </td>
   <td style="text-align:right;"> 0.03 </td>
   <td style="text-align:right;"> 0.07 </td>
  </tr>
</tbody>
<tfoot>
<tr><td style="padding: 0; " colspan="100%"><span style="font-style: italic;">Note: </span></td></tr>
<tr><td style="padding: 0; " colspan="100%">
<sup></sup> Diese Tabelle testet, wie ausbalanciert die Beobachtungen in der Baseline Stichprobe sind. In den ersten beiden Spalten wird der Mittelwert für die Treatment bzw. Kontrollgruppe für die Baseline Stichprobe gezeigt. Spalte (3) zeigen die Differenz zwischen den Mittelwerten der Treatment und Kontrollgruppe für die jeweilige Stichprobe und die Spalte (4) zeigt die p-Werte und damit ob die einzelnen Mittelwerte statistisch signifikant unterschiedlich voneinander sind.</td></tr>
</tfoot>
</table>
]

---

## Schritt 1: Unterschiede untersuchen

<table class="table table-striped table-hover table-condensed table-responsive lightable-paper" style='margin-left: auto; margin-right: auto; font-family: "Arial Narrow", arial, helvetica, sans-serif; width: auto !important; margin-left: auto; margin-right: auto;border-bottom: 0;'>
<caption>Balancing Tabelle für die Grundcharakteristika</caption>
 <thead>
<tr>
<th style="empty-cells: hide;" colspan="1"></th>
<th style="padding-bottom:0; padding-left:3px;padding-right:3px;text-align: center; " colspan="3"><div style="border-bottom: 1px solid #00000020; padding-bottom: 5px; ">Stichprobe Baseline (N = 903)</div></th>
</tr>
  <tr>
   <th style="text-align:right;"> Treatment </th>
   <th style="text-align:right;"> Kontrolle </th>
   <th style="text-align:right;"> Differenz </th>
   <th style="text-align:right;"> p-Wert </th>
  </tr>
 </thead>
<tbody>
  <tr>
   <td style="text-align:right;"> 0.47 </td>
   <td style="text-align:right;"> 0.40 </td>
   <td style="text-align:right;"> 0.06 </td>
   <td style="text-align:right;"> 0.05 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 26.49 </td>
   <td style="text-align:right;"> 27.00 </td>
   <td style="text-align:right;"> -0.51 </td>
   <td style="text-align:right;"> 0.14 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.27 </td>
   <td style="text-align:right;"> 0.59 </td>
   <td style="text-align:right;"> -0.32 </td>
   <td style="text-align:right;"> 0.00 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 6.95 </td>
   <td style="text-align:right;"> 7.09 </td>
   <td style="text-align:right;"> -0.13 </td>
   <td style="text-align:right;"> 0.61 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.90 </td>
   <td style="text-align:right;"> 0.91 </td>
   <td style="text-align:right;"> -0.01 </td>
   <td style="text-align:right;"> 0.53 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.02 </td>
   <td style="text-align:right;"> 0.03 </td>
   <td style="text-align:right;"> -0.01 </td>
   <td style="text-align:right;"> 0.26 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.19 </td>
   <td style="text-align:right;"> 0.19 </td>
   <td style="text-align:right;"> 0.01 </td>
   <td style="text-align:right;"> 0.82 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 2.16 </td>
   <td style="text-align:right;"> 2.33 </td>
   <td style="text-align:right;"> -0.17 </td>
   <td style="text-align:right;"> 0.15 </td>
  </tr>
  <tr>
   <td style="text-align:right;"> 0.08 </td>
   <td style="text-align:right;"> 0.05 </td>
   <td style="text-align:right;"> 0.03 </td>
   <td style="text-align:right;"> 0.07 </td>
  </tr>
</tbody>
<tfoot>
<tr><td style="padding: 0; " colspan="100%"><span style="font-style: italic;">Note: </span></td></tr>
<tr><td style="padding: 0; " colspan="100%">
<sup></sup> Diese Tabelle testet, wie ausbalanciert die Beobachtungen in der Baseline Stichprobe sind. In den ersten beiden Spalten wird der Mittelwert für die Treatment bzw. Kontrollgruppe für die Baseline Stichprobe gezeigt. Spalte (3) zeigen die Differenz zwischen den Mittelwerten der Treatment und Kontrollgruppe für die jeweilige Stichprobe und die Spalte (4) zeigt die p-Werte und damit ob die einzelnen Mittelwerte statistisch signifikant unterschiedlich voneinander sind.</td></tr>
</tfoot>
</table>

---

## Schritt 1: Unterschiede untersuchen

**Wann nutzt uns eine solche Balancing Tabelle?**

Wir sollten eine solche Tabelle immer dann erstellen, wenn wir uns nicht ganz sicher sein können, ob unsere Randomisierung erfolgreich war, d.h. insbesondere bei der Untersuchung von Feldexperimenten.

- Wenn wir die Randomisierung nicht selbst durchgeführt haben, insbesondere in Feldexperimenten
- Bei _Attrition_, d.h. Schwund bei den Teilnehmern des Experiments

---

## Schritt 1: Unterschiede untersuchen

Aus dieser Balancing Tabelle lernen wir mehrere Dinge:

- In den meisten Grundcharakteristika unterscheiden sich Treatment und Kontrollgruppe **nicht** voneinander.
- Einige Variablen sind jedoch signifikant unterschiedlich zwischen Treatment und Kontrollgruppe, insbesondere ob die Oma väterlicherseits oder mütterlicherseits mit im Haushalt lebt.
- Wir verlieren einige Teilnehmer über die Zeit (903 -> 704 -> 585 Beobachtungen), d.h. wir haben nach 7 Jahren nur noch 64,8% der Mütter, die ursprünglich am Experiment teilgenommen haben, in der Stichprobe.

---

## Schritt 2: Durchschnittliche Differenzen

```r
*thp
```
]
 
.panel2-depressionen-auto[

---
count: false

```r
thp %>%
* select(treat, depressed_6m, depressed_1y, depressed)
```
]
 
.panel2-depressionen-auto[

```
# A tibble: 1,203 × 4
   treat depressed_6m depressed_1y depressed
   <dbl>        <dbl>        <dbl>     <dbl>
 1     1            0            1        NA
 2     1            0            0         0
 3     1           NA           NA         0
 4     1            0            0         0
 5     1           NA           NA         0
 6     1            1            1         0
 7     1            1            1        NA
 8     1            0            0        NA
 9     1            0            0         0
10     1            0            0         0
# ℹ 1,193 more rows
```
]

---
count: false

```r
thp %>%
  select(treat, depressed_6m, depressed_1y, depressed) %>%
* mutate(Baseline = 1)
```
]
 
.panel2-depressionen-auto[

```
# A tibble: 1,203 × 5
   treat depressed_6m depressed_1y depressed Baseline
   <dbl>        <dbl>        <dbl>     <dbl>    <dbl>
 1     1            0            1        NA        1
 2     1            0            0         0        1
 3     1           NA           NA         0        1
 4     1            0            0         0        1
 5     1           NA           NA         0        1
 6     1            1            1         0        1
 7     1            1            1        NA        1
 8     1            0            0        NA        1
 9     1            0            0         0        1
10     1            0            0         0        1
# ℹ 1,193 more rows
```
]

---
count: false

```r
thp %>%
  select(treat, depressed_6m, depressed_1y, depressed) %>%
  mutate(Baseline = 1) %>%
* pivot_longer( cols = -treat, names_to = "name", values_to = "depression")
```
]
 
.panel2-depressionen-auto[

```
# A tibble: 4,812 × 3
   treat name         depression
   <dbl> <chr>             <dbl>
 1     1 depressed_6m          0
 2     1 depressed_1y          1
 3     1 depressed            NA
 4     1 Baseline              1
 5     1 depressed_6m          0
 6     1 depressed_1y          0
 7     1 depressed             0
 8     1 Baseline              1
 9     1 depressed_6m         NA
10     1 depressed_1y         NA
# ℹ 4,802 more rows
```
]

---
count: false

```
# A tibble: 4,812 × 4
   treat name     depression treat_factor
   <dbl> <fct>         <dbl> <fct>       
 1     1 6 Monate          0 Treatment   
 2     1 1 Jahr            1 Treatment   
 3     1 7 Jahre          NA Treatment   
 4     1 Baseline          1 Treatment   
 5     1 6 Monate          0 Treatment   
 6     1 1 Jahr            0 Treatment   
 7     1 7 Jahre           0 Treatment   
 8     1 Baseline          1 Treatment   
 9     1 6 Monate         NA Treatment   
10     1 1 Jahr           NA Treatment   
# ℹ 4,802 more rows
```
]

---
count: false

---
count: false

---
count: false

```r
thp %>%
  select(treat, depressed_6m, depressed_1y, depressed) %>%
  mutate(Baseline = 1) %>%
  pivot_longer( cols = -treat, names_to = "name", values_to = "depression") %>%
  mutate(name = fct_relevel(name, "Baseline", "depressed_6m", "depressed_1y", "depressed"),
         name = fct_recode(name,
                           "6 Monate" = "depressed_6m",
                           "1 Jahr" = "depressed_1y",
                           "7 Jahre" = "depressed"),
         treat_factor = as.factor(ifelse(treat == 1, "Treatment", "Kontrolle"))) %>%
  ggplot(aes(x = name, y = depression,
             color = treat_factor)) +
  scale_color_manual(values = c("#D55E00", "#0072B2")) +
* stat_summary(geom = "pointrange",
*              fun.data = "mean_se",
*              fun.args = list(mult=2.33))
```
]
 
.panel2-depressionen-auto[
<img src="Experiment_slides_files/figure-html/depressionen_auto_08_output-1.png" width="70%" style="display: block; margin: auto;" />
]

---
count: false

```r
thp %>%
  select(treat, depressed_6m, depressed_1y, depressed) %>%
  mutate(Baseline = 1) %>%
  pivot_longer( cols = -treat, names_to = "name", values_to = "depression") %>%
  mutate(name = fct_relevel(name, "Baseline", "depressed_6m", "depressed_1y", "depressed"),
         name = fct_recode(name,
                           "6 Monate" = "depressed_6m",
                           "1 Jahr" = "depressed_1y",
                           "7 Jahre" = "depressed"),
         treat_factor = as.factor(ifelse(treat == 1, "Treatment", "Kontrolle"))) %>%
  ggplot(aes(x = name, y = depression,
             color = treat_factor)) +
  scale_color_manual(values = c("#D55E00", "#0072B2")) +
  stat_summary(geom = "pointrange",
               fun.data = "mean_se",
               fun.args = list(mult=2.33)) +
* ylim(0,1)
```
]
 
.panel2-depressionen-auto[
<img src="Experiment_slides_files/figure-html/depressionen_auto_09_output-1.png" width="70%" style="display: block; margin: auto;" />
]

---
count: false

```r
thp %>%
  select(treat, depressed_6m, depressed_1y, depressed) %>%
  mutate(Baseline = 1) %>%
  pivot_longer( cols = -treat, names_to = "name", values_to = "depression") %>%
  mutate(name = fct_relevel(name, "Baseline", "depressed_6m", "depressed_1y", "depressed"),
         name = fct_recode(name,
                           "6 Monate" = "depressed_6m",
                           "1 Jahr" = "depressed_1y",
                           "7 Jahre" = "depressed"),
         treat_factor = as.factor(ifelse(treat == 1, "Treatment", "Kontrolle"))) %>%
  ggplot(aes(x = name, y = depression,
             color = treat_factor)) +
  scale_color_manual(values = c("#D55E00", "#0072B2")) +
  stat_summary(geom = "pointrange",
               fun.data = "mean_se",
               fun.args = list(mult=2.33)) +
  ylim(0,1) +
* theme_minimal()
```
]
 
.panel2-depressionen-auto[
<img src="Experiment_slides_files/figure-html/depressionen_auto_10_output-1.png" width="70%" style="display: block; margin: auto;" />
]

---
count: false

```r
thp %>%
  select(treat, depressed_6m, depressed_1y, depressed) %>%
  mutate(Baseline = 1) %>%
  pivot_longer( cols = -treat, names_to = "name", values_to = "depression") %>%
  mutate(name = fct_relevel(name, "Baseline", "depressed_6m", "depressed_1y", "depressed"),
         name = fct_recode(name,
                           "6 Monate" = "depressed_6m",
                           "1 Jahr" = "depressed_1y",
                           "7 Jahre" = "depressed"),
         treat_factor = as.factor(ifelse(treat == 1, "Treatment", "Kontrolle"))) %>%
  ggplot(aes(x = name, y = depression,
             color = treat_factor)) +
  scale_color_manual(values = c("#D55E00", "#0072B2")) +
  stat_summary(geom = "pointrange",
               fun.data = "mean_se",
               fun.args = list(mult=2.33)) +
  ylim(0,1) +
  theme_minimal() +
* theme(legend.title = element_blank(),
*       legend.position = "bottom")
```
]
 
.panel2-depressionen-auto[
<img src="Experiment_slides_files/figure-html/depressionen_auto_11_output-1.png" width="70%" style="display: block; margin: auto;" />
]

---
count: false

```r
thp %>%
  select(treat, depressed_6m, depressed_1y, depressed) %>%
  mutate(Baseline = 1) %>%
  pivot_longer( cols = -treat, names_to = "name", values_to = "depression") %>%
  mutate(name = fct_relevel(name, "Baseline", "depressed_6m", "depressed_1y", "depressed"),
         name = fct_recode(name,
                           "6 Monate" = "depressed_6m",
                           "1 Jahr" = "depressed_1y",
                           "7 Jahre" = "depressed"),
         treat_factor = as.factor(ifelse(treat == 1, "Treatment", "Kontrolle"))) %>%
  ggplot(aes(x = name, y = depression,
             color = treat_factor)) +
  scale_color_manual(values = c("#D55E00", "#0072B2")) +
  stat_summary(geom = "pointrange",
               fun.data = "mean_se",
               fun.args = list(mult=2.33)) +
  ylim(0,1) +
  theme_minimal() +
  theme(legend.title = element_blank(),
        legend.position = "bottom") +
* labs(x = NULL,
*      y = "Anteil an Depressionen",
*      title = "Treatment Effekte auf den Anteil an Depressionen",
*      caption = "Gezeigt wird der Mittelwert der Gruppen inklusive des 99% Konfidenzintervalls.\nEigene Analysen auf Basis von Baranov et al. (2020)")
```
]
 
.panel2-depressionen-auto[
<img src="Experiment_slides_files/figure-html/depressionen_auto_12_output-1.png" width="70%" style="display: block; margin: auto;" />
]

---
count: false

```r
thp %>%
  select(treat, depressed_6m, depressed_1y, depressed) %>%
  mutate(Baseline = 1) %>%
  pivot_longer( cols = -treat, names_to = "name", values_to = "depression") %>%
  mutate(name = fct_relevel(name, "Baseline", "depressed_6m", "depressed_1y", "depressed"),
         name = fct_recode(name,
                           "6 Monate" = "depressed_6m",
                           "1 Jahr" = "depressed_1y",
                           "7 Jahre" = "depressed"),
         treat_factor = as.factor(ifelse(treat == 1, "Treatment", "Kontrolle"))) %>%
  ggplot(aes(x = name, y = depression,
             color = treat_factor)) +
  scale_color_manual(values = c("#D55E00", "#0072B2")) +
  stat_summary(geom = "pointrange",
               fun.data = "mean_se",
               fun.args = list(mult=2.33)) +
  ylim(0,1) +
  theme_minimal() +
  theme(legend.title = element_blank(),
        legend.position = "bottom") +
  labs(x = NULL,
       y = "Anteil an Depressionen",
       title = "Treatment Effekte auf den Anteil an Depressionen",
       caption = "Gezeigt wird der Mittelwert der Gruppen inklusive des 99% Konfidenzintervalls.\nEigene Analysen auf Basis von Baranov et al. (2020)")
```
]
 
.panel2-depressionen-auto[
<img src="Experiment_slides_files/figure-html/depressionen_auto_13_output-1.png" width="70%" style="display: block; margin: auto;" />
]

---

## Schritt 2: Durchschnittliche Differenzen

.pull-left[
<img src="Experiment_slides_files/figure-html/unnamed-chunk-5-1.png" width="70%" style="display: block; margin: auto;" />
]

.pull-right[
- Die Treatmentgruppe hat einen sehr raschen Rückgang bei den Depressionen
    - Bereits nach 6 Monaten auf rund 25%
    - Stagniert auf rund 25% auch nach einem Jahr
    - Geht zurück auf unter 20% nach sieben Jahren
- Die Kontrollgruppe verzeichnet auch einen starken Rückgang der Depressionen 
    - Nach 6 Monaten auf etwas mehr als 50%
    - Stagniert bei etwas über 50% auch nach einem Jahr
    - Geht zurück auf rund 25% nach sieben Jahren
]

.alert[Ein naiver Vergleich nur innerhalb der Treatmentgruppe vorher/nachher würde den Effekt des Treatments stark überschätzen!]

---

# Regressionsanalysen

---

## Schritt 2: Durchschnittliche Differenzen

```r
*thp
```
]
 
.panel2-diffs-auto[

---
count: false

```r
thp %>%
* filter(attrit2 == 0 & THP_sample == 1)
```
]
 
.panel2-diffs-auto[

```
# A tibble: 585 × 394
   newid interviewer    uc grandmother employed_mo income_mo income_hh genhealth
   <dbl>       <dbl> <dbl> <chr>       <chr>           <dbl> <chr>     <chr>    
 1   226           1     1 No          No                  0 60        Very good
 2     3           1     1 No          No                  0 150       Good     
 3   354           1     1 Yes         No                  0 110       Very good
 4   225           4     1 No          No                  0 60        Very good
 5     2           4     1 Yes         No                  0 60        Good     
 6   729           1     1 No          No                  0 65        Good     
 7   228           4     1 No          No                  0 300       0        
 8   180           4     1 No          No                  0 <NA>      Very good
 9   178           1     1 No          No                  0 60        Good     
10   224           7     1 Yes         No                  0 150       Good     
# ℹ 575 more rows
# ℹ 386 more variables: edu_mo <dbl>, edu_fa <dbl>, ideal_no_kids <chr>,
#   no_kids_over5_dead <dbl>, no_kids_1_5_dead <dbl>, no_kids_less1_dead <dbl>,
#   mo_185 <chr>, mo_358 <chr>, mo_360 <chr>, c_wt <dbl>, c_ht <dbl>,
#   ch_27 <chr>, ch_28 <chr>, ch_29 <chr>, ch_30 <chr>, ch_31 <chr>,
#   ch_32 <chr>, ch_33 <chr>, ch_34 <chr>, ch_35 <chr>, ch_36 <chr>,
#   mo_ht <dbl>, mo_bmi <dbl>, hamd_baseline <dbl>, bdq_baseline <dbl>, …
```
]

---
count: false

```r
thp %>%
  filter(attrit2 == 0 & THP_sample == 1) %>%
* group_by(treat)
```
]
 
.panel2-diffs-auto[

```
# A tibble: 585 × 394
# Groups:   treat [2]
   newid interviewer    uc grandmother employed_mo income_mo income_hh genhealth
   <dbl>       <dbl> <dbl> <chr>       <chr>           <dbl> <chr>     <chr>    
 1   226           1     1 No          No                  0 60        Very good
 2     3           1     1 No          No                  0 150       Good     
 3   354           1     1 Yes         No                  0 110       Very good
 4   225           4     1 No          No                  0 60        Very good
 5     2           4     1 Yes         No                  0 60        Good     
 6   729           1     1 No          No                  0 65        Good     
 7   228           4     1 No          No                  0 300       0        
 8   180           4     1 No          No                  0 <NA>      Very good
 9   178           1     1 No          No                  0 60        Good     
10   224           7     1 Yes         No                  0 150       Good     
# ℹ 575 more rows
# ℹ 386 more variables: edu_mo <dbl>, edu_fa <dbl>, ideal_no_kids <chr>,
#   no_kids_over5_dead <dbl>, no_kids_1_5_dead <dbl>, no_kids_less1_dead <dbl>,
#   mo_185 <chr>, mo_358 <chr>, mo_360 <chr>, c_wt <dbl>, c_ht <dbl>,
#   ch_27 <chr>, ch_28 <chr>, ch_29 <chr>, ch_30 <chr>, ch_31 <chr>,
#   ch_32 <chr>, ch_33 <chr>, ch_34 <chr>, ch_35 <chr>, ch_36 <chr>,
#   mo_ht <dbl>, mo_bmi <dbl>, hamd_baseline <dbl>, bdq_baseline <dbl>, …
```
]

---
count: false

```r
thp %>%
  filter(attrit2 == 0 & THP_sample == 1) %>%
  group_by(treat) %>%
* summarize( dep6m_avg = round(mean(depressed_6m, na.rm = T), 3)) -> dep1
```
]
 
.panel2-diffs-auto[

]

---
count: false