From Pretest to Analysis

Block 4

Christoph Adrian

statArts GmbH
Chair of Communication Science

30.01.2026

Begrüßung & Koordination

Kurzer Rückblick & Organisatorisches zum Anfang

Semesterplan

Session	Datum	Time	Topic
1	24.10.2024	09:45 - 11:15	🚀 Kick-Off
			✏️ Independent study and assignments
2	09.01.2026	09:00 - 16:00	📚 From Theory to Questionaire
3	23.01.2026	09:00 - 16:00	📚 From Questionaire to Pretest
4	30.01.2026	09:00 - 16:00	📚 From Pretest to Analysis
5	06.02.2026	09:00 - 16:00	📚 Analysis & Evaluation

Heutige Agenda

Überblick über den Ablauf des heutigen Tages

Slot	Zeit	Programmpunkt
	09:00 - 09:15	Begrüßung & Koordination
	09:15 - 09:30	Kurze Pause
1	09:30 - 11:15	Bewertung der Feldphase
	11:15 - 11:30	Kurze Pause
2	11:30 - 13:00	Analyse im Fokus
	13:00 - 14:00	Mittagspause
3	14:00 - 15:45	Hands-On: Edit & Plan
4	15:45 - 16:00	Abschluss & Ausblick

💬 Let’s discuss

Organisatorische Hinweise

• Deadline für Implementation Report: 28.02.2026 um 23:59
• Kurzer Erfahrungsbericht aus Teilnehmenden-Perspektive
  • Wie gut ließ sich die Studie in euren Alltag integrieren?
  • Wie empfandet ihr Länge und Häufigkeit der Befragungen?
  • Gab es Momente, die besonders störend oder belastend waren?
  • Was hat euch überrascht?

Short Break

15 Minuten Pause

15:00

Bewertung der Feldphase

Kurze Reflexion der bisherigen Feldphase

💻 And now … you!

Arbeitsauftrag (20 Minuten): Reflexion der Feldphase

Arbeitsauftrag

In euren Gruppen …

• erstellt eine Kurzpräsentation (max. 3 Folien), die auf folgende Punkte eingeht:
  • Was lief gut, was lief nicht so gut? (1 Folie)
  • Was wollt/würdet ihr beim nächsten Mal anders machen? (1 Folie)
  • Was ist noch unklar, wozu habt ihr Fragen oder möchtet Feedback? (1 Folie)

Folienvorlage verwenden

• Bitte nutzt die bereitgestellte Folienvorlage (Google Slides) auf der nächsten Folie

Get started!

Bitte nutzt die jeweilige Folienvorlage für die Dokumentation eurer Ergebnisse

Gruppe A (‘Ansprachformen im Alltag’)

Gruppe B (‘Out-of-home recall’)

Gruppe C (“Informelle visuelle Kommunikation”)

Gruppe D (“Sticky Politics”)

20:00

Short Break

15 Minuten Pause

15:00

Analyse im Fokus

Datenquellen jenseits klassischer Fragebögen: GPS, Text (as data), Bilder (as data)

The missing link

Wie neue Datenquellen die klassischen Surveys ergänzen

• Projektentwürfe folgen klassischer Surveyforschung: Fokus auf Selbstberichte und Auswertung von Skalen
• Datenquellen wie Inhalte, Bilder und Orte liefern zusätzlichen Kontext (Engel et al., 2021; Struminskaya et al., 2020)
• Herausforderung: Wie lassen sich diese Datenmassen systematisch auswerten?
• Lösung: (Teil-)automatisierte Analyseverfahren

Fokus auf die “Inhalte”

Inhaltsanalyse als methodische Brücke

• Zentrale Methode der Kommunikationswissenschaft (Krippendorff, 2018; Mayring, 2022)
• Ziel: Systematische Analyse von Kommunikationsinhalten
• Vorgehen: manuelle Codierung mithilfe eines Codebuchs mit Definitionen, Kategorien und (Anker-)Beispielen
• Anwendung auf Text, Bild und multimodale Inhalte

Von manuell zu automatisiert

Zu den Vorteilen bzw. der Notwendigkeit der Automatisierung

• Manuelle Codierung ist aufwendig und schwer skalierbar
• Automatisierung ermöglicht:
  • Verarbeitung größerer Datenmengen
  • Schnellere Analyse
  • höhere Reproduzierbarkeit
• Ziel: Unterstützung, nicht Ersatz der “klassischen” Inhaltsanalyse (Grimmer & Stewart, 2013; Hase, 2023)
• Best Practice: automatisierte Schritte validieren gegen manuelle Kodierung (Chan & Sältzer, 2020)

Text as data

Automatisierte Analyse von Textinhalten

• Grundidee: Texte werden als strukturierte Daten behandelt (Grimmer & Stewart, 2013)
• Anschlussfähigkeit an inhaltsanalytische Logiken (Krippendorff, 2018)
• Typische Verfahren (von einfach zu komplex):
  • Keywording & Dictionaries (z. B. Frame-/Themenlisten) (Grimmer & Stewart, 2013)
  • Topic Modeling für thematische Cluster (Blei et al., 2003; Chen et al., 2023; Maier et al., 2018)
  • Embeddings zur Ähnlichkeitsanalyse (Jurafsky & Martin, 2024; Reimers & Gurevych, 2019)
  • LLMs für Kodierung(-svorschläge) oder Summary (Brown et al., 2020)

Werbeinhalte codieren und mit ESM verknüpfen

Inhaltsanalyse im Survey- und ESM-Kontext

• Allgemein:

  • Ableitung von Themen, Frames oder Tonalitäten
  • Verknüpfung von exponierten Inhalten mit Einstellungen und Bewertungen

• in Bezug auf das Projekt:

  • Kodierung von Werbebotschaften (z. B. Thema, Frame, Call-to-Action)

  • Abgleich zwischen Inhalt der Werbung und situativer Reaktion im ESM

  • Frage: Welche Inhalte triggern Aufmerksamkeit, Emotionen oder Erinnerung?

Spezialfall Bildanalyse

Inhalte jenseits von Text

• Bilder transportieren Motive, Akteure und mehr Kontext
• Aber: Automatisierte Bildanalyse ist komplexer als Textanalyse
• Typische Verfahren
  • OCR: Text aus Bildern extrahieren (Smith, 2007)
  • Bildklassifikation: Motive, Akteursgruppen
  • Objekterkennung: Personen, Symbole, Settings (Redmon et al., 2016)
  • Multimodale Ansätze: Bild- und Textinformationen kombinieren (Radford et al., 2021)

Bildmotive analysieren und Wirkung vergleichen

Visuelle Inhalte als relevante Daten

• Allgemein:

  • Bilder als eigenständige Bedeutungsträger (Motive, Akteure, Symbolik)
  • Untersuchung visueller Reize jenseits bewusster Erinnerung

• in Bezug auf das Projekt:

  • Analyse von Bildmotiven auf Plakaten (z. B. Personen, Produkte, Emotionen)

  • Verknüpfung visueller Merkmale mit ESM-Antworten nach Exposition

  • Vergleich unterschiedlicher Motivtypen hinsichtlich Wirkung

Kontext des Kontextes

Geo-Daten als analytische Dimension

• Ort beeinflusst Wahrnehmung, Verhalten und Erreichbarkeit
• GPS-Daten ergänzen Surveys um räumlichen Kontext (z. B. durch räumliche Muster/Cluster) (Harari et al., 2016; Struminskaya et al., 2020)
• Verknüpfung mit Umwelt-, Infrastruktur- und Strukturdaten (Engel et al., 2021)

Aber was lässt sich auswerten?

Analysemöglichkeiten von Geo-Daten

• Mobilität: Wege, Aufenthaltsorte, Routinen
• Kontextzuordnung: Umgebung, Urbanität, Nähe zu Events
• Spatial Joins mit externen Daten:

  • Points of Interest (POI)

  • Demografie

  • Umweltindikatoren

Geo-Daten machen Werbekontakt situativ messbar

Räumlicher Kontext von Befragungssituationen

• Allgemein:

  • Kontextualisierung von Antworten durch Ort und Bewegung
  • Identifikation situationsabhängiger Effekte (z. B. unterwegs vs. stationär)
  • Analyse räumlicher Muster in Befragungsdaten

• in Bezug auf das Projekt:

  • Abschätzung von Kontaktwahrscheinlichkeiten mit Außenwerbung

  • Auslösen von ESM-Remindern in räumlicher Nähe zu Werbeträgern

  • Verknüpfung von Ort – Werbekontakt – unmittelbarer Reaktion

Was, Wo und Wie

Daten verknüpfen für realitätsnahe (Survey-)Forschung

• Inhalt: Was wird kommuniziert? (Text, Bild, Motive)
• Kontext: Wo und in welcher Situation? (Ort, Bewegung)
• Reaktion: Wie wird unmittelbar reagiert? (ESM, Emotionen, Bewertungen)
• Verknüpfung ermöglicht:

  • Validierung von Selbstberichten

  • Kontextualisierung von Antworten

  • stärkere Triangulation klassischer und automatisierter Verfahren

Lunch Break

60 Minuten Mittagspause

Hands-on: Edit & Plan

(Re-)Kalibrierung der Umfrage und (theoretischer) Analysefahrplan

💻 Hands-on Zeit!

Zwei Arbeitsaufträge (insgesamt 90 Minuten)

1. Arbeitsauftrag

Prüft auf Basis des Feedbacks von heute Morgen, ob noch Anpassungen

• am Fragebogen(design) notwendig sind?
• am Schedule notwendig sind?
• an den Ausfüllhinweisen notwendig sind?

2. Arbeitsauftrag

In euren Gruppen …

• sichtet das bisherige Datenmaterial an & überlegt euch mindestens 1 Möglichkeit des Linking für eure Daten(-quellen)
• formuliert den Vorschlag bis zur nächsten Sitzung in einer Google-Präsentation (Vorlagen auf nächster Folie) aus

Get started!

Bitte nutzt die jeweilige Folienvorlage für die Dokumentation eurer Ergebnisse

Gruppe A (‘Ansprachformen im Alltag’)

Gruppe B (‘Out-of-home recall’)

Gruppe C (“Informelle visuelle Kommunikation”)

Gruppe D (“Sticky Politics”)

To Dos …

Checkliste für die Arbeitsaufträge

• Bis zum Ende der Sitzung

  • eventuelle Anpassungen an Schedule oder .env-Variablen (z.B. Umfragelink) per Mail an christoph.adrian@fau.de
  • eventuelle Anpassungen der Ausfüllhinweise als StudOn-Forumspost

• Bis zur nächsten Sitzung

  • Entwurf für einen Analyseplan, der Data-Linking beinhaltet (auf Basis der Quellen aus der Session Info)

  • mit den Daten der eigenen Umfrage vertraut machen

Time for questions

Bis zur nächsten Sitzung!

Literatur

Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent dirichlet allocation. The Journal of Machine Learning Research, 3, 9931022.

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., … Amodei, D. (2020). Language Models are Few-Shot Learners. https://arxiv.org/abs/2005.14165

Chan, C., & Sältzer, M. (2020). Oolong: An r package for validating automated content analysis tools. Journal of Open Source Software, 5(55), 2461. https://doi.org/10.21105/joss.02461

Chen, Y., Peng, Z., Kim, S.-H., & Choi, C. W. (2023). What We Can Do and Cannot Do with Topic Modeling: A Systematic Review. Communication Methods and Measures, 17(2), 111–130. https://doi.org/10.1080/19312458.2023.2167965

Engel, U., Quan-Haase, A., Liu, S. X., & Lyberg, L. (2021). Digital trace data (1st ed., pp. 100–118). Routledge. https://www.taylorfrancis.com/books/9781003024583/chapters/10.4324/9781003024583-8

Grimmer, J., & Stewart, B. M. (2013). Text as Data: The Promise and Pitfalls of Automatic Content Analysis Methods for Political Texts. Political Analysis, 21(3), 267–297. https://doi.org/10/f458q9

Harari, G. M., Lane, N. D., Wang, R., Crosier, B. S., Campbell, A. T., & Gosling, S. D. (2016). Using Smartphones to Collect Behavioral Data in Psychological Science: Opportunities, Practical Considerations, and Challenges. Perspectives on Psychological Science, 11(6), 838–854. https://doi.org/10.1177/1745691616650285

Hase, V. (2023). Automated Content Analysis (F. Oehmer-Pedrazzi, S. H. Kessler, E. Humprecht, K. Sommer, & L. Castro, Eds.; pp. 23–36). Springer Fachmedien Wiesbaden. https://link.springer.com/10.1007/978-3-658-36179-2_3

Jurafsky, D., & Martin, J. H. (2024). Speech and language processing: An introduction to natural language processing, computational linguistics, and speech recognition with language models (3rd ed.). https://web.stanford.edu/~jurafsky/slp3/

Krippendorff, K. (2018). Content Analysis: An Introduction to Its Methodology (4th ed.). SAGE Publications.

Maier, D., Waldherr, A., Miltner, P., Wiedemann, G., Niekler, A., Keinert, A., Pfetsch, B., Heyer, G., Reber, U., Häussler, T., Schmid-Petri, H., & Adam, S. (2018). Applying LDA Topic Modeling in Communication Research: Toward a Valid and Reliable Methodology. Communication Methods and Measures, 12(2-3), 93–118. https://doi.org/10.1080/19312458.2018.1430754

Mayring, P. (2022). Qualitative Inhaltsanalyse: Grundlagen und Techniken (13th ed.). Beltz.

Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision. https://arxiv.org/abs/2103.00020

Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2016). You Only Look Once: Unified, Real-Time Object Detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). https://arxiv.org/abs/1506.02640

Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). https://arxiv.org/abs/1908.10084

Smith, R. (2007). An Overview of the Tesseract OCR Engine. Proceedings of the Ninth International Conference on Document Analysis and Recognition (ICDAR), 629–633. https://research.google/pubs/an-overview-of-the-tesseract-ocr-engine/

Struminskaya, B., Lugtig, P., Keusch, F., & Höhne, J. K. (2020). Augmenting Surveys With Data From Sensors and Apps: Opportunities and Challenges. Social Science Computer Review, 089443932097995. https://doi.org/10.1177/0894439320979951