Einführung & Überblick

Digital behavioral data - Session 02

Christoph Adrian

Lehrstuhl für Kommunikationswissenschaft

02.11.2022

Seminarplan

Sitzung	Datum	Thema	Referent*Innen
1	26.10.2022	Kick-Off Session	Christoph Adrian
2	02.11.2022	DBD: Einführung und Überblick	Christoph Adrian
3	09.11.2022	DBD: Datenerhebung	Christoph Adrian
4	16.11.2022	API-Access (I): Twitter	Falk
5	23.11.2022	API-Access (II): YouTube	Denisov
6	30.11.2022	API-Access (II): Reddit	Landauer
7	07.12.2022	Webscraping: TikTok	Brand & Kocher
8	14.12.2022	ESM: m-path	Dörr
		WEIHNACHTSPAUSE
9	12.01.2023	Data Donations
10	19.01.2023	Mock-Up-Virtual Environments
11	26.01.2023	Open Science
12	02.02.2023	Guest Lecture: Linking DBD & Survey data	Johannes Breuer
13	09.02.2023	Semesterabschluss & Evaluation	Christoph Adrian

▶️

Agenda

1. 📢️ Organisation & Koordination

2. A short (re-)introduction to DBD

3. Herausforderungen von DBD

4. Wichtige Rahmenbedingungen von DBD

5. Verständnis- & Diskussionsfragen

• Basistext als Einführung, zusätzliche Inhalte im Seminar

• Idee der Sitzung: Sensibilisierung für Problemstellungen –> Nützlich für Ihre eigenen Sitzungen!

• Feedback zu Fragen in Group Activity

📢️ Organisation & Koordination

Fragen, MS Teams & alternativer Seminarplan

Kursmaterialien, Literatur etc.

Kurze Einführung in Teams

• Siehe: Webpage zum Kurs

• Siehe: Syllabus

Vorschlag: Alternativer Seminarplan

Sitzung	Datum	Thema	Referent*Innen
1	26.10.2022	Kick-Off Session	Christoph Adrian
2	02.11.2022	DBD: Einführung und Überblick	Christoph Adrian
3	09.11.2022	DBD: Datenerhebung	Christoph Adrian
4	16.11.2022	API-Access (I): Twitter	Falk
5	23.11.2022	API-Access (II): YouTube	Denisov
6	30.11.2022	API-Access (II): Reddit	Landauer
7	07.12.2022	Webscraping: TikTok	Brand & Kocher
8	14.12.2022	Exkurs: DBD Analyse mit R	Christoph Adrian
		WEIHNACHTSPAUSE
9	12.01.2023	ESM: m-path	Dörr
10	19.01.2023	TBD	Hofmann & Wierzbicki
11	26.01.2023	Puffer
12	02.02.2023	Guest Lecture: Linking DBD & Survey data	Johannes Breuer
13	09.02.2023	Semesterabschluss & Evaluation	Christoph Adrian

▶️

A short (re-)introduction

Was sind digital behavior data?

Und was können wir mit Ihnen untersuchen?

DBD – Was ist das eigentlich?

Rückblick auf Definition nach Weller (2021)

• … fasst eine Vielzahl von möglichen Datenquellen zusammen, die verschiedene Arten von Aktivitäten aufzeichnen (häufig sogar “nur” als Nebenprodukt)

• … können dabei helfen, Meinungen, Verhalten und Merkmale der menschlichen Nutzung digitaler Technologien zu erkennen

Im Kontext dieses Seminars:

• Schwerpunkt: Nutzung und Inhalte von soziale Medien
• Computational Social Science [CSS] Verfahren, z.B. zur Erhebung, Verarbeitung, Auswertung und Präsentation

Ohne CSS keine DBD

Kurzer Exkurs zur Bedeutung von Computational Social Science

Definition (Computational Social Science).

We define CSS as the development and application of computational methods to complex, typically large-scale, human (sometimes simulated) behavioral data.” (Lazer et al., 2020)

hilft dabei …

• genuine digitale Phänomene zu untersuchen

• digitale Verhaltensdaten zu sammeln und vorzuverarbeiten

• neue Methoden zur Analyse von großen Datensätzen anzuwenden

CSS = neues Teilgebiet der Sozialwissenschaften oder neuer “Werkzeugkasten” zur Ergänzung der traditionellen sozialwissenschaftlichen Ansätze

Und was können wir damit untersuchen?

Beispiele für & Kategorisierung von untersuchbaren Verhalten & Interaktionen

Quelle: Engel et al. (2021)

Einschränkungen

• Kategorisierung ist Momentaufnahme und nicht überschneidungsfrei

• Selektive Nutzung von bestimmten digitalen Geräten bzw. Funktionen

• Kategorien: Digital/Analog individual/social behavior

• Einige inhärent digitale Verhalten (z.B. Web Searches) bei zunehmender Digitalisierung von analogen Verhalten (z.B. Collaborative Work)

• Fehlen digitaler Spurendaten in all diesen Quadranten für bestimmte Personen und bestimmte Verhaltensweisen durch selektive Nutzung digitaler Geräte.

Verfügbarkeit als Pluspunkt

DBD als wertvolle Quelle bei aktuellen, sensiblen & unvorhersehbaren Themen

Einsatz besonders Vorteilhaft bei Themen bzw. Untersuchungen …

• … für die es schwierig ist, Studienteilnehmer*innen zu rekrutieren
• … bei denen Beobachtungen vorteilhafter sind als Befragungen

Beispiel: Streaming und/oder Mining von Inhalten aus bestehenden digitalen Kommunikationsströmen

• Zeitnaher als die Erstellung einer Umfrage
• Zusätzlicher Nutzen als Archiv bei unvorhersehbaren Ereignissen

🔔 –> Beispiele?

• Meinung zu Corona auf Basis von Tweets

• Well-being auf Basis von Instagram-Bildern & Texten

Mehr Daten durch technologischen Fortschritt

Beispiel: Wachsenden Anzahl eingebauter Smartphone-Sensoren

Graphik aus Struminskaya et al. (2020)

Eine kleine Lobeshymne auf DBD

Zwischenfazit

• Digitale Geräte oder Sensoren können sich besser an bestimmte Fakten besser “erinnern” als das menschliche Gedächtnis.

• Sensoren sind oft bereits in alltägliche Technologie eingebaut und produzieren digitale Verhaltensdaten als ein “Nebenprodukt”.

• Unaufdringliche Erfassung als potentieller Vorteil bzw. Entlastung für Teilnehmer*Innen

• Kombination mit Umfragedaten möglich (und bereichernd!)

Aber:

Zur erfolgreichen Nutzung müssen Forschungsziele & verfügbare Daten in Einklang gebracht, mögliche Biases und methodische Probleme berücksichttigt sowie die Datenqualität evaluiert werden.

▶️

Herausforderungen von DBD

Der Umgang mit Biases, methodischen Tücken und ethischen Einschränkungen

Wenn der Vorteil zum Nachteil wird

Ambivalenz der Unaufdringlichkeit (Engel et al., 2021)

• Unterscheidung zwischen aufdringlichen (z.B. spezielle Research-App & Befragungen) & unaufdringlichen (z.B. Cookies, Browserplugins & APIs) erhobenen Daten

• Bewertung und Erwartung an Datensammlung ist abhängig vom Kontext (z.B. Amazon vs. Researchgate)

Dilema:

Einerseits bereitwillige (oft unwissende) Abgabe der Daten an Konzerne, andererseits häufig Bedenken bezüglich Datenschutz & Privatsphäre bei wissenschaftlichen Studien

▶️ | 🔔 –> Gründe für Ablehnung: Nutzenorientierung?

The End of Theory

Zur Wichtigkeit von konzipierte Messungen & Designs

“Who knows why people do what they do? The point is they do it, and we can track and measure it with unprecedented fidelity. With enough data, the numbers speak for themselves.” (Anderson, 2008)

Was denken Sie?

“Size alone does not necessarily make the data better” (boyd & Ellison, 2007)

“There are a lot of small data problems that occur in big data [which] don’t disappear because you’ve got lots of the stuff. They get worse.” (Harford, 2014)

▶️ | 🔔

We need to talk about biases

Spezifische und allgemeine Herausforderungen für die Forschung mit DBD

Hintergrund: (Big) Data ist zunehmend Grundlage für politische Maßnahmen, die Gestaltung von Produkten und Dienstleistungen und für die automatisierte Entscheidungsfindung

• Herausforderungen in Bezug auf DBD-Forschung: fehlender Konsens über ein Vokabular oder eine Taxonomie, häufig nur impliziter Bezug in der Forschung

• Generelle Herausforderung: bias ist ein weit gefasster & in unterschiedlichen Disziplinen genutzter Begriff
  

▶️

“bias” hier im statistischen Sinne

Punkt2:

• conformation bias und andere kognitive Voreingenommenheiten (Croskerry, 2002)

• systemische, diskriminierende Ergebnisse (Friedman und Nissenbaum, 1996)

• systemische Schäden (Barocas et al., 2017)

Know your bias!

Framework zur Minimierung von Fehlern und Problemen (Olteanu et al., 2019)

Beschreibung:

• Die Analyse sozialer Daten beginnt mit bestimmten Zielen (Abschnitt 2.1), wie dem Verständnis oder der Beeinflussung von Phänomenen, die für soziale Plattformen spezifisch sind (Typ I) und/oder von Phänomenen, die über soziale Plattformen hinausgehen (Typ II).

• Diese Ziele erfordern, dass die Forschung bestimmte Validitätskriterien erfüllt, die weiter oben beschrieben wurden (Abschnitt 2.2).

• Diese Kriterien können ihrerseits durch eine Reihe von allgemeinen Verzerrungen und Problemen beeinträchtigt werden (Abschnitt 3).

• Diese Herausforderungen können von den Merkmalen der einzelnen Datenplattformen (Abschnitt 4) abhängen - die oft nicht unter der Kontrolle des Forschers stehen - und von den Entscheidungen des Forschungsdesigns entlang einer Datenverarbeitungspipeline (Abschnitte 5 bis 8) - die oft unter der Kontrolle des Forschers stehen.

• Pfeile zeigen an, wie sich Komponenten in unserem Rahmenwerk direkt auf andere auswirken

Worauf wirkt die Verzerrung?

Beispiele für Forschung von Typ I & II (Olteanu et al., 2019)

Typ I: understand/influence phenomena specific to social platforms

• Dynamik der Verbreitung von “Memes”
• Steigerung der Attraktivität bzw. besonders Features
• Verbesserung der Suchfunktion oder des Empfehlungssystems

Typ II: understand/influence phenomena beyond social platforms

• Beschreibung des Einflusses sozialer Medien auf eine politische Wahl.

• Nutzung sozialer Daten zur Verfolgung der Entwicklung ansteckender Krankheiten durch Analyse der von Social-Media-Nutzern online gemeldeten Symptomen

Zu welchen Problemen führen verschiedene Biases?

Einflüsse von Biases auf Datenqualität

• Um diese Probleme in das umfassendere Konzept der Datenqualität einzuordnen, geben wir zunächst einen kurzen Überblick über bekannte Probleme der Datenqualität.

• Datenqualität ist ein vielschichtiges Konzept, typische Elemente sind Genauigkeit, Vollständigkeit, Konsistenz, Aktualität und Zugänglichkeit.

Datenqualität & data bias

Definition (Data bias).

A systematic distortion in the sampled data that compromises its representativeness.

Potentielle Probleme

• Sparsity: Häufig Heavy-Tail-Verteilung, was Analyse am “Kopf” (in Bezug auf häufige Elemente oder Phänomene) erleichtert, am “Schwanz” (wie seltene Elemente oder Phänomene) jedoch erschwert (Baeza-Yates, 2013)

• Noise: Unvollständige, beschädigte, unzuverlässige oder unglaubwürdige Inhalte (boyd & Crawford, 2012; Naveed et al., 2011)

  • Unterscheidung von “Noise” und “Signal” ist oft unklar und hängt von der Forschungsfrage ab (Salganik, 2018)

• Organische vs gemessene Daten: Fragen zur Repräsentativität (vs. Stichprobenbeschreibung), Kausalität (vs. Korrelation) und Vorhersagegüte

Im Fokus: Population Bias

Definition (Population biases).

Systematic distortions in demographics or other user characteristics between a population of users represented in a dataset or on a platform and some target population.

Potentielle Probleme

• Unterschiedliche Demographien (z.B. Geschlechts-, Alters- & Bildungsgruppen) neigen zu unterschiedlichen sozialen Plattformen¹ und nutzen deren Mechanismen² unterschiedlich

• Proxies für Eigenschaften oder demografische Kriterien der Nutzenden sind unterschiedlich verlässlich³

Häufig ist der Zusammenhang von Untersuchungspopulation (z.B. in Deutschland lebende Erwachsene) zu Zielpopulation (Erwachsene auf Twitter, die angeben, in DE zu leben) unbekannt.

Beispiel “Auswirkungen”

• kann die (Stichproben)-Repräsentativität beeinträchtigen
  ➥ ⚠️externe Validität
• besonders problematisch für Forschungsarbeiten des Typs II
• kann sich auch auf die Leistung von Algorithmen auswirken, die Rückschlüsse auf die Nutzer ziehen
  ➥ ⚠️interne Validität (Typ-I & Typ II)
  • Schätzung der Geo-Location im Stadt-Land-Spektrum (z.B Johnson et al., 2017)

1. Signifikant mehr Twitter-Nutzer (Mislove et al. ,2011), bei Pinterest tendenziell Nutzerinnen überrepräsentiert (Ottoni et al., 2013)

2. Unterschiedliche Twitter-Nutzung in Deutschland (Fokus auf Hashtags) und Korea (Fokus auf Konversationen) (Hong et al., 2011)

3. Angabe über Alumni-Status einer bestimmten Gruppe von Universitäten als Quelle für Verzerrung bei Meinung junger Hochschulabsolvent*Innen zu einem neuen Gesetz (Ruths und Pfeffer, 2014)

Im Fokus: Behavioral Biases

Definition (Behavioral biases).

Systematic distortions in user behavior across platforms or contexts, or across users represented in different datasets.

Potentielle Probleme

• Beeinflussung der Art und Weise, wie Nutzer*Innen miteinander interagieren¹

• Auftreten von Selbstselektion² und Reaktionsverzerrungen³⁴

Unterschiede in Bezug auf Nutzerpersönlichkeiten (Hughes et al., 2012), die Verbreitung von Nachrichten (Lerman und Ghosh, 2010) oder den Austausch von Inhalten (Ottoni et al., 2014)

Auswirkungen:

• Ergebnisse einer Studie von der gewählten Plattform oder dem Kontext abhängig
  ➤ ⚠️externe Validität

• nur Teilweise von population bias abhängig

• bei (expliziten oder impliziten) Annahmen über die Verhaltensmuster der Nutzenden
  ➤ ⚠️potentielle Effekte auf Untersuchung von Typ-I & Typ II (z.B. Untersuchung der Bedürfnisse oder Interessen der Nutzenden)

Beispiel “Probleme”:

• Gesonderte Diskussion von Verhalten, die sich auf die Erstellung von Inhalten durch die Nutzer auswirken (“content production bias”) und solche, die sich auf die Verknüpfungsmuster zwischen Nutzern auswirken (“linking bias”).

• Drei weitere häufige Klassen von Verhaltensverzerrungen betreffen die Interaktionen zwischen Nutzern, die Interaktionen zwischen Nutzern und Inhalten und die Verzerrungen, die dazu führen, dass Nutzer in eine Studienpopulation aufgenommen oder von ihr ausgeschlossen werden.

1. Interaktionsmuster viel spärlicher als explizit erstellte soziale Verbindungen (20 % der Verbindungen haben 80 % der Interaktionen) (Wilson et al., 2009)

2. Passivität trotz Interesse an bestimmten Themen (Gong et al., 2016), aber: Aktivität nicht sichtbar oder Selbstzensur (Wang et al., 2011; Das und Kramer, 2013; Matias et al., 2015)?

3. Nutzer*Innen reden eher über extreme oder positive Erfahrungen als über gewöhnliche oder negative Erfahrungen (Kícíman, 2012; Guerra et al., 2014). (response bias)

4. 75 % der Foursquare-Check-ins stimmen nicht mit der tatsächlichen Mobilität der Nutzer übereinstimmen (Zhang et al., 2013)

Im Fokus: Content Production Biases

Definition (Content Production Biases)

Behavioral biases that are expressed as lexical, syntactic, semantic, and structural differences in the content generated by users.

Potentielle Probleme:

• Der Gebrauch der Sprache(n) variiert zwischen und innerhalb von Ländern und Bevölkerungsgruppen.¹

• Kontextbedingte Faktoren (z.B. zwischenmenschliche Beziehungen) beeinflussen die Art und Weise, wie Benutzer sprechen.²

• Die Inhalte von bekannten oder “erfahrenen” Nutzerinnenunterscheiden sich von denen der normalen Nutzer*innen.³

• Unterschiedliche Bevölkerungsgruppen haben unterschiedliche Neigungen, über bestimmte Themen zu sprechen.⁴

Unterschiede bei nutzergenerierten Inhalten, insbesondere bei Texten, zwischen und innerhalb von demografischen Gruppen

Beispiel 1: Sprachgebrauchsvariationen je nach Geschlecht, Alter, regionaler Herkunft und politischer Orientierung auf Twitter (Rao et al. (2010)), sowie zwischen ethnischen Gruppen (Blodgett et al., 2016).

Beispiel 2: Außerdem zeigen Schwartz et al. (2015), dass die zeitliche Ausrichtung von Botschaften (Betonung der Vergangenheit, Gegenwart oder Zukunft) von Faktoren wie Offenheit für neue Erfahrungen, Anzahl der Freunde, Lebenszufriedenheit oder Depression beeinflusst werden kann.

Beispiel 3: Zafar et al. (2015) zeigen, wie die Konzentration der Stichprobe von Inhalten auf “Experten”-Nutzer die resultierende Stichprobe in Richtung vertrauenswürdigerer und hochwertigerer Inhalte verzerrt.

1. Saisonale Schwankungen in der sprachlichen Zusammensetzung zwischen verschiedenen Gebiete (Länder, Regionen, Nachbarschaften etc.) (Mocanu et al., 2013)

2. Mütter und Väter verwenden auf Facebook jeweils unterschiedliche Ansprache für Töchter & Söhne, und umgekehrt. (Burke et al., 2013)

3. “Experten”-Nutzer auf Twitter neigen dazu, hauptsächlich Inhalte zu ihrem Fachgebiet zu erstellen (Bhattacharya et al., 2014)

4. Diaz et al. (2016) bei der Auswahl politischer Tweets während der US-Wahlen 2012 fest, dass die Nutzerpopulation eher auf Washington, DC, ausgerichtet war, während Olteanu et al. (2016) feststellten, dass Afroamerikaner eher den Twitter-Hashtag #BlackLivesMatter (über eine große Bewegung zur Rassengleichheit in den USA) verwendeten.

Im Fokus: Linking Bias

Definition (Linking Bias)

Behavioral biases that are expressed as differences in the attributes of networks obtained from user connections, interactions or activity.

Potentielle Probleme:

• Netzattribute¹²³ beeinflussen das Verhalten und die Wahrnehmung der Nutzer und umgekehrt

• Verhaltensbasierte und verbindungsbasierte⁴ soziale Verbindungen sind unterschiedlich.

• Die Bildung sozialer Online-Netzwerke hängt auch von Faktoren⁵⁶ außerhalb der sozialen Plattformen ab

• Sozialen Netzwerke, die aus beobachteten Mustern in Datensätzen (re)konstruiert werden, können sich grundlegend von den zugrunde liegenden (Offline-)Netzwerken unterscheiden (Schoenebeck, 2013a)
  ➤ ⚠️externe Validität ➤ ⚠️ Typ-II & teilweise Typ-I (Fälle, in denen die Interaktions- oder Verknüpfungsmuster der Nutzer mit der Zeit oder dem Kontext variieren)

• wirken sich beispielsweise auf die Untersuchung der Struktur und Entwicklung sozialer Netzwerke, des sozialen Einflusses und von Phänomenen der Informationsverbreitung aus (Wilson et al., 2009; Cha et al., 2010; Bakshy et al., 2012)

• Auf sozialen Plattformen können sie auch zu systematisch verzerrten Wahrnehmungen über Nutzer oder Inhalte führen (Lerman et al., 2016).

1. Anzahl der Follower der Nutzer*Innen (Kıcıman, 2010)

2. Altersspezifische Distanzen in sozialen Netzwerken (Dong et al., 2016)

3. Homophilie - die Tendenz ähnlicher Menschen, miteinander zu interagieren und sich zu verbinden (McPherson et al., 2001)

4. Auf expliziten Verbindungen basierende Netzwerk deutlich dichter war als das auf Nutzerinteraktionen basierende (Wilson et al., 2009)

5. Geografie (Poblete et al., 2011; Scellato et al., 2011)

6. Art und die Dynamik der Offline-Beziehungen die Neigung der Nutzer, soziale Bindungen einzugehen und online zu interagieren (Subrahmanyam et al., 2008; Gilbert und Karahalios, 2009).

Im Fokus: Temporal Biases

Definition (Temporal Biases)

Systematic distortions across user populations or behaviors over time.

Potentielle Probleme:

• Bevölkerungsgruppen, Verhaltensweisen¹ und Systeme verändern sich mit der Zeit².

• Saisonale und periodische Phänomene³⁴.

• Plötzlich auftretende Phänomene (z.B. Anstieg oder Rückgang von besteimmten Aktivitäten⁵ oder externe Ereignisse wie z.B. Katastrophen) wirken sich auf Populationen, Verhaltensweisen und Plattformen aus.

• Die zeitliche Granularität kann zu feinkörnig sein, um langfristige Phänomene zu beobachten, und zu grobkörnig sein, um kurzlebige Phänomene zu beobachten.

• Datensätze verfallen und verlieren mit der Zeit an Nutzen⁶.

Auswirkunge:

• ➤ ⚠️ externe Validität

• Beeinträchtigen Verallgemeinerbarkeit von Beobachtungen im Laufe der Zeit ➤ ⚠️ Typ-I & Typ-II-Forschung problematisch

Probleme:

• Die Art und Weise, wie man Datensätze entlang der zeitlichen Achsen aggregiert und abschneidet, wirkt sich darauf aus, welche Art von Mustern beobachtet werden und welche Forschungsfragen beantwortet werden können.

1. Schwankungen in Bezug darauf, wann und wie lange sich die Nutzer*Innen auf bestimmte Themen konzentrieren, was durch aktuelle Trends, saisonale oder periodische Aktivitäten oder sogar durch Lärm ausgelöst werden kann (Radinsky et al., 2012).

2. Drei Arten von zeitlichen Schwankungen: Populationsdrift, Verhaltensdrift und Systemdrift.(Salganik, 2017)

3. Unterschiedliche zeitliche Kontexte (Tag vs. Nacht, Wochentag vs. Wochenende) verändert die Form der abgeleiteten Nachbarschaftsgrenzen eografisch verorteter Tweets (Kıcıman et al., 2014).

4. Zusammenhänge zwischen der Stimmung von Tweets und Schlafzyklen und Saisonalität (Golder und Macy, 2011)

5. Einführung einer neuen Plattformfunktion resutliert in plötzlichen Anstieg der Aktivität (Malik und Pfeffer, 2016)

6. Nutzer ihre Inhalte und Konten löschen (Liu et al., 2014; Gillespie, 2015)

Im Fokus: Redundancy

Definition (Redundancy)

Single data items that appear in the data in multiple copies, which can be identical (duplicates), or almost identical (near duplicates).

Potentielle Probleme:

• Lexikalische (z. B. Duplikate, erneute Tweets, erneut geteilte Inhalte) und semantische (z. B. Beinahe-Duplikate oder dieselbe Bedeutung, aber anders geschrieben) Redundanz macht oft einen erheblichen Teil der Inhalte aus und kann sowohl innerhalb als auch zwischen Datensätzen auftreten.
• Weitere Quellen für inhaltliche Redundanz sind häufig nicht-menschliche Konten, wie z.B.

  • ein und dieselbe Person, die von mehreren Konten oder Plattformen aus postet (z. B. Spam),

  • mehrere Nutzer, die vom selben Konto aus posten (z. B. Konten von Organisationen),

  • mehrere Personen, die denselben Inhalt posten oder erneut posten (z. B. das Posten von Zitaten, Memes oder anderen Arten von Inhalten).

Auswirkunge:

• Redundanz kann, wenn sie nicht berücksichtigt wird, sowohl die interne als auch die ökologische/externe Validität der Forschung beeinträchtigen, und zwar sowohl in der Forschung vom Typ I als auch vom Typ II (Abschnitt 2.1). Sie kann sich negativ auf den Nutzen von Instrumenten auswirken (Radlinski et al., 2011) und die Quantifizierung von Phänomenen in den Daten verzerren.

Probleme:

• Die Art und Weise, wie man Datensätze entlang der zeitlichen Achsen aggregiert und abschneidet, wirkt sich darauf aus, welche Art von Mustern beobachtet werden und welche Forschungsfragen beantwortet werden können.
• Dies kann manchmal die Ergebnisse verzerren, aber Redundanz kann auch ein Signal an sich sein, z. B. kann das erneute Posten ein Signal für Wichtigkeit sein.

Sneak Preview in die nächste Sitzung

Datenerhebung im Fokus

• Um diese Probleme in das umfassendere Konzept der Datenqualität einzuordnen, geben wir zunächst einen kurzen Überblick über bekannte Probleme der Datenqualität.

• Datenqualität ist ein vielschichtiges Konzept, typische Elemente sind Genauigkeit, Vollständigkeit, Konsistenz, Aktualität und Zugänglichkeit.

Wichtige Rahmenbedingungen von DBD

Ethik & Recht im Fokus

Erweiterung des Blickwinkels

Ethische Erwägungen bei DBD-Forschung

Aus öffentlicher Zugänglich- bzw. Verfügbarkeit von Daten leitet sich nicht automatisch ethische Verwertbarkeit ab (boyd & Crawford, 2012; Zimmer, 2010)

• Verletzung der Privatsphäre der Nutzer (Goroff, 2015)

• Ermöglichung von rassischem, sozioökonomischem oder geschlechtsspezifischem Profiling (Barocas & Selbst, 2016)

Negative Beispiele

• Facebook contagion experiment (2012-2014): Feeds von Nutzer*Innen so manipulierten, dass sie je nach den geäußerten Emotionen mehr oder weniger von bestimmten Inhalten enthielten (Kramer et al., 2014)

• Encore-Forschungsprojekt: Messung der Internetzensur auf der ganzen Welt, bei der Webbrowser angewiesen wurden, zu versuchen, sensible Webinhalte ohne das Wissen oder die Zustimmung der Nutzer herunterzuladen (Burnett & Feamster, 2014)

Hintergrund:

• Ethische Fragen bisher epistemische Bedenken (Verwendung von nicht schlüssigen oder fehlgeleiteten Beweisen), jetzt normativ Bedenken (Folgen der Forschung)
• Forschung grundsätzlich in vielen Ländern gesetztlich geregelt

Negativbeispiele:

• Facebook contagion experiment: Das Experiment wurde als ein Eingriff kritisiert, der den emotionalen Zustand von ahnungslosen Nutzern beeinflusste, die keine Zustimmung zur Teilnahme an der Studie gegeben hatten (Hutton und Henderson, 2015a).

• Encore-Forschngsprojekt: Menschen in einigen Ländern durch diese Zugriffsversuche möglicherweise gefährdet wurden

Folgende Abschnitte:

• zentrales Spannungsverhältnis in der Forschungsethik digitaler Daten dargestellt.

• Anschließend wird die Diskussion spezifischer ethischer Probleme in der Sozialdatenforschung im Hinblick auf drei grundlegende Kriterien gegliedert, die im Belmont-Bericht (Ryan et al., 1978), einem grundlegenden Werk zur Forschungsethik, vorgebracht wurden: Autonomie (Abschnitt 9.2), Wohltätigkeit (Abschnitt 9.3) und Gerechtigkeit (Abschnitt 9.4).

Ein schmaler Grat

Forschungethik bei digitalen Daten

Hintergrund: Die Herausforderung besteht in der Kombination von zwei extremen Sichtweisen, der Betrachtung der Forschung mit sozialen Daten als “klinische” Forschung oder als Computerforschung

• Die Sozialdatenforschung unterscheidet sich von klinischen Versuchen.

• Ethische Entscheidungen in der Sozialdatenforschung müssen gut überlegt sein, da oft sind mehrere Werte betroffen, die miteinander in Konflikt stehen können

Hintergrund:

1. Die Sozialdatenforschung ähnelt klinischen Versuchen und anderen Experimenten am Menschen in ihrer Fähigkeit, Menschen zu schaden, und sollte daher auch als solche reguliert werden

2. die Sozialdatenforschung ähnelt der sonstigen Computerforschung, die sich traditionell auf Methoden, Algorithmen und den Aufbau von Systemen konzentriert, mit minimalen direkten Auswirkungen auf Menschen.

Punkt 2: Schäden, die die üblichen Arten der Sozialdatenforschung ( z. B. die Verletzung der Privatsphäre oder der Anblick verstörender Bilder)verursachen können, oft nicht mit Schäden von klinischen Versuchen gleichzusetzen

Punkt 3: Datenanalyse beispielsweise erforderlich sein, um wichtige Dienste bereitzustellen, und es sollten Lösungen erwogen werden, die ein Gleichgewicht zwischen Datenschutz und Genauigkeit herstellen (Goroff, 2015).

Achtung der individuellen Autonomie

Diskussion der Informierte Zustimmung als Indikator autonomer Entscheidung

Die Einwilligung nach Aufklärung setzt voraus, dass

1. die Forscher*Innen den potenziellen Teilnehmenden alle relevanten Informationen offenlegen;
2. die potenziellen Teilnehmenden in der Lage sind, diese Informationen zu bewerten;
3. die potenziellen Teilnehmenden freiwillig entscheiden können, ob sie teilnehmen wollen oder nicht;
4. die Teilnehmenden den Forschernden ihre ausdrückliche Erlaubnis erteilen, häufig in schriftlicher Form; und
5. die Teilnehmende die Möglichkeit haben, ihre Einwilligung jederzeit zurückzuziehen.

Potentielle Probleme

• Die Zustimmung von Millionen von Nutzern einzuholen ist unpraktisch.

• Das öffentliche Teilen von Inhalten im Internet bedeutet nicht unbedingt eine Zustimmung zur Forschung¹.

• Die Nutzungsbedingungen sozialer Plattformen stellen möglicherweise keine informierte Zustimmung zur Forschung dar.

Beispiel 1:

• Häufig keine Zustimmung bei Studien mit Daten von Millionen von Social-Media-Nutzern (Zimmer, 2010; Hutton und Henderson, 2015a)

• Obwohl die Einholung der Zustimmung oft als unpraktisch angesehen wird (Boyd und Crawford, 2012), gibt es Bemühungen, Methoden zur Einholung der Zustimmung zu entwickeln, die den Aufwand für die Teilnehmer möglichst gering halten (Hutton und Henderson, 2015a).

1. Datenschutzpräferenzen hängen häufig von Lebensumständen ab (Crawford und Finn, 2014)

Wohltätigkeit und Unschädlichkeit als Ziel

Bewertung von Risken & Nutzen

Hintergrund: Nicht nur Fokus auf den Nutzen der Forschung, sondern auch auf die möglichen Arten von Schäden, die betroffenen Gruppen und die Art und Weise, wie nachteilige Auswirkungen getestet werden können .(Sweeney, 2013)

Potentielle Probleme

• Daten über Einzelpersonen können ihnen schaden, wenn sie offengelegt werden¹².

• Forschungsergebnisse können verwendet werden, um Schaden anzurichten³.

• “Dual-Use”- und Sekundäranalysen sind in der Sozialdatenforschung immer häufiger anzutreffen⁴.

Die Forschung zu sozialen Daten wird mit bestimmten Arten von Schäden in Verbindung gebracht, von denen die Verletzung der Privatsphäre vielleicht die offensichtlichste ist (Zimmer, 2010; Crawford und Finn, 2014).

Beispiel 1: Einige prominente Beispiele sind die Datenpanne bei Ashley Madison im Jahr 2015, bei der einer Website, die sich als Dating-Netzwerk für betrügerische Ehepartner anpreist, Kontoinformationen (einschließlich der vollständigen Namen der Nutzer) gestohlen und online gestellt wurden (Thomsen, 2015), sowie die jüngsten Datenpannen bei Facebook, bei denen Hunderte Millionen von Datensätzen mit Kommentaren, Likes, Reaktionen, Kontonamen, App-Passwörtern und mehr öffentlich gemacht wurden.

1. Stalking, Diskriminierung, Erpressung oder Identitätsdiebstahl (Gross und Acquisti, 2005).

2. Zu lange Archivierung personenbezogener Daten oder die öffentliche Freigabe schlecht anonymisierter Datensätze kann zu Verletzungen der Privatsphäre führen, da diese Daten mit anderen Quellen kombiniert werden können, um Erkenntnisse über Personen ohne deren Wissen zu gewinnen (Crawford und Finn, 2014; Goroff, 2015; Horvitz und Mulligan, 2015)

3. Abgesehen von der Tatsache, dass aus sozialen Daten gezogene Rückschlüsse in vielerlei Hinsicht falsch sein können, wie in dieser Studie hervorgehoben wird, können zu präzise Rückschlüsse dazu führen, dass Menschen in immer kleinere Gruppen eingeteilt werden können (Barocas, 2014).

4. Daten, Instrumente und Schlussfolgerungen, die für einen bestimmten Zweck gewonnen wurden, für einen anderen Zweck verwendet werden (Hovy und Spruit, 2016; Benton et al., 2017)

Faire Verteilung von Risiken & Nutzen

Recht & Gerechtigkeit

Annahme: Es ist von Anfang an bekannt, wer durch die Forschung belastet wird und wer von den Ergebnissen profitieren wird.

Potentielle Probleme

• Die digitale Kluft kann das Forschungsdesign beeinflussen¹ (Stichwort: WEIRD Samples)

• Algorithmen und Forschungsergebnisse können zu Diskriminierung führen.

• Forschungsergebnisse sind möglicherweise nicht allgemein zugänglich².

• Nicht alle Interessengruppen werden über die Verwendung von Forschungsergebnissen konsultiert³.

🔔-> Plausibilität der Annahme?

1. Data divide: mangelnde Verfügbarkeit von hochwertigen Daten über Entwicklungsländer und unterprivilegierte Gemeinschaften (Cinnamon und Schuurman, 2013).

2. Idealerweise sollten die Menschen Zugang zu den Forschungsergebnissen und Artefakten haben, die aus der Untersuchung ihrer persönlichen Daten entstanden sind (Gross und Acquisti, 2005; Crawford und Finn, 2014).

3. In die Überlegungen darüber, wie, für wen und wann Forschungsergebnisse umgesetzt werden, sollten diejenigen einbezogen werden, die möglicherweise betroffen sind oder deren Daten verwendet werden (Costanza-Chock, 2018; Design Justice, 2018; Green, 2018)

Zwei Trends, Drei Fragen, Vier Empfehlungen

Zusammenfassung und Ausblick

Trend 1: Eine zunehmende Skepsis gegenüber einfachen Antworten

1. Wie einstehen die Daten, was enthalten sie tatsächlich und wie die Arbeitsdatensätze zusammengestellt?

2. Wird deutlich, was was ausgewertet wird?

3. Wird die Verwendung von vorgefertigten Datensätzen und Modellen des maschinellen Lernens hinterfragt?

Trend 2: Vom Aufwerfen von Bedenken über soziale Daten zum Umgang mit ihnen. 4 Empfehlungen:

1. Detaillierte Dokumentation und kritische Prüfung der Datensatz- und Modellerstellung

2. DBD-Studien auf verschiedene Plattformen, Themen, Zeitpunkte und Teilpopulationen auszuweiten, um festzustellen, wie sich die Ergebnisse beispielsweise in verschiedenen kulturellen, demografischen und verhaltensbezogenen Kontexten unterscheiden

3. Transparenzmechanismen zu schaffen, die es ermöglichen, soziale Software zu überprüfen und Verzerrungen in sozialen Daten an der Quelle zu evaluieren

4. Forschung zu diesen Leitlinien, Standards, Methoden und Protokollen auszuweiten und ihre Übernahme zu fördern.

   Schließlich gibt es angesichts der Komplexität der inhärent kontextabhängigen, anwendungs- und bereichsabhängigen Verzerrungen und Probleme in sozialen Daten und Analysepipelines, die in diesem Papier behandelt werden, keine Einheitslösungen - bei der Bewertung und Bekämpfung von Verzerrungen ist Nuancierung entscheidend.

Verständnis- & Diskussionsfragen

Ihre Fragen aus MS Teams

Vielen Dank für Ihre Fragen!

Wie wird mit ungenauen, verzerrten und/oder unvollständigen digitalen Verhaltensdaten umgegangen? Was passiert mit ihnen?

• Bereinigen –> Validieren –> Bereinigen –> Validieren …

Was versteht man unter der Herausforderung des Privacy-Utility-Trade-Off und wie kann dieses “Problem” bewältigt werden?

• Leider kein Zugang zur Quelle, Antwort “verschoben”

We consider a privacy-utility trade-off encountered by users who wish to disclose some information to an analyst, that is correlated with their private data, in the hope of receiving some utility.

Was denken Sie?

Nutzer sind sich oftmals nicht bewusst, dass ihre Posts/Tweets zu Forschungszwecken verwendet werden.

Sollten im Sinne der Transparenz von Vornherein mehr Informationen zur Verwendung von Daten gegeben werden? Würde dieses tatsächliche Wissen etwas am Verhalten/Akzeptanz der Datenerhebung der Nutzer ändern?

Da die Daten der Nutzer meist ohne Ihr aktives Wissen darüber erhoben werden ist ihr Verhalten sehr nah an der Realität. Würde eine bessere Information und Transparenz über das mitschreiben der Daten Ihr Verhalten beeinflussen und verfälschen? Kann dies bereits durch Benachrichtigungen wie “Coockies” der Fall sein?

Let’s discuss!

Es gibt Individuen, die sich nicht im digitalen Raum bewegen und somit in den Daten nicht erfasst werden können. Dadurch können bestimmte Gruppen nicht untersucht werden, was zu verzerrten Daten führt. Welche Möglichkeiten hat man dieses Problem zu umgehen.

• Wie würden Sie (methodisch) vorgehen?

• Ist es das eine Frage der Methodik oder des Forschungsdesigns?

Let’s discuss!

Wenn Unternehmen bei der Verwendung unserer Verhaltensdaten Profit erwirtschaften, sollten wir dann nicht auch etwas daran verdienen?

• Was denken Sie?

• Wie könnten/sollte ein potentielles Bezahlungssystem aussehen?

Time for questions

Bis zur nächsten Sitzung!

Literatur

Anderson, C. (2008). The end of theory: The data deluge makes the scientific method obsolete. Wired. https://www.wired.com/2008/06/pb-theory/

Baeza-Yates, R. A. (2013). Big data or right data.

Barocas, S., & Selbst, A. D. (2016). Big Data’s Disparate Impact. SSRN Electronic Journal. https://doi.org/10.2139/ssrn.2477899

boyd, danah m., & Crawford, K. (2012). CRITICAL QUESTIONS FOR BIG DATA: Provocations for a cultural, technological, and scholarly phenomenon. Information, Communication & Society, 15(5), 662–679. https://doi.org/10.1080/1369118X.2012.678878

boyd, danah m., & Ellison, N. B. (2007). Social Network Sites: Definition, History, and Scholarship. Journal of Computer-Mediated Communication, 13(1), 210–230. https://doi.org/10.1111/j.1083-6101.2007.00393.x

Burnett, S., & Feamster, N. (2014). Encore: Lightweight measurement of web censorship with cross-origin requests. https://doi.org/10.48550/ARXIV.1410.1211

Engel, U., Quan-Haase, A., Liu, S. X., & Lyberg, L. (2021). Digital trace data (1st ed., pp. 100–118). Routledge. https://doi.org/10.4324/9781003024583-8

Goroff, D. L. (2015). Balancing privacy versus accuracy in research protocols. Science, 347(6221), 479–480. https://doi.org/10.1126/science.aaa3483

Harford, T. (2014). Big data: A big mistake? Significance, 11(5), 14–19. https://doi.org/10.1111/j.1740-9713.2014.00778.x

Kramer, A. D. I., Guillory, J. E., & Hancock, J. T. (2014). Experimental evidence of massive-scale emotional contagion through social networks. Proceedings of the National Academy of Sciences, 111(24), 8788–8790. https://doi.org/10.1073/pnas.1320040111

Lazer, D. M. J., Pentland, A., Watts, D. J., Aral, S., Athey, S., Contractor, N., Freelon, D., Gonzalez-Bailon, S., King, G., Margetts, H., Nelson, A., Salganik, M. J., Strohmaier, M., Vespignani, A., & Wagner, C. (2020). Computational social science: Obstacles and opportunities. Science, 369(6507), 1060–1062. https://doi.org/10.1126/science.aaz8170

Naveed, N., Gottron, T., Kunegis, J., & Alhadi, A. C. (2011). the 20th ACM international conference. 183. https://doi.org/10.1145/2063576.2063607

Olteanu, A., Castillo, C., Diaz, F., & Kıcıman, E. (2019). Social data: Biases, methodological pitfalls, and ethical boundaries. Frontiers in Big Data, 2, 13. https://doi.org/10.3389/fdata.2019.00013

Salganik, M. J. (2018). Bit by bit: Social research in the digital age. Princeton University Press.

Struminskaya, B., Lugtig, P., Keusch, F., & Höhne, J. K. (2020). Augmenting Surveys With Data From Sensors and Apps: Opportunities and Challenges. Social Science Computer Review, 089443932097995. https://doi.org/10.1177/0894439320979951

Sweeney, L. (2013). Discrimination in Online Ad Delivery: Google ads, black names and white names, racial discrimination, and click advertising. Queue, 11(3), 10–29. https://doi.org/10.1145/2460276.2460278

Weller, K. (2021). A short introduction to computational social science and digital behavioral data. https://www.gesis.org/fileadmin/user_upload/MeettheExperts/GESIS_Meettheexperts_Introductioncss.pdf

Zimmer, M. (2010). “But the data is already public”: on the ethics of research in Facebook. Ethics and Information Technology, 12(4), 313–325. https://doi.org/10.1007/s10676-010-9227-5