Annotationsschema und Annotationsrichtlinien
Annotationsschema und Annotationsrichtlinien
Bei der Durchführung eigener Annotationen ist es unverzichtbar, ein eigenes Annotationsschema und eigene Annotationsrichtlinien zu entwickeln, an die man sich während der Annotation hält.
Warum ist die Entwicklung von Annotationsschemata und Annotationsrichtlininen so wichtig? Bedenken Sie zwei Umstände:
Ihr Annotationsprozess wird i.d.R. über einen längeren Zeitraum ablaufen. Die Entwicklung eines Annotationsschemas und von Annotationsrichtlinien soll dann sicherstellen, dass Sie zum Ende Ihrer Arbeit hin noch genauso annotieren wie zu Beginn, sodass Ihre Annotationen einheitlich sind. Natürlich kommt es vor, dass Sie im Laufe Ihrer Arbeit feststellen, dass Sie an der Annotation etwas ändern müssen (und das kommt tatsächlich häufiger vor als man denkt), diese Änderungen aber müssen wieder in das Annotationsschema und die Annotationsrichtlinien eingehen – und natürlich müssen Sie dann bereits durchgeführte Annotationen noch einmal überarbeiten (auch wenn es mühsam ist).
Es kann sein, dass Sie nicht (ausschließlich) selbst annotieren, sondern dass die Annotation (ggf. in Teilen) von anderen Personen durchgeführt wird. Mit einem Annotationsschema und Annotationsrichtlinien stellen Sie einerseits sicher, dass diese anderen Personen einheitlich annotieren (sowohl untereinander als auch einheitlich zu Ihrer eigenen Arbeit) und andererseits, dass sie genau so annotieren, wie Sie es für Ihre Fragestellung benötigen. Das erspart viel Einarbeitungszeit, gerade wenn Annotator*innen häufig wechseln oder nur für einen kurzen Zeitraum mitarbeiten.
Die wesentliche Motivation für die Entwicklung eines Annotationsschemas und von Annotationsrichtlinien ist, dass Sie alle Kategorien, die Sie für die Annotation verwendet, so genau wie möglich festhalten. Das müssen Sie natürlich vor allem dann tun, wenn Sie nicht auf ein vorhandenes Tagset wie z.B. das Stuttgart-Tübingen-Tagset (STTS) zurückgreifen, sondern gewissermaßen ein eigenes Tagset entwickeln.
Inhalte
Folgende Inhalte sollten Ihr Annotationsschema bzw. Ihre Annotationsrichtlinien unbedingt umfassen (Lemnitzer/Zinsmeister 2015: 102):
- eine Liste aller Namen der verwendeten Tags, sowohl als Abkürzungen (wenn vorhanden) als auch mit vollständigen Namen;
- zu jedem Tag bzw. jeder Kategorie eine Definition;
- prototypische, repräsentative und realitätsnahe Annotationsbeispiele für jede Kategorie;
- Tests, die dabei helfen, zu entscheiden, ob eine Kategorie zutrifft und/oder um sie von anderen Kategorien zu unterscheiden
- problematische Annotationsbeispiele mit Erläuterungen
- typische Szenarien möglicher Verwechslungen von Kategorien (z.B. schwierig zu unterscheidende Tags) mit Annotationsbeispielen.
Schritte zur Entwicklung eines Annotationsschemas und Annotationsrichtlinien
Ein Annotationsschema und Annotationsrichlinien können nicht abgekoppelt von der konkreten Annotationsarbeit entstehen. Welche Kategorien man benötigt, wie sie definiert sind, welche Tests zu ihrer Unterscheidung notwendig sind und wo Verwechslungsgefahren bestehen, lässt sich erst herausfinden, wenn man sich intensiv mit den zu annotierenden Daten beschäftigt. Annotationsschema und Annotationsrichtlinien werden somit nicht ein einziges Mal zusammengestellt und sind dann für alle Ewigkeiten gültig, sondern sie werden in einem iterativen Prozess (also: sich wiederholenden Arbeitsschritten) entwickelt, verbessert und ausdifferenziert.
Idealerweise sollten Sie die erste Phase Ihrer Annotationsarbeit als Pilotphase einplanen, in der bereits die ersten Entwicklungsschritte für Ihr Annotationsschema und Ihre Annotationsrichtlinien stattfinden. Es bietet sich an, hierbei in drei Schritten vorzugehen (Lemnitzer/Zinsmeister 2015: 103).:
- Schritt 1: Analysieren Sie Ihre Daten, während Sie annotieren.
- Schritt 2: Evaluieren Sie die Annotationen und diskutieren Sie Ihre Ergebnisse (z.B. daraufhin, ob die Annotationen für Ihre Forschungsfrage und die Überprüfung Ihrer Hypothese verwendbar sind).
- Schritt 3: Spüren Sie Annotationsprobleme auf, finden Sie (im Idealfall) Lösungen dafür und erweitern bzw. revidieren Sie Ihr Annotationsschema und Ihre Annotationsrichtlinien.
Wenn Sie diesen Schritten folgen wollen, versteht es sich von selbst, dass Sie Ihre Daten nicht nur einmal annotieren müssen, sondern, wie bereits erwähnt, Mehrfachannotationen vornehmen müssen. Dies kann entweder bedeuten, dass Sie selbst die Daten mehrmals zu verschiedenen Zeitpunkten annotieren (vor allem wenn Sie die einzige annotierende Person sind) oder dass dieselben Daten von unterschiedlichen Personen annotiert werden.
Wichtig ist es in jedem Fall, dass Sie die Entwicklung Ihres Annotationsschemas und Ihrer Annotationsrichtlinien so transparent wie möglich halten. Das ist nicht nur für die Annotator*innen selbst wichtig, sondern auch für potentielle zukünftige Nutzer*innen.