Open Access: Digital-Humanities-Tools für die Filmforschung

In den Geisteswissenschaften gibt es bis heute wenig Erfahrung, Forschungsgrundlagen kooperativ zu bearbeiten und offen zu teilen, bevor sie publiziert sind. Stattdessen bewegen wir uns in einem kompetitiven Feld, in dem Vorbehalte gegenüber kollaborativer, offener Forschung zu überdauern scheinen.

Dieser Text gibt einen Einblick in die Entwicklung der Digital-Humanities-Plattform Timeline of Historical Film Colors und – damit verbunden – digitaler Tools zur (semi-) automatischen Annotation und Analyse von Filmen im Rahmen der Forschungsprojekte FilmColors, das vom European Research Council mit einem Advanced Grant gefördert wird, und SNF Filmfarben. Technologien, Kulturen, Institutionen.

Der Grundtenor des Texts zielt auf die Vorteile, die eine Öffnung von Forschung auf internationaler Basis mit sich bringt, und warum sich solche Engagements auch für einzelne Forscher_innen und Initiator_innen der Projekte als gewinnbringend erweisen. Es soll aber auch die Rede von Hürden sein, insbesondere auf der Seite von Förderungsinstitutionen und Universitäten, die bis heute kaum Maßnahmen entwickelt haben, solche Projekte langfristig zu unterstützen und geeignete Infrastrukturen aufzubauen.

Mit der Timeline of Historical Film Colors habe ich 2012 eine umfassende Online-Ressource für die Erforschung und Dokumentation von Filmfarben geschaffen, und seither kuratiert, die sowohl Primär- und Sekundärquellen zur filmhistorischen, technischen und ästhetischen Entwicklung des Forschungsgegenstands vereinigt wie auch die Farbverfahren in sensorisch ansprechender Form für ein breiteres Publikum visualisiert. Derzeit – Stand September 2018 – umfasst die Ressource mehr als 400 Einzeleinträge zu Farbfilmverfahren und Filmmaterialien, es sind mehrere Tausend Zitate (Zitatbeispiel) direkt über einen Online-Reader zugänglich, 428 Galerien (Galeriebeispiel Vertigo) mit rund 12.000 Fotos von historischen Farbfilmen; alle bereits bekannten Patentschriften und viele historische Quellen zum Download sowie Links und Filmografien sind eingebunden.

Die Grundidee zu Timeline of Historical Film Colors entstand während eines Forschungsaufenthalts an der Harvard University im Rahmen des SNF-Forschungsprojekts Filmgeschichte Re-mastered, in dessen Zentrum die Erforschung historischer Filmfarben stand. In Harvard hatte ich Zugang zu einer exzellenten bibliothekarischen Forschungsinfrastruktur, die selbst die entferntesten und seltensten Dokumente weltweit beschaffte und mir zur Verfügung stellte. Dabei wurde deutlich, dass

1. Es eine ungeheure Menge an erhellenden Quellen gab, die in der Forschung bisher nicht berücksichtigt wurden;
2. der Zugriff auf diese Quellen für die meisten Forscher_innen ohne solche exzellenten Bedingungen unmöglich war.

Aus dieser Einsicht entschloss ich, eine Online-Datenbank zu schaffen, welche die Quellen allen Forscher_innen in geeigneter Weise zur Verfügung stellt. Integrativer Bestandteil dieser Datenbank sollten Scans oder Fotografien von  historischen Filmmaterialien sein, damit sich andere Forscher_innen, aber auch interessierte Laien ein Bild von Farbfilmmaterialien machen können und Filmarchivar_innen oder Restaurator_innen ein Werkzeug zur Identifikation von Farbfilmen erhalten, siehe Beitrag des Schweizer Fernsehens von 2012.

Die allererste, sehr einfache Version – eine Online-Datenbank mit einer umfassenden Bibliografie und ein paar Hundert Bildern, die im April 2012 online publiziert wurde – habe ich selbst in PHP und MySQL programmiert, da ich über keine Förderungsmittel dafür verfügte und das Projekt aber möglichst schnell realisieren wollte. Statt Anträge zu schreiben habe ich diese erste Version für ein Crowdfunding genutzt, mit dem mehr als 10.000 USD gesammelt wurden, um die nächsten Schritte zu finanzieren. Damit begannen aber die eigentlichen Probleme, denn nun setzte eine mehrjährige Durststrecke – von 2012 bis 2016 – ein, die ich nur dank Einsatz von persönlichen Ersparnissen in der Größenordnung von mehreren Zehntausend Euros überbrücken konnte.

Förderungsinfrastrukturen für solche Web-Plattformen gab es seinerzeit auf meine Anfrage weder an der Universität Zürich noch beim Schweizerischen Nationalfonds. Andere Projekte, wie die Media History Digital Library – eine umfassende Sammlung historischer Zeitschriften, in den USA gegründet von David Pierce und heute geleitet von Prof. Dr. Eric Hoyt – wurden vornehmlich durch private Sponsor_innen finanziert. Eine Tradition, die es in Europa viel weniger gibt und schon gar nicht für ein solch spezielles Unterfangen. Auch von allen privaten Stiftungen gab es ausschließlich Absagen. Es war offensichtlich unattraktiv, ein bereits bestehendes Projekt zu fördern, das wurde aus den Rückmeldungen ersichtlich. Die Sicherung der Nachhaltigkeit in finanzieller, personeller sowie technischer Hinsicht erweist sich denn auch bis heute als das dringendste Problem aller Online-Ressourcen und digitalen Tools.

Dank Projektförderung für die Forschungsprojekte ERC Advanced Grant FilmColors und SNF Filmfarben ist die Finanzierung derzeit bis 2020 gesichert, danach wird es wieder schwierig sein, entsprechende Mittel aufzutreiben.

Trotz der Hindernisse ist das Projekt ein Erfolgsmodell für Open-Access-Forschungsplattformen. Die Timeline wird weltweit intensiv genutzt und hat mir als Initiatorin – und in der Folge den Forschungsteams1 – einen ungeheuren Vorsprung verschafft, sowohl in Hinblick auf die internationale Vernetzung im Forschungsfeld als auch auf die Förderungswürdigkeit für mich als Forscherin.

Internationale Sichtbarkeit verdankt das Projekt hauptsächlich Aktivitäten auf Social Media, der Verlinkung über geeignete Partner_innen wie Archive oder Dr. Catherine Grants Film Studies for Free und den Einsatz von Tools für die Google-Suche. Die Timeline war daher auch seit Beginn ein Lehrstück, welche Kommunikationsstrategien erfolgreich sind und welche scheitern, denn ein konstantes Monitoring gehört zum Aufbau eines solchen Projekts dazu. Es funktioniert überhaupt nur, wenn es ein bestimmtes nationales oder noch besser internationales Momentum erreicht.

Zentral für die Weiterentwicklung und den inhaltlichen Wissenszuwachs ist die zunehmende Fülle an ständig wachsenden Datenbeständen und Fotografien, die jedoch eine kontinuierliche Weiterentwicklung der Datenarchitektur erfordert. Die Teams der beiden Forschungsprojekte können sich nicht nur selbst aller schon aufbereiteter Daten und Quellen bedienen, sondern sie tragen aktiv zum Ausbau dieser bei, indem sie neu erschlossene Quellen einbringen, Bibliografien erstellen und Filmografien vervollständigen. So haben auch alle Doktorand_innen die Methode der fotografischen Dokumentation der Filme mit einem modularen Kamera-Set-up erlernt (siehe Blog-Eintrag von Olivia Kristina Stutz), das ich für die Timeline entwickelt habe und das nun im Projekt vom Team, insbesondere durch Martin Weiss, weiter optimiert wird.

Seit 2011 bin ich in Archiven in Europa und den USA unterwegs, um diese Filme mit dem modularen Kamera-Set-up zu dokumentieren. Seit 2016 kamen nach und nach die verschiedenen Teammitglieder dazu, welche ebenfalls die für ihre individuellen Forschungsschwerpunkte bedeutsamen Filme dokumentieren. Neu finden sich zunehmend auch kolorimetrische Messungen, die Dr. Giorgio Trumpy von den unterschiedlichen historischen Farbfilmmaterialien mit einem eigens entwickelten Messverfahren erstellt.

Neben maßgeblichen Archiven in Europa – wie das Eye Filmmuseum in Amsterdam, das BFI in London Berkhamsted, die Stiftung Deutsche Kinemathek, das Deutsche Filminstitut DIF, das Lichtspiel / Kinemathek, das Národní Filmový Archiv Prag, die Cineteca di Bologna, das Bundesarchiv Filmarchiv – sind es in den USA die Library of Congress, das Academy Film Archive Los Angeles, das George Eastman Museum Rochester, das Museum of Modern Art New York, das Harvard Film Archive, das UCLA Film & Television Archive, und dieses Jahr in Asien das National Film Archive of Japan (Fotos noch nicht online). Zusätzlich haben zwei Teams den umfassenden Bestand von Filmausschnitten der Kodak-Sammlung im National Science and Media Museums in Bradford dokumentiert (Blogeintrag Noemi Daugaard). Nicht alle Archive sind allerdings gleichermaßen willens, den Zugriff auf ihre Bestände zu erlauben.

Der Zugriff auf historische Filmkopien und Negative erfordert sehr viel guten Willen aufseiten der Archive, die einen enormen Aufwand betreiben müssen, um die Filme aus den Lagern zu holen, zu akklimatisieren, vorzubereiten und die damit verbundene Bürokratie zu erledigen. Daher ist es uns wichtig, den Archiven auch etwas zurückzugeben. So erhalten alle Kooperationspartner_innen die Fotos in sehr hoher Auflösung zum eigenen Gebrauch, jedes Archiv hat Anrecht auf einen Header auf der Timeline und alle Fotos werden über ein tag den jeweiligen Archiven zugeordnet. Zunehmend bieten wir den Archiven an, Präsentationen zu halten – eine Idee, die ursprünglich von Prof. Dr. rer. nat. Ulrich Rüdel (damals am BFI, heute Professor an der HTW Berlin) eingebracht wurde und die auf viel Interesse bei den Mitarbeitenden stieß. Dieses Jahr fanden unsere Referate auf Initiative von Mike Mashon an der Library of Congress statt, auf Einladung des National Film Archive of Japan im Rahmen eines Technical Meetings mit dem Dienstleister Imagica in Tokyo und die beiden Doktorandinnen Michelle Beutler und Joëlle Kost hielten Vorträge am Academy Film Archive. Die Archive verstehen unsere Forschung zunehmend als Kooperation, und das ist der Idealzustand, den wir anstreben.

Es lassen sich also verschiedene Rückkopplungsprozesse beobachten, die im Laufe der Arbeit an der Timeline und der damit verbundenen Forschungsprojekte entstanden sind. Zum einen diffundiert das Wissen nicht nur in die Forschungsteams und lässt sich für die eigenen Projekte nutzen, sondern es kommen Inputs von allen Forschungspartner_innen. Diese sorgen wiederum eigenständig für die Zirkulation der Online-Ressource, beispielsweise indem sie selbst Blogs verfassen wie The Ten Best Color Systems vom BFI oder der Blog-Eintrag, den kürzlich Prof. Dr. Jan-Christopher Horak, der Direktor des UCLA Film & Television Archive, publizierte. Auch die Lehrinstitutionen für Filmrestaurierung wie die New York University Tisch School of the Arts, die UCLA oder die L. Jeffrey Selznick School des George Eastman Museum arbeiten mit der Timeline. Es besteht eine enge Kooperation mit dem Eye Filmmuseum und der Universität Amsterdam, die nochmals Thema der nächsten Ausführungen sein wird.

Inzwischen sind fünf Drittmittelprojekte aus der Forschungsarbeit zu Filmfarben entstanden, neben den beiden erwähnten Projekten ERC Advanced Grant FilmColors und SNF Filmfarben das anwendungsorientierte Projekt DIASTOR, gefördert von der Schweizerischen Kommission für Technologie und Innovation als Zusammenarbeit mit Disney Research Zürich, der ETH Zürich, der Firma Cinegrell – dem letzten Filmlabor in der Schweiz –, zwei Filmarchiven sowie weiteren Wirtschaftspartner_innen, und jüngst zusätzlich ein SNF-Agora-Projekt für die Wissenschaftskommunikation mit Museumsausstellung sowie Filmprogramm und ein Proof-of-Concept-Projekt, gefördert wiederum vom ERC, für die Entwicklung eines multi-spektralen Filmscanners für historische Filmmaterialien in Zusammenarbeit mit der Firma ARRI in München. Neben der geisteswissenschaftlichen Forschung fließen aus diesen Projekten also auch Impulse in die Praxis und Technik der Filmrestaurierung, auch in Form von Beratungsmandaten für größere Projekte wie die Agfacolor-Restaurierungen der Friedrich-Wilhelm-Murnau-Stiftung unter der Leitung von Anke Wilkening bei ARRI in München oder des Deutschen Filminstituts DIF unter der Leitung von Anke Mebold bei Haghefilm Digitaal in Amsterdam. Es gibt Kooperationen mit der National Library of Norway, der DEFA-Stiftung (siehe Blog-Eintrag von Josephine Diecke) und dem Filmmuseum Potsdam (siehe Blog-Eintrag von Josephine Diecke und Dennis Basaldella).

Mit der wachsenden Datenmenge sind laufend neue Entwicklungsarbeiten der Timeline notwendig. Seit Abschluss des Crowdfundings werden sie von der Firma Basics 09 in Berlin ausgeführt. Neue Funktionen sind unter anderem das Werkzeug, das den Vergleich von verschiedenen Kopien erlaubt, und ein Tagging-System mit einem ausdifferenzierten Thesaurus für die Annotation und Suche. Insgesamt ist noch mehr Interaktion vorgesehen, so wird soeben eine Front-End-Tagging-Funktion für die Nutzer_innen umgesetzt, mit der sie für sich interessante Filme oder Texte mit dem Thesaurus annotieren können. Das SNF Agora-Projekt Presentation and Visualization of Historical Film Colors beinhaltet die Entwicklung einer App, welche Ausstellung, Filmprogramm und ein Bildungspaket mit der Timeline verbinden. Schon länger gibt es für eingeladene Autor_innen die Möglichkeit, im Back-End selber Texte und Bilder hochzuladen, die vor der Online-Publikation noch überprüft werden, siehe Blog-Eintrag.

Seit 2017 ist zusätzlich ein komplett neuer Ansatz in Entwicklung, der das Projekt online mit einer weiteren Dimension anreichern wird. Im Rahmen des Forschungsprojekts ERC Advanced Grant FilmColors werden digitale Tools zur Annotation und (semi-)automatischen Analyse von Filmen entwickelt, in Zusammenarbeit mit dem Visualization and MultiMedia Lab der Universität Zürich unter der Leitung von Prof. Dr. Renato Pajarola. Diese Ansätze basieren auf der computergestützten sowie manuellen Analyse eines Korpus von mehr als 400 Filmen aus dem ersten Jahrhundert der Filmgeschichte, die das Analyse-Team von drei Doktorandinnen, einer Postdoktorandin und der Autorin durchgeführt hat.

Mit dem Video-Annotationssystem ELAN wurden zunächst die Filme mittels eines Templates analysiert, danach in eine selbst entwickelte FileMaker-Datenbank exportiert und dort anhand eines Protokolls bestehend aus mehr als 1.200 Begriffen detailliert analysiert. Daraus sind mehr als 17.000 Datensätze zu einzelnen Segmenten entstanden mit mehr als 500.000 Summen, die nun ausgewertet werden.

Für die Analyse-Konzepte erstellt das Team fortlaufend ein Glossar, das die Begriffe sowohl definiert als auch mit Screenshots aus den analysierten Filmen visualisiert.

Grundlegende Ideen eines solchen Verfahrens habe ich 2011 in einem Aufsatz für die Zeitschrift für Medienwissenschaft dargelegt und kritisch diskutiert, 2017 in einem englisch-sprachigen Aufsatz (kostenlose Preprint-Version) aktualisiert (Blog-Eintrag zu den digitalen Tools).

 

Die Methoden und Ansätze der automatischen Analyse mit Deep-Learning-Tools sind Teil eines umfangreichen Annotations-Pakets namens VIAN, entwickelt von Gaudenz Halter mit dem Visualization and MultiMediaLab, einem visuellen – und sprachlichen – Annotationssystems. Die Werkzeuge umfassen inzwischen eine Objekterkennung zur automatischen Trennung von Figur und Grund, eine Netzwerk-Visualisierung des gesamten Korpus, eine automatische Segmentierung und intelligente Screenshot-Erstellung, kolorimetrische Analyse der Videos und verschiedene Visualisierungsmöglichkeiten auf Segment-, Film- und Korpus-Ebene, verknüpft mit den Resultaten der manuellen Analyse und der filmografischen Daten.

 

Visualisierung einiger analytischer Konzepte anhand von Do the Right Thing (USA 1989, Spike Lee) in VIAN, entwickelt von Gaudenz Halter, ERC Advanced Grant FilmColors in Zusammenarbeit mit dem Visualization and MultiMedia Lab, Universität Zürich

 

Weitere Module sind in Entwicklung, es lassen sich aber auch externe Module integrieren. Dazu bestehen Kooperationen mit Partner_innen in den Niederlanden wie dem CLARIAH-Projekt von Prof. Dr. Julia Noordegraaf und SEMIA von Prof. Dr. Giovanna Fossati, mit Dr. Liliana Melgar, Dr. Christian Gosvig Olesen und Dr. Eef Masson.

VIAN wird nun für die Verknüpfung mit einer Crowdsourcing-Plattform weiterentwickelt, sodass externe Nutzer_innen die Tools verwenden und die Resultate in die Online-Plattform einspeisen können.

Zusammenfassend lässt sich feststellen, dass ein solches Projekt ein ungeheures Momentum erzeugen kann. Auf der Minus-Seite ist anzumerken, dass die langfristige Zukunft damit keineswegs gesichert ist. Es mangelt an Infrastrukturen aufseiten der Universitäten und an Einsicht, dass sich die Geisteswissenschaften in einem grundlegenden Umbruch befinden, den es aufzugreifen und zu reflektieren gilt. Wenig Technikaffinität einerseits und die immer noch verbreiteten Vorbehalte gegenüber Digital Humanities andererseits an Universitäten machen die Sache nicht leichter. Dabei sollte man diese neuen Geisteswissenschaften nicht als Revolution verstehen, sondern als gewinnbringende Erweiterung von etablierten Methoden mit neuen Mitteln, als Chance und nicht als Bruch mit den Traditionen.  

Danksagung

Dank an die Förderung des European Research Council (ERC), Initiative Horizon 2020 der Europäischen Union, Projektnummer 670446 FilmColors.

 

1 ERC Advanced Grant FilmColors. Bridging the Gap between Technology and Aesthetics

Projektleitung und Principal Investigator
Prof. Dr. Barbara Flückiger

Projektmitarbeitende

• Dr. Bregt Lameris, Postdoktorandin Filmwissenschaft
• Dr. Giorgio Trumpy, Research Scientist, Materialanalyse für Kulturgut
• Dr. David Pfluger, wissenschaftlicher Mitarbeiter Filmrestaurierung
• Martin Weiss, Techniker, Restaurator und wissenschaftlicher Mitarbeiter
• MA Joëlle Kost, Doktorandin
• MA Michelle Beutler, Doktorandin
• MA Olivia Stutz, Doktorandin

Forschungsmanagement:

• Dr. Evelyn Echle, Scientific Research Manager

Software-Entwicklung:

• BSc Gaudenz Halter, Software-Entwickler Farbfilmanalyse, Video-Annotation und Crowdsourcing-Plattform VIAN, in Zusammenarbeit mit dem Visualization and MultiMedia Lab von Prof. Dr. Renato Pajarola, Universität Zürich, (Enrique G. Paredes) seit 07.2017
• BSc Noyan Evirgen, ebenfalls in Zusammenarbeit mit dem Visualization and MultiMedia Lab von Prof. Dr. Renato Pajarola, Universität Zürich (Enrique G. Paredes, PhD; Rafael Ballester-Ripoll, PhD), 03.2017–01.2018

Studentische Assistierende Filmanalysen:
BA Manuel Joller, BA Ursina Früh, BA/MA Valentina Romero

Filmfarben. Technologien, Kulturen, Institutionen
Projektleitung
Prof. Dr. Barbara Flückiger, baflueckiger@gmail.com

Projektmitarbeitende
MA Noemi Daugaard, Doktorandin
MA Josephine Diecke, Doktorandin

Mitarbeitende für das Datenmanagement Timeline of Historical Film Colors:
MA Sabrina Züger, BA Manuel Joller, BA Jamie-Lee Moser, MA Meredith Stalder