BMBF joint project KA3- Cologne Center for Analysis and Archiving of AV Data
The joint project KA3 was funded by the BMBF in two funding phases from 2015-2020. As part of the project, the infrastructure for curating and archiving AV data at the Cologne site was fundamentally revised and the technical basis of the Language Archive Cologne (LAC) was designed for long-term and more intensive use. The project is also testing the use of methods from the field of machine learning to recognize specific phenomena that can facilitate or even replace the process of manual annotation of large amounts of data. The results of the project are the current technical basis of the LAC and the KA3 services for audio analysis.
1st phase
Funding code: 01UG1511
Duration: 10/2015-09/2018
2nd phase
Funding reference: 01UG1511A
Duration: 10/2018-09/2020
Leitung
- Prof. Dr. Nikolaus P. Himmelmann (IfL)
- Prof. Dr. Andreas Witt (DCH/IDS)
- Prof. Dr. Ulrich Lang (RRZK)
Team
- Jonathan Blumtritt (CCeH)
- Anke Debbeler (DCH; ab 2019)
- Mark Eschweiler (DARE; ab 2019)
- Anne Gerlach (DCH; ab 2019)
- Jochen Graf (RRZK)
- Lukas Mönch (DCH; ab 2020)
- Miguel Ramirez Peña (DCH)
- Felix Rau (DCH)
- Christoph Stollwerk (RRZK)
Contact
Felix Rau (DCH)
f.rau(at)uni-koeln.de
+49 221 470-5832
2. Förderphase
In der zweiten Förderphase liegt der Schwerpunkt auf der Fertigstellung und Erprobung eines dynamischen Repositoriums für audiovisuelle Daten. Bei der Umsetzung werden die zum Teil sehr unterschiedlichen Anforderungen der verschiedenen disziplinären Zugänge an Auffindbarkeit, Zugangskontrolle, Metadaten- und Annotationsformaten berücksichtigt. Dadurch wird das Repositorium offen und für verschiedene Disziplinen vielseitig einsetzbar. Ein dynamisches Repositorium für audiovisuelle Daten ist weiterhin das dringlichste Desideratum, da es weltweit kein stabiles Angebot in diesem Bereich gibt, das nutzerkontrollierte Up- und Downloads bei gleichzeitig sicherer Regelung und Kontrolle von Zugangsberechtigungen erlaubt.
Bei den Komponenten Audiomining und Dokumentenanalyse liegt der Schwerpunkt auf der Stabilisierung und nutzerfreundlichen Bereitstellung der in der ersten Förderphase erprobten und für die wissenschaftliche Forschung modifizierten Werkzeuge des Fraunhofer-Instituts IAIS. Beim Audiomining sind das die automatische Transkription und Verschlagwortung deutschsprachiger AV-Aufnahmen sowie die sprachunabhängige Sprecherdiarisierung (Zuordnung des Sprachsignals zu unterschiedlichen Sprechern). Bei der Dokumentenanalyse steht die Textzeilenerkennung im Vordergrund, die die Basis für alle weiteren Analyseschritte bei der Erforschung handschriftlicher Manuskripte ist.
Wie in der ersten Förderphase werden die Entwicklung des Repositoriums wie auch der Analysewerkzeuge durch drei Pilotstudien aus Linguistik, Oral History und Philosophie begleitet. Die Pilotstudien stellen sicher, dass die Nutzerperspektive im Entwicklungsprozess konstant präsent ist und alle Entwicklungen umgehend auf ihren praktischen Nutzen erprobt werden.
Conference contributions
Research Data and Humanities - RDHum 2019
Oulu, 14-16.08.2019. "Challenges and Developments in Preserving and Publishing of Large Audio/Video Data". Workshop: Jonathan Blumtritt*, Johan Frid, Jens Larsson, Martin Matthiesen, Felix Rau*.
6th Annual Conference of the Digital Humanities in German-speaking Countries (DHd) 2019 "multimedial & multimodal"
Frankfurt & Mainz, 25-29.03.2019.
"Qualitätsstandards und Interdisziplinarität in der Kuration audiovisueller (Sprach-)Daten". Workshop: Thomas Schmidt, Jonathan Blumtritt, Hanna Hedeland, Jan Gorisch, Felix Rau, Kai Wörner. doi:10.5281/zenodo.2596094
"Metadaten im Zeitalter von Google Dataset Search". Presentation: Jonathan Blumtritt, Felix Rau. doi:10.5281/zenodo.2596094
INEL-Workshop (Indigenous Northern Eurasian Languages) "Linguistic diversity, minority languages and digital research infrastructures"
Hamburg, 20-21.09.2018. "Applications and limits of machine learning for language documentation resources". Lecture: Felix Rau.
2nd Workshop "Research infrastructures for the humanities"
Berlin, 10.04.2018. "eHumanities-Zentrum: KA3". Lecture: Jochen Graf.
5th Annual Conference of the Digital Humanities in German-speaking Countries (DHd) 2018 "Kritik der digitalen Vernunft"
Cologne, 26.02.-02.03.2018.
"Audio Mining für die Geistes- und Kulturwissenschaften: Usage scenarios and challenges". Workshop: Joachim Köhler, Almut Leh, Nikolaus Himmelmann, Felix Rau. doi:10.18716/KUPS.8085
"Nutzerunterstützung und neueste Entwicklungen in Forschungsdatenrepositorien für audiovisuelle (Sprach-)Daten". Workshop: Jonathan Blumtritt, Felix Rau. doi:10.18716/KUPS.8085
8th DINI/nestor workshop "Research data repositories"
Stuttgart, 27.11.2017. "Generic components and subject-specific requirements in the KA3 project". Presentation: Jonathan Blumtritt, Christoph Stollwerk.
3rd Annual Conference of the Digital Humanities in German-speaking Countries (DHd) 2016 "Modelling - Networking - Visualization: The Digital Humanities as an Interdisciplinary Research Paradigm"
Leipzig, 07-11.03.2016. "User-Experience of Language Archives: A Reassessment of the Interaction of Archive and Users". Presentation: Jonathan Blumtritt, Felix Rau. Link to the Book of Abstracts | Link to the slides
*presenter with several co-authors | external co-authors
Publications of the project partners
Gref, Michael, Christoph Andreas Schmidt, Sven Behnke, and Köhler, Joachim. "Two-Staged Acoustic Modeling Adaption for Robust Speech Recognition by the Example of German Oral History Interviews.". In IEEE International Conference on Multimedia and Expo, ICME 2019 Proceedings. Shanghai, China/Piscataway, NJ: IEEE, 2019. pp.796-801. publica.fraunhofer.de/documents/N-555493.html
Gref, Michael, Joachim Köhler, and Almut Leh. "Improved transcription and indexing of oral history interviews for digital humanities research." In European Language Resources Association -ELRA-, Paris: LREC 2018, Eleventh International Conference on Language Resources and Evaluation. Proceedings. May 7-12, 2018. Phoenix Seagaia Conference Center Miyazaki, Japan Paris: ELRA, 2018. pp. 3124-3131. publica.fraunhofer.de/documents/N-494202.html
Gref, Michael, Christoph Andreas Schmidt, and Joachim Köhler. "Improving robust speech recognition for German oral history interviews using multi-condition training." In Informationstechnische Gesellschaft -ITG-: Speech communication. 13th ITG Conference on Speech Communication 2018 : October 10-12, 2018, Oldenburg, Berlin: VDE-Verlag, 2018 (ITG Technical Report 282). publica.fraunhofer.de/documents/N-531366.html
Köhler, Joachim, Nikolaus P. Himmelmann, and Almut Leh. "KA3: Speech Analytics for Oral History and the Language Sciences," ERCIM NEWS, 111 (2017). pp. 13-14.
Köhler, Joachim, Michael Gref, and Almut Leh. "KA³. Further development of language technologies in the context of oral history", BIOS - Journal for Biographical Research, Oral History and Life Course Analysis, 1-2/2017. pp. 43-59. doi.org/10.3224/bios.v30i1-2.05
Leh, Almut, Joachim Köhler, Michael Gref, and Nikolaus Himmelmann. "Speech Analytics in Research Based on Qualitative Interviews. Experiences from KA3". VIEW Journal of European Television History and Culture 7, no. 14 (2018). pp. 138-49. doi.org/10.18146/2213-0969.2018.jethc158
Leh, Almut, Michael Gref, and Joachim Köhler. "Audio Mining.Advanced Speech Analytics for Oral History". Palabras y silencios = Words & silences (2019). 9 pp. http://publica.fraunhofer.de/eprints/urn_nbn_de_0011-n-5690113.pdf
Trilsbeek, Paul. "Migrating The Language Archive to a new repository solution". In Open Repositories 2019. Hamburg, 2019. pp. 41-44.
Trilsbeek, Paul, and Menzo Windhouwer. "FLAT: A CLARIN-Compatible Repository Solution Based on Fedora Commons". In CLARIN Annual Conference 2016. Aix-en-Provence, 2016. https://hdl.handle.net/20.500.11755/b72c4df0-9f35-4f4e-9725-a36bcecd5723.