Language is (not) obvious – Bewegtbilder von Geste und Wort

»[...] denn auch die Bewegung des ganzen Körpers macht etwas aus,
sogar so viel, dass Cicero meint, sie spiele eine grössere Rolle
als selbst die Hände. Er sagt nämlich im Orator:
«Kein Geplapper der Finger, keine Fingerspitzen,
die den Rhythmus schlagen, eher soll der Redner mit
dem ganzen Rumpf sich seinen Rhythmus geben» [...]«
Marcus Fabius Quintillianus ›Ausbildung des Redners‹ (ca. 35 v.Chr)


Reutemann, J. (2016), "Language is (not) obvious. Asynchrone Bewegtbilder von Geste und Wort", in: Bildkörper. Zum Verhältnis von Bildtechnologien und Embodiment, Publisher: Büchner-Verlag, Editors: Grabbe Lars, Rupert-Kruse Patrick, Schmitz Norbert M, 147-171.



Einleitung

Die natürlichen Bewegungen des Körpers - und vor allem die Gesten - begleiten die verbale Sprache in jeder Sprechsituation. In audiovisuellen Bewegtbildern, besonders solchen die für die Dissemination von Wissen produziert werden, steht heute oft der Sprecher mit seinem sichtbaren Körper im Mittelpunkt. Insbesondere wenn diese Videos online verbreitet werden, tritt dabei häufig Asynchronität zwischen Bild- und Tonspur auf. 

Im vorliegendem Beitrag wird anhand dreier Videobeispiele aufgezeigt, wie asynchrone Versatze von Geste und Wort eine Bedeutungsveränderung erzeugen. Als Beispiele dienen erstens Interview-Videos mit Slavoj Žižek, einem geübten Redner, der deutlich ausgeprägte Gesten verwendet. Zweitens wird Bezug auf eine Aufnahme eines Interviews mit Michael Tomasello genommen. In diesem Beispiel wird durch den Bild- und Ton-Versatz eine autoperformative Repräsentation seiner Aussage generiert. Tomasello spricht über die kontextuelle Relevanz der Zeigegeste, während sein Zeigen ironischerweise temporal versetzt zu der verbalen Sprache geschieht.  

Im Sinne einer Verkörperung des Wissens können solche temporalen Verschiebungen die Bedeutung der Sprache sowohl verändern indem sie zu unbeabsichtigten Rekombinationen von Geste und Wort führen.

Experiment IV: Repetition of Gesticulations "Kendon Continuum"


Experiment VI: Palm-Circle Reduction



Literatur
Alibali, Martha W./Boncoddo, Rebecca/Hostetter, Autumn B (2014). An Embodied Perspective, in: Zdravko Radman (Hg.),The Routledge Handbook of Embodied Cognition, Cambridge, S.150.

Alibali, Martha W./ Nathan. Mitchell J. (2012), Embodiment in Mathematics Teaching and Learning: Evidence From Learners‘ and Teachers’ Gestures, in: Journal of the Learning Sciences 21, no. 2, S.247–286.

Anderson, Joseph D. (1996), The Reality of Illusion: An Ecological Approach to Cognitive Film Theory, Southern Illinois University Press. 

Boehm, Gottfried (2010), Wie Bilder Sinn Erzeugen, Berlin, S. 25.

Chion Michel (1999), The Voice in the Cinema, New York.
Chion, Michel (1994), Audio-Vision, New York.

Chion, Michel (1990), L’Audio-Vision, Paris.
Church, R. Brechinridge, & Goldin-Meadow, Susan (1986). The mismatch between gesture and speech as an index of transitional knowledge. In: Cognition 23, S. 43–71.

Church, R. Breckinridge/Spencer, Kelly/Holcombe, David (2014), Temporal Synchrony Between Speech, Action and Gesture During Language Production, in: Language, Cognition and Neuroscience 29, no. 3, S. 345-354.

Clark, Andy (2013), Gesture as thought, in: The Hand, an Organ of the Mind: What the Manual Tells the Mental, in: Zdravko Radman (Hg.),The Routledge Handbook of Embodied Cognition, Cambridge, S.255–268. 

Clark, Andy (1999), Where brain, body, and world collide. In: Journal of Cognitive Systems Research, S.15–17.

Clark, Herbert H (1996), Using language. Cambridge.

Cummins, Fred/Port, Robert (1998), Rhythmic constraints on stress timing in English, in: Journal of Phonetics, 26(2), S. 145-171.

Condon, William S. (1986), Communication: Rhythm and structure. In: Evans/Clynes (Hg.): Rhythm in Psychological, Linguistic and Musical Processes Springfield, Ill., S.55–77.  

Condon, William S./Ogston, Richard (1966), Sound film analysis of normal and pathological behavior patterns. Journal of Nervous nad Mental Disease, 143, S. 338-347.

Cutting, James (2005), Perceiving Scenes in Film and in the World, in Moving Image Theory: Ecological Considerations, Joseph D. Anderson/Barbara Fischer Anderson (Hg.) Southern Illinois University Press, S. 9-27.

Daurer, Gerhard (2013), Audiovisuelle Wahrnehmung, 07.02.2014, In: http://www.see-this-sound.at/drucken/33.

Ekman, Paul/Friesen, Wallace (1976), Body movement and voice pitch in deceptive interaction, In: Semiotica, 16, S. 23-27.

Ekman, Paul/Friesen, Wallace (1969), The repertoire of nonverbal behavior: Categories, origins, usage, and coding. in: Semiotica, 1, S.49-98.

Efron, David (1941), Gesture and Environment. New York. Republished 1972: Gesture, Race, and Culture. Den Haag.

Fraisse, Paul (1982), Rhythm and Tempo, in: The Psychology of Music, New York, S. 149-180.

Gallagher, Shaun (2012), Kognitionswissenschaften – Leiblichkeit und Embodiment, in: Alloa, Emmanuel, Thomas Bedorf, Christian Grüny, Tobias Nikolaus Klass, Leiblichkeit, Geschichte und Aktualität eines Konzepts, Tübingen, S. 321-333.

Gallagher, Shaun (2005), How the Body Shapes the Mind. Oxford. 

Gibbs, Raymond W. Jr. (2006), Embodiment and cognitive science. Cambridge.

Goldin-Meadow, Susan/ Kim, San/ Singer, Melissa  (1999), What the teacher's hands tell the student's mind about math, in: Journal of Educational Psychology 91, no. 4. S. 720.

Goldin-Meadow, Susan (1997), When gestures and words speak differently. Current Directions, in Psychological Science, 6(5), S. 138-143.

Goldin-Meadow, Susan/Wagner Alibali, Martha/Breckinridge Church, R. (1993), Transitions in Concept Acquisition: Using the Hand to Read the Mind. In: Psychological Review & American Psychological Association Inc. 100. S. 279–97.

Goldstein, E. Bruce (2007), Wahrnehmungspsychologie (7 ed.). Berlin Heidelberg.

Grant, Ken W/ van Wassenhove, Virginie/Poeppel, David (2004), Detection of Auditory (Cross Spectral) and Auditory-Visual (Cross Modal) Synchrony, S. 1–20.

Hostetter, Autumn B., and Alibali, Matha W. (2008). Visible embodiment: gestures as simulated action. In: Psychonomic Bulletin & Review 15, no. 3, S.495–514.

Holle, Henning/ Gunter, Thomas C. (2007), The Role of Iconic Gestures in Speech Disambiguation: ERP Evidence, in: Journal of Cognitive Neuroscience 19, no. 7, S. 1175–92.

Kendon, Adam (2004). Gesture, Cambridge: Cambridge University Press.
Kendon, Adam (1972), Some relationships between body motion and speech., in: Aaron Siegman/Benjamin Pope (Hg.), Studies in dyadic communication 7, New York, S. 177-210.

Kreitler, Hans (1980), Psychologie der Kunst, Stuttgard.

Leonard, Thomas/Cummins, Fred, The Temporal Relation Between Beat Gestures and Speech, in: Language and Cognitive Processes 26, no. 10, S.1457-1471.

Loehr, Daniel (2007), Aspects of Rhythm in Gesture and Speech, in: Gesture 7, no. 2, S.179-214.

Mikunda, Christian (2002). Kino Spüren. Wien.

McClave, Evelyn Z (2000), Linguistic Functions of Head Movements in the Context of Speech, in: Journal of Pragmatics 32, no. 7, S. 855-878.

McClave, Evelyn Z. (1994), Gestural Beats: the Rhythm Hypothesis, in: Journal of Psycholinguistic Research, Vol. 23, No.1,  S. 45-66.

McGurk, Harry/MacDonald, John (1976) Hearing Lips and Seeing Voices, in: Nature, 264, S. 746–748.

McNeill, David (1992) Hand and Mind“. Chicago.

McNeill, David (2005), Gesture and thought. Chicago.

McNeill, David (2008), Gesture: a Psycholinguistic Approach, in: Psycholinguistic Section, the Encyclopedia of Language and Linguistics, February 14, S. 1–15.

McNeill, David (2012), How Language Began: Gesture and Speech in Human Evolution. Vol. 8, Cambridge, New York, Melbourne, Madrid, Cape Town.

Müller, Cornelia (2008): „Grammatik der Gesten“. Interview vom 30.3.2008 der Neuen Zürcher Zeitung, 22.1.2015, In: http://www.nzz.ch/aktuell/startseite/grammatik-der-gesten-1. 

Nakano, Tamami/ Kitazawa, Shigeru (2010), Eyeblink Entrainment at Breakpoints of Speech, in: Experimental Brain Research 205, no. 4, S. 577–81.

Nuñez, Rafael (2005), Do real numbers really move? Language, thought, and gesture: The embodied cognitive foundations of mathematics. In lda/Pfeifer/Steels/Kuniyoshi (Hg.), Embodied artificial intelligence, Berlin, S. 54-73. 

Özyürek, Asli/Willems, Roel M./ Kita, Sotaro/Hagoort, Peter (2007), On-Line Integration of Semantic Information From Speech and Gesture: Insights From Event-Related Brain Potentials, in: Cognitive Neuroscience, Journal of 19, no. 4, S. 605–16.

Pouw, Wim/de Nooijer, Jacqueline A./van Gog, Tamara/Zwaan, Rolf A./Paas, Fred (2014), Toward a More Embedded/Extended Perspective on the Cognitive Function of Gestures. In: Frontiers in Psychology 5. Article 359, S.1-14.

Quintilianus, Marcus Fabius (2011) [35-60 v.Chr.], Ausbildung des Redners, Helmuth Rahn (Hg.). Darmstadt.

Reeves, Bryon/ Voelker, David (1993), Effects of Audio-Video Asynchrony on Viewer’s Memory, Evaluation of Content and Detection Ability, S. 1–22.

Reutemann, Jeanine (2014), Videobeispiele zur Publikation von Slawoj Žižek und Michael Tomasello, 15.04.2015, In: http://www.audiovisualresearch.org/gesture-and-speech/case-studies.

Rudloff, Ingo (1997), Untersuchungen Zur Wahrgenommenen Synchronität Von Bild Und

Ton Bei Film Und Fernsehen, Bochum.

 

Shaviro, Steven (1994), The Cinematic Body, Minneapolis.

Smith, Tim J. (2012), The Attentional Theory of Continuity Editing, Projections 1, S. 1-27.

Spencer, Kelly D./Özyürek, Aslı/Maris, Eric (2010), Two Sides of the Same Coin Speech and Gesture Mutually Interact to Enhance Comprehension.” In: Psychological Science, S. 260-267.

Spencer, Kelly, D./ Kravitz, Corinne/Hopkins, Michael (2004), Neural Correlates of Bimodal Speech and Gesture Comprehension, in: Brain and Language 89, no. 1, S.253-60.

Slawoj, Žižek (2012), Originalvideo des Interviews von Slawoj Žižek, Don’t act. Just think, von der Organisation Big Think, 06.02.2014, in: https://www.youtube.com/watch?v=IgR6uaVqWsQ.

Tomasello, Michael (2008a), Ein Interview mit 3Sat von einem privaten User veröffentlicht, 13.07.2014, In: https://www.youtube.com/watch?v=2A5t8FcWGas.

Tomasello, Michael (2008b) Die Ursprünge Der Menschlichen Kommunikation. Frankfurt/M.

Treffner, Paul/Peter, Mira/Kleidon, Mark (2008), Gestures and Phases: the Dynamics of Speech-Hand Communication, in: Ecological Psychology 20, no. 1, S. 32-64.

Tuite, Kevin (1993), The Production of Gesture, in: Semiotica, 1993, S. 83-105.

Wagner Cook, Susan/Tanenhaus, Michael K (2009), Embodied Communication: Speakers’ Gestures Affect Listeners’ Actions, in: Cognition 113, no. 1, S. 98–104.

Warren, Richard M. (1970), Perceptual Restoration of Missing Speech Sounds, in: Science 167, no. 3917, S. 392-393.

Welch, Robert B./Dutton Hunt, Lance/ Warren, David H (1986), Contributions of Audition and Vision to Temporal Rate Perception, in: Perception & Psychophysics, 39 (4), S. 294–300.

Wember, Bernward (1976), Wie informiert das Fernsehen? München.

Wu, Ying Choon/Coulson, Seana (2005), Meaningful Gestures: Electrophysiological Indices of Iconic Gesture Comprehension, in: Psychophysiology 42, no. 6, S. 654–67.

YouTube Statistik, Datenanalyse der Benutzer, 12.03.14, https://www.youtube.com/yt/press/de/statistics.html.

Zacks, Jeffrey M./Magliano, Joseph, Film (2011), Narrative, and Cognitive Neuroscience, in Art and the Senses, Francesca Bacci/David Melcher (Hg.), New York, S. 435-54.

Zimbardo, Philip George/Gerrig, Richard J. (2008), Psychologie, München.