Posłuchaj jak brzmią obrazy. Wystarczy ta aplikacja Google

Synestezja to niezwykle ciekawe zjawisko. Tym wyrażeniem określa się stan lub zdolność, w której doświadczenia jednego zmysłu, chociażby wzroku, wywołują także doświadczenia charakterystyczne dla innych zmysłów. Zdarza się na przykład, choć bardzo rzadko, że u pewnych osób słyszenie dźwięków o konkretnej tonacji powoduje wrażenia wzrokowe w postaci widzenia konkretnych barw. Google postanowiło zobrazować, czego wówczas synesteci doświadczają, a wykorzystało do tego sztuczną inteligencję.

Co ciekawe, synestetami często bywali i są artyści. Spośród nich można wyróżnić na przykład Billy’ego Joela, Lorde, Nikolę Teslę, Pharrella Williamsa, Ramina Djawadi’ego, Billie Eilish czy Wassily’ego Kandinsky’ego. To właśnie temu ostatniemu Google postanowiło złożyć hołd w ramach swojego najnowszego eksperymentu.

Wassily Kandinsy – malarz-synesteta

Gigant z Mountain View stworzył w ramach współpracy z Centrum Pompidou, paryskim ośrodkiem kulturowym, w którym mieści się muzeum sztuki współczesnej (Musée National d’Art Moderne) oraz główna biblioteka publiczna stolicy Francji (Bibliothèque publique d’information), wirtualną wystawę poświęconą pracom Kandinsky’ego. Jej główną atrakcją jest wspomniany eksperyment, który powstał za sprawą technik nauczania maszynowego.

„Play a Kandinsky”, bo tak nazywa się eksperyment Google, pozwala przekonać się, czego konkretnie Kandinsky doświadczał za sprawą synestezji. Artysta kolor czerwony słyszał na przykład jako dźwięk wytwarzany przez skrzypce, a kolor żółty jako dźwięk wytwarzany przez trąbkę.

„Gdy Kandinsky malował, dwa [jego] zmysły systematycznie współpracowały ze sobą: słuch i wzrok.”, powiedział Serge Lasvignes, prezes Centrum Pompidou. „Kolory i kształty były tłumaczone na dźwięki, harmonie i wibracje, które tworzyły linie i wzory.”

Efekt współpracy muzyków i sztucznej inteligencji

Aby stworzyć omawiany eksperyment, Google zatrudniło muzyków-eksperymentalistów – Antoine’a Bertina oraz członków grupy NSDOS, by ci spróbowali przekazać jego naukowcom i inżynierom to, co Kandinsky mógł słyszeć podczas tworzenia swojej sztuki. Zespół przeanalizował notatki Kandinsky’ego poświęcone efektom synestetycznym, które odczuwał, a potem z pomocą sztucznej inteligencji spróbował odtworzyć dźwięki, z którymi artysta mógł mieć do czynienia podczas malowania jednego ze swoich dzieł – obrazu z 1925 roku.

Uczeni z Google wytrenowali model nauczania maszynowego typu Transformer, wykorzystując muzykę z czasów Kandinsky’ego. Następnie system stworzył nowe, współczesne melodie, próbując określić, jak obraz „Żółty–czerwony-niebieski” może brzmiećz dzisiejszej perspektywy.

Usłysz, jak brzmi obraz sprzed blisko stu lat

Aby doświadczyć eksperymentu Google, wystarczy udać się na stronę usługi Google Arts & Culture. Następnie kliknij w baner z napisem „Rozpocznij eksperyment”.

Eksperyment Google jest naprawdę ciekawy. Pozwala on klikać w poszczególne części obrazu, by doświadczać dźwięków powiązanych z konkretnymi kształtami i kolorami, a nawet emocjami. W jego ramach można nawet odtwarzać też melodii na raz, chociażby po to, by zobrazować własny nastrój w formie muzyki.

Osoby takie jak ja, które nie doświadczają synestezji, pewnie nigdy nie będą w stanie w pełni pojąć tego, co odczuwają synesteci. Niemniej, eksperyment Google, pozwala nam to sobie chociaż w pewnym stopniu wyobrazić.

Źródło: Google, fot. tyt. Google