Ponieważ wiemy, że semiotyka i AI muszą w końcu się zetknąć, w ciągu ostatnich miesięcy zaczęliśmy intensywnie:
- testować różne rozwiązania,
- tworzyć własne modele AI,
- prowadzić wstępne analizy semiotyczne z użyciem tej nowej zabawki ludzkości.
Oto kilka obserwacji, którymi chcę się tu podzielić z czytelnikami.
Pomoc AI w zbieraniu materiałów
To, na co liczyliśmy najbardziej, okazało się największym rozczarowaniem. Zbieranie materiałów kulturowych, szczególnie wizualnych, daje z tym pomocnikiem dość mierne wyniki. Wiele modeli po prostu informuje, gdzie i jak szukać takich materiałów, a po kolejnej reprymendzie w stylu „pokaż obrazy, zdjęcia itp.” wyświetla po 3–4 takie obrazy.
Algorytm często zwraca uwagę na niemożność wykonania takiego zadania ze względu na prawa autorskie. Poza tym trzyma się sztywno zadanego pojęcia i przytacza najbardziej oczywiste i stereotypowe przedstawienia tematu.
Tak więc nadal lepsze efekty uzyskamy przy kreatywnym podejściu do wyszukiwarek i przeglądaniu aktualnych tekstów kulturowych, jak np. konkretnych tytułów prasowych, filmów, książek czy social mediów.
AI w analizie logotypów, reklam czy opakowań
W tym zakresie prowadziliśmy rozmaite testy, przesyłając do AI konkretny znak graficzny czy reklamę prasową. Niech za przykład posłuży znak „Strajk Kobiet”, który analizowaliśmy w jednym z artykułów w tym serwisie .
Zobacz: Znak Strajku Kobiet i jego dualizm. Symbol Roku. Narracja Roku 2020
W modelach, z którymi pracowaliśmy, przesłany logotyp najpierw jest opisywany przez moduł rozpoznawania obrazów, czyli np.:
Profil kobiety:
- Czarne, minimalistyczne tło w kształcie profilu kobiecej głowy.
- Profil jest uproszczony i pozbawiony detali, co nadaje mu uniwersalnego charakteru.
Czerwony piorun:
- Dynamiczny, czerwony piorun przecinający profil kobiety na skos.
- Symbolizuje siłę, opór, energię i walkę o prawa kobiet.
Napis „Strajk Kobiet”:
- Umieszczony w centralnej części, na tle profilu i pioruna.
- Prosty, biały font bezszeryfowy, co zapewnia czytelność i kontrast względem tła.
Dopiero taki opis, a nie bezpośrednio logotyp czy reklama poddawane są analizie na poziomie języka werbalnego. To oczywiste, bo przecież najczęściej posługujemy się modelami językowymi. AI nie szuka więc wizualnych referencji kulturowych, ale znaczeń na podstawie języka. W przypadku „Strajku Kobiet” model nie znalazł zatem odniesień do:
- sztuki profilu cieniowego (lub profilu sylwetowego) i znaczeń za nim stojących,
- popkulturowych kontekstów błyskawicy, jak np. Harry Potter czy ACDC.
Jak AI widzi obrazy
Eksperymentowaliśmy również z wtórnym tworzeniem obrazów na podstawie opisu powstałego podczas jego rozpoznawania przez algorytm. To uświadamia nam, na czym polega cały proces:
obraz → opis obrazu → analiza opisu
Tak algorytm „widział” logotyp przesłany do analizy:
Jeszcze ciekawszym przykładem może być wtórne widzenie bardziej skomplikowanego tworu, jakim jest reklama
Przesłaliśmy do AI starą reklamę jednego z banków, którą podajemy jako przykład analizy semiotycznej w naszej książce [1]. Opis zrobiony przez algorytm brzmiał tak (fragment):
- Mężczyzna trzymający w ręce wachlarz banknotów o nominale 100 zł symbolizuje potencjalny zysk z oferty.
- Obok niego stoi kobieta, co nadaje wizualnej dynamiki i profesjonalizmu.
Takie „widzenie” istotnie wpływa na interpretację, by nie powiedzieć, że już samo w sobie jest interpretacją. Algorytm nie odnalazł tu odnośników np. do konwencji plakatów filmowych, serwisów bukmacherskich czy wprost do „Matrixa”. Nie był w stanie znaleźć referencji do pomarańczowych karteczek czy brzmienia samego hasła.
Semiotyka i AI. Czy inwestowanie w uczenie modelu językowego ma sens?
Jeśli chodzi o rozpoznawanie obrazów, to działa ono dość dobrze na poziomie „widzenia” obiektów, z których zbudowany jest przekaz. Zauważyć jednak trzeba, że o znaczeniu decydują niuanse i aktualne konteksty, no i oczywiście całe łańcuchy konotacji tworzących znaczenie na głębszym poziomie. Nauczenie modelu, że dane obrazy znaczą coś konkretnego, byłoby stratą czasu. Siła przekazów wizualnych, w tym reklamy polega bowiem na ich polisemiczności i ciągle zmieniającym się sensie zależnym od kontekstu.
Do czego w takim razie można wykorzystać AI w analizie semiotycznej
Algorytmy bardzo dobrze radzą sobie z porządkowaniem materiału językowego. Jeśli dobrze słownie opiszemy signifiant (elementy znaczące) w reklamie, opakowaniu czy logotypie i wskażemy na ich potencjalne referencje kulturowe, otrzymamy dość spójną analizę. Mogą w ten sposób powstać bardzo pomocne mapy kodów kategorii czy kodów kulturowych. Nie liczmy tutaj jednak na zaskakujące odkrycia. Możemy oczekiwać jedynie zbudowania mapy tego, co już istnieje i jest powszechnie znane.
Warto natomiast zainwestować w nauczenie modelu odpowiednich procedur analizy oraz poszczególnych technik semiotycznych, takich jak:
- analiza signifiant/signifie,
- analiza kodów,
- tworzenie mapy kodów,
- analiza Residual, Dominant, Emergent,
- zasady budowania kwadratu semiotycznego.
Obecnie sami pracujemy nad naszym modelem AI, który już potrafi zastosować te techniki i przeprowadzić proste analizy zgodnie z semiotyczną sztuką i z użyciem właściwej terminologii.
Z wypracowanymi przez nas technikami analizy zapoznajemy uczestników na otwartych kursach Semio Academy
Bez tego nie da się przeprowadzić żadnej analizy semiotycznej, nawet tej z użyciem AI. Uczestnicy kursów otrzymują dostęp do naszego eksperymentalnego modelu AI. Pokazujemy im też, jak z nim pracować przy własnych analizach semiotycznych. Mogą z niego korzystać przez określony czas. W przyszłości planujemy udostępnienie naszego modelu AI na zasadzie subskrypcji.
Można porozmawiać z naszą uproszczoną wersją AI o Semio Academy
Możecie pytać o zajęcia, tematy, jak i o konkretne koncepty semiotyczne i ich zastosowanie w marketingu. Niezarejestrowani użytkownicy otrzymują na wstępie kredyt na 20 pytań, a po zarejestrowaniu na 200.
Oto adres internetowy: semioacademy.com
Kolejne otwarte zajęcia w Semio Academy to:
- Kurs styczniowy „Semiotyk in house”:
10 stycznia, 17 stycznia, 24 stycznia, 31 stycznia - Kurs lutowy „Semiotyk in house”:
21 lutego, 28 lutego, 7 marca, 14 marca
Patronem medialnym kursów otwartych jest Marketing przy Kawie.
[1] Krzysztof Polak, Marzena Żurawicka, Semiotyka w marketingu. Jak badać znaki, symbole i kody rynku, Wyd. Naukowe PWN, 2023 (czyt. fragment książki).