AI dla dostępnych opisów alternatywnych dzieł sztuki i grafik specjalistycznych

Materiały do nauki często opierają się na obrazach: ilustracjach, zdjęciach archiwalnych, schematach, wzorach. Jeśli nie mają opisów, część odbiorców z niepełnosprawnościami traci dostęp do informacji. Sages realizuje projekt współfinansowany ze środków Unii Europejskiej, którego celem jest automatyczne tworzenie opisów alternatywnych dla grafik specjalistycznych w jakości umożliwiającej realne wsparcie dostępności cyfrowych materiałów dydaktycznych.

W ostatnim okresie działania badawczo-rozwojowe koncentrowały się na dwóch obszarach:

• Metodach automatycznego generowania opisów alternatywnych dla obiektów muzealnych: dzieł sztuki takich jak grafiki, fotografie czy rzeźby, ale również artefaktów historycznych takich jak meble czy monety,
• Metodach automatycznego generowania opisów alternatywnych dla strukturalnych wzorów chemicznych, czyli graficznych reprezentacji ich budowy.

Prace obejmowały gromadzenie danych treningowych i testowych (z wykorzystaniem otwartych zasobów edukacyjnych i kulturalnych oraz materiałów pozyskanych we współpracy z Fundacją Archeologia Fotografii), przygotowanie instrukcji anotacji (opisu), dostosowanie środowiska anotacyjnego oraz analizę i porównanie różnych dotychczasowych podejść metodologicznych, które staną się podstawą naszych rozwiązań autorskich.

Po pierwsze, przygotowaliśmy bazę zasobów potrzebnych do dalszych prac. Zidentyfikowaliśmy i pozyskaliśmy materiały źródłowe dla dwóch typów dzieł wizualnych i grafik, a następnie wykonaliśmy ich wstępne uporządkowanie na potrzeby trenowania i testowania modeli. Przeprowadziliśmy również przegląd opisów alternatywnych w oryginalnych zbiorach, zwracając uwagę na ich słabe i mocne strony w kontekście dobrych praktyk takich jak zrozumiałość, zwięzłość i adekwatność treści. Równolegle dostosowaliśmy środowisko pracy tak, aby proces tworzenia i dalszego przetwarzania opisów był uporządkowany i skalowalny.

Po drugie, doprecyzowaliśmy podejście jakościowe. W projekcie określiliśmy kryteria dobrego opisu alternatywnego oraz zasady tworzenia opisów wzorcowych. Dla obiektów muzealnych punktem wyjścia były dla nas istniejące wytyczne dotyczące tworzenia audiodeskrypcji i długich opisów dzieł sztuki udostępniane przez instytucje kulturalne i edukacyjne w Polsce i na świecie, a także mniej formalne poradniki tworzone przez osoby niewidome oraz opisujące dzieła sztuki na własne potrzeby. Zawarte w nich informacje uspójniliśmy i dostosowaliśmy do wykorzystania w procesie automatyzacji. Z kolei wytyczne dla wzorów chemicznych wymagały od nas opracowania instrukcji autorskich ze względu na brak specyficznych materiałów dla tej grupy treści.

Po trzecie, rozpoczęliśmy właściwą pracę merytoryczną na danych. W obszarze dzieł sztuki uruchomiliśmy anotację dwóch poziomów treści: krótkich opisów alternatywnych (potrzebnych do zidentyfikowania podstawowych cech obiektu przez osobę korzystającą z czytnika) oraz dłuższych opisów, które mają za zadanie jak najpełniej odwzorować doświadczenie obcowania z danym obiektem. Dla wzorów strukturalnych przygotowaliśmy długie opisy umożliwiające przede wszystkim wyobrażenie sobie położenia poszczególnych atomów i wiązań w przestrzeni, ale również przekazujące ewentualne inne istotne informacje wyrażone w formie graficznej. Pierwsze serie opisów posłużyły nam do wypracowania powtarzalnego schematu pracy. W obszarze wzorów chemicznych wykonaliśmy przegląd metod i narzędzi oraz zidentyfikowaliśmy ograniczenia ogólnych modeli językowych, które uzasadniają rozwój rozwiązań specjalistycznych.

AI jako pomost do zasobów kultury

W ramach prac nad opisami dzieł sztuki ważnym krokiem było pozyskanie i uporządkowanie materiałów źródłowych do budowy zbioru danych. W tym etapie wykorzystano między innymi unikatowe zbiory fotografii, gwaszy i studiów Fundacji Archeologia Fotografii (FAF), która jako pierwsza w Polsce zaczęła opiekować się spuścizną po polskich fotografach i fotografkach. Archiwa FAF wspierały przygotowanie przykładów do anotacji oraz późniejszego testowania podejścia. Dzięki temu możliwe jest projektowanie rozwiązań, które uwzględniają specyfikę zróżnicowanych treści wizualnych i pomagają budować opisy alternatywne o wysokiej użyteczności.

– Dostępność zasobów wizualnych to nie tylko kwestia modnej technologii, ale przede wszystkim realnego poszerzania dostępu do kultury i edukacji – mówi Mikołaj Chmieliński, specjalista ds. archiwum w Fundacji Archeologia Fotografii. – Obserwujemy, że współpraca przy tej inicjatywie, która rozwija automatyczne tworzenie opisów alternatywnych, przełoży się na szybsze i sprawniejsze udostępnianie dzieł sztuki osobom z niepełnosprawnościami wzroku, czy osobom w wieku senioralnym. Obecnie podmioty zajmujące się kulturą robią to ręcznie i tylko dla niewielkiego ułamka swoich zbiorów. Niniejszy projekt to ważny kierunek, łączący odpowiedzialność społeczną z innowacją, gdzie technologia działa na rzecz osób defaworyzowanych.

Co dalej: plan dalszych badań i prac

W kolejnych etapach prace będą koncentrować się na rozbudowie zbiorów danych ze wstępnym wspomaganiem ze strony AI, a także na testowaniu i dopracowywaniu stosowanych metod, tak aby generowane opisy stopniowo coraz bardziej odpowiadały założonym wytycznym i ogólnym standardom jakości. Równolegle planowane jest przygotowanie kolejnego obszaru prac dotyczącego diagramów, który rozpocznie się przeglądem bieżących rozwiązań i trendów technologicznych w tym obszarze.

Liczymy na to, że dostarczenie rozwiązań automatyzujących opracowywanie opisów przełożą się na większą liczbę zasobów dostępnych dla osób z niepełnosprawnościami wzroku, w szczególności tam, gdzie niedostatecznie dokładnie opisane specjalistyczne materiały wizualne są barierą w pełnym równym dostępie do wiedzy i obcowania z kulturą.

Sages wspiera podmioty kultury, ośrodki badawcze i uniwersytety w działaniach wdrożeniowych w obszarze dostępności cyfrowej i automatyzacji z użyciem AI. Zapraszamy do kontaktu w sprawie współpracy, demonstracji podejścia oraz działań wdrożeniowych.

_

Projekt pt. „Opracowanie specjalistycznych algorytmów automatycznie tworzących dostępne dla osób z niepełnosprawnościami wzroku wersje alternatywne grafik specjalistycznych w celu automatycznego zapewniania dostępności cyfrowych materiałów dydaktycznych” współfinansowany jest ze środków Europejskiego Funduszu Rozwoju Regionalnego w ramach Priorytetu: I “Fundusze Europejskie dla bardziej konkurencyjnego i inteligentnego Mazowsza”, Działania: 1.1 “Badania, rozwój i innowacje przedsiębiorstw”, Typ projektów: “Infrastruktura badawczo-rozwojowa przedsiębiorstw” programu Fundusze Europejskie dla Mazowsza 2021 - 2027.

Wartość projektu: 4 887 450,00 PLN Wysokość wkładu z Funduszy Europejskich: 2 432 225,00 PLN