Dynamiczna ocena zbieżności podobieństwa między kategoriami postrzeganego przez głębokie sieci neuronowe w wizji z podobieństwem semantycznym

Celem projektu jest opracowanie metod oceny jakości wizyjnych sieci głębokich pod kątem zbieżności postrzeganego podobieństwa między klasami z relacjami semantycznymi podczas procesu trenowania. Metoda umożliwi testowanie modeli wykraczając ponad prostą dokładność, skutkując bardziej przewidywalnymi decyzjami nawet w przypadku pomyłek oraz potencjalnie przyniesie dalsze korzyści (np. możliwość oceny efektywności wykorzyst. zasobów - poprzez odwzorowanie struktury świata tak dokładnie, jak to możliwe m.in. przez podobieństwo [2]). Opracowane metody wywrą pozytywny wpływ na interpretowalność testowania oraz zwiększenie zaufania społeczeństwa do sztucznej inteligencji. Realizacja projektu obejmie:

• przegląd dostępnych metod umożliwiających mierzenie podobieństwa między kategoriami (1) postrzeganego przez sieci oraz (2) referencyjnego (np. relacje semantyczne w WordNet),
• opracowanie metod (1) ekstrakcji wzorców klas z wnętrza sieci wizyjnych, (2) wyznaczania macierzy podobieństwa dla sieci oraz referencji, (3) porównania macierzy podobieństwa,
• impl. mechanizmów inspekcji zbieżności percepcji podobieństwa podczas trenowania,
• weryfikacja z wykorzystaniem sieci konwolucyjnych i transformatorów wizyjnych.

W przeciwieństwie do innych prac badających postrzeganie przez sieci podobieństwa (np. [1]), w projekcie planowane jest wykorzystanie parametrów sieci do opisu znanych kategorii (tak jak metryka oceny ataków adwersarza w [3]), a nie macierzy pomyłek tworzonych na zbiorach danych dużej skali. Takie podejście umożliwia ocenę modeli bez wykorzystania zbiorów testowych, co umożliwia wykorzystanie metody już podczas procesu trenowania. Rezultatem projektu będzie wkład do wniosku mającego na celu uzyskanie zasobów dostępnych w ramach infrastruktury PLGrid oraz do publikacji.

Powiązane publikacje:

[1] Bilal, Alsallakh, et al. " Do convolutional neural networks learn class hierarchy?" IEEE trensactions on visualization and computer graphics 24.1 (2017): 152-162

[2] Rosch, Eleanor, and Barbara B. Lloyd "Cognition and categorization" (1978)

[3] Filus Katarzyna, and Joanna Domańska "NetSat: Network Saturation Adversarial Attack" 2023 IEEE International Conference on Big Data (BigData). IEEE, 2023.