Człowiek w pętli 📖 Wikipedia

W badaniach nad uczeniem głębokim i przetwarzaniem danych HITL jest wiązany m.in. z:

• uczeniem aktywnym (system wybiera próbki do oznaczenia przez człowieka, aby ograniczać koszt adnotacji)^[5],
• budową systemów wspomagających człowieka w zadaniach takich jak adnotacja dokumentów technicznych, z wykorzystaniem metod uczenia nadzorowanego i nienadzorowanego jako „asysty” dla użytkownika^[6].

W ochronie zdrowia podejścia HITL są opisywane jako sposób łączenia modeli AI z oceną specjalistów, zwłaszcza w analizie obrazów medycznych oraz w procesach wdrażania narzędzi AI do praktyki klinicznej. W literaturze wskazywano, że udział człowieka może służyć zarówno do adnotacji i selekcji danych, jak i do weryfikacji wyników oraz zwiększania akceptacji narzędzi AI w środowisku klinicznym^[5][7].

W literaturze dotyczącej systemów wspomagania decyzji dla bezpieczeństwa przemysłowego wskazywano, że „zasada człowiek w pętli” stanowi paradygmat projektowania i wdrażania hybrydowych systemów cyberfizycznych wykorzystujących techniki sztucznej inteligencji^[8]. W badaniach dotyczących zastosowań AI w rachunkowości zarządczej i controllingu podkreślano z kolei potrzebę utrzymania nadzoru ludzkiego (human-in-the-loop) przy użyciu narzędzi AI wspierających procesy decyzyjne^[9].

W obszarze pojazdów autonomicznych zakres udziału człowieka bywa opisywany m.in. przez klasyfikację SAE J3016, obejmującą poziomy od 0 (brak automatyzacji jazdy) do 5 (pełna automatyzacja jazdy)^[10]. W materiałach amerykańskiej National Highway Traffic Safety Administration poziomy 3–5 są ujmowane jako automated driving systems (ADS), czyli systemy, w których człowiek może nie być oczekiwany do wykonywania zadań związanych z prowadzeniem pojazdu przez pewien czas albo w ogóle^[11]. W tym kontekście zagadnienie „człowieka w pętli” odnosi się do zakresu nadzoru kierowcy nad działaniem systemu, gotowości do przejęcia kontroli oraz podziału zadań między człowieka a automatykę^[10][11].

W literaturze z zakresu modelowania i symulacji termin human-in-the-loop jest używany także w odniesieniu do symulacji, w których człowiek uczestniczy bezpośrednio w działaniu systemu symulacyjnego, a jego decyzje i działania wpływają na przebieg oraz wyniki symulacji^[12].

W takim ujęciu HITL bywa wiązany zwłaszcza z tzw. symulacją wirtualną (virtual simulation), w której realni użytkownicy operują systemami symulowanymi, ćwicząc m.in. umiejętności sterowania, podejmowania decyzji lub komunikacji^[12]. Rozwiązania tego typu są stosowane m.in. w lotniczych symulatorach szkoleniowych i eksperymentach z zakresu czynników ludzkich, gdzie pozwalają oceniać wpływ zmian w interfejsach, procedurach i automatyzacji na zachowanie operatorów^[13].

W dokumentacji NASA human-in-the-loop evaluations opisywano jako iteracyjne badania prowadzone podczas projektowania i rozwoju systemów, z udziałem reprezentatywnych użytkowników wykonujących zadania z użyciem reprezentatywnego sprzętu, oprogramowania i procedur. Badania takie służą identyfikowaniu problemów integracji człowieka z systemem oraz ocenie skuteczności, bezpieczeństwa i użyteczności projektu^[14]. Podejście to stosuje się m.in. w symulatorach lotu oraz innych środowiskach testowych służących do oceny interfejsów, procedur i wpływu automatyzacji na zachowanie operatorów^[12][14].

W dyskusji o broni autonomicznej oraz systemach półautonomicznych terminologia „człowiek w pętli” bywa używana do opisu stopnia ludzkiej kontroli nad działaniem systemu uzbrojenia, w szczególności w odniesieniu do wyboru celu i użycia siły.^[15] W literaturze wskazywano m.in. model rozróżniający:

• human-in-the-loop (HITL) – system może selekcjonować cele, ale użycie siły następuje wyłącznie na komendę człowieka^[16],
• human-on-the-loop (HOTL) – system może działać pod nadzorem człowieka, który ma możliwość przerwania lub nadpisania działania^[16],
• human-out-of-the-loop (HOOTL) – system jest zdolny do selekcji celów i użycia siły bez udziału człowieka w pętli decyzyjnej^[16].

Międzynarodowy Komitet Czerwonego Krzyża (ICRC) w swoich materiałach opisuje autonomiczne systemy uzbrojenia jako takie, które po uruchomieniu przez człowieka wybierają cele i stosują siłę bez ludzkiej interwencji^[17]. W polityce Stanów Zjednoczonych dotyczącej autonomii w systemach uzbrojenia wskazywano wymóg projektowania takich systemów w sposób umożliwiający dowódcom i operatorom sprawowanie „odpowiednich poziomów ludzkiego osądu” nad użyciem siły w systemach autonomicznych i półautonomicznych^[18].

W debacie etyczno-prawnej obok klasyfikacji HITL/HOTL/HOOTL rozwijane jest pojęcie „meaningful human control” (znaczącej/realnej kontroli człowieka), odnoszone do warunków, w których kontrola ludzka nad systemem autonomicznym ma mieć charakter nie tylko formalny, ale też funkcjonalny (m.in. dla utrzymania odpowiedzialności i ograniczania nieakceptowalnego ryzyka)^[19]. Proponowano m.in. doprecyzowanie tego wymogu przez wskazywanie elementów jakości udziału człowieka (szkolenie, projekt interfejsu i procesu użycia) oraz mechanizmów kontroli „w użyciu” (np. domyślne poziomy kontroli, wyjątki, zasady i zabezpieczenia)^[20].

Badania nad interakcją człowieka z automatyką zwracały uwagę na zjawisko out-of-the-loop performance problem, w którym operator nadzorujący silnie zautomatyzowany system może tracić orientację sytuacyjną i zdolność sprawnego przejęcia sterowania po awarii lub nieoczekiwanym zachowaniu systemu^[21].

Nowsze analizy dotyczące nadzoru człowieka nad systemami AI wskazują, że skuteczny nadzór wymaga nie tylko formalnej możliwości ingerencji, lecz także warunków pozwalających wiarygodnie wykrywać nieścisłości, błędy i stronniczość wyników. Podkreśla się też, że sama informacja o obecności człowieka w pętli może zwiększać zaufanie użytkowników, nawet jeśli realna skuteczność nadzoru pozostaje ograniczona^[22][23].

W literaturze zwracano także uwagę, że samo „wstawienie człowieka” do procesu może być niewystarczające, jeśli projekt systemu i organizacja pracy nie zapewniają użytkownikowi informacji i czasu niezbędnych do świadomej oceny działania systemu oraz realnej możliwości ingerencji w krytycznych momentach^{[19][20][19][20]}.

• System wspomagania decyzji
• Uczenie maszynowe
• Broń autonomiczna