Rozdział 9: Eksperymentalne AI, Hailo-8 i klonowanie behawioralne

Rozdział opisuje deweloperskie ścieżki uczenia maszynowego oraz integracji Hailo. Nie potwierdza gotowej inferencji, autonomicznej jazdy ani przenośnego workflow eksportu dla każdego zestawu.

---

🧠 1. Potok Inferencji Hailo NPU (Rozdzielczość i Batch Dimension)

Modele sztucznej inteligencji skompilowane dla akceleratora Hailo-8 wymagają ścisłego dopasowania formatu wejściowego klatek wideo:

[!IMPORTANT] Hailo NPU Input Pipeline Gotcha: Modele binarne .hef kompilowane są pod statyczną rozdzielczość wejściową (np. 224x224 lub 300x300 px). Przed przekazaniem klatki wideo do akceleratora NPU należy bezwzględnie przeskalować obraz za pomocą cv2.resize(). Przy modelach wielowejściowych pamiętaj o odbudowie wymiaru serii za pomocą np.expand_dims(frame, axis=0), w przeciwnym razie silnik Hailo RT zgłosi błąd wymiarowości macierzy (Shape Mismatch Error).

---

🚗 2. Zbieranie Datasetu i Integracja ze Środowiskiem Donkey Car

GCS zawiera komponenty rejestrowania danych oraz integracji ze środowiskiem Donkey Car. Eksport, trening i wdrożenie modelu traktuj jako workflow deweloperski, który wymaga weryfikacji na własnym środowisku:

1. Podjazdy pod tor: Kierowca prowadzi pojazd ręcznie z poziomu GCS.
2. Synchronizowane nagrywanie: Aplikacja zapisuje klatki wideo z kamery FPV wraz z odpowiadającymi im wartościami kąta skrętu (steer) oraz przepustnicy (throttle).
3. Trening: Zapisany zestaw danych eksportowany jest do skryptu szkoleniowego, który generuje model ONNX, a następnie plik binarny .hef dla akceleratora Hailo-8.

---

🛠️ 3. Zintegrowany Trener AI (AI Trainer & Dataset Inspector)

Stacja GCS wyposażona jest w dedykowany moduł AI Trainer (ai_trainer_tab.py, ai_dataset_widget.py), automatyzujący cały cykl tworzenia modeli autonomicznej jazdy:

1. Zsynchronizowane Rejestrowanie Próbek:
   • Równoległy zapis klatek z kamery FPV z precyzyjnymi stemplami czasowymi oraz znormalizowanymi wartościami skrętu (steer: -1.0 do +1.0) i przepustnicy (throttle: 0.0 do 1.0).
2. Wizualny Inspektor Datasetu:
   • Narzędzie do przeglądania zgromadzonych klatek w formie osi czasu, wykresów rozkładu skrętów (eliminacja biasu jazdy na wprost) oraz usuwania błędnych lub zanieczyszczonych próbek przed rozpoczęciem treningu.
3. Potok Eksportu pod Hailo-8:
   • Automatyczne formatowanie danych do standardu kompatybilnego z pipeline'em szkoleniowym (PyTorch / ONNX) oraz przygotowanie kalibracyjnego zbioru kwantyzacji dla kompilatora Hailo Dataflow Compiler (.hef).