Rozdział 9: Autonomia AI (Hailo-8 NPU & Donkey Car)

Rozdział 9: Autonomia AI, Akcelerator Hailo-8 NPU i Klonowanie Behawioralne

Rozdział ten opisuje proces uczenia maszynowego, nagrywanie datasetów jazdy oraz wykonywanie inferencji sieci neuronowych na akceleratorze sprzętowym Hailo-8 / Hailo-8L.

---

🧠 1. Potok Inferencji Hailo NPU (Rozdzielczość i Batch Dimension)

Modele sztucznej inteligencji skompilowane dla akceleratora Hailo-8 wymagają ścisłego dopasowania formatu wejściowego klatek wideo:

[!IMPORTANT] Hailo NPU Input Pipeline Gotcha: Modele binarne .hef kompilowane są pod statyczną rozdzielczość wejściową (np. 224x224 lub 300x300 px). Przed przekazaniem klatki wideo do akceleratora NPU należy bezwzględnie przeskalować obraz za pomocą cv2.resize(). Przy modelach wielowejściowych pamiętaj o odbudowie wymiaru serii za pomocą np.expand_dims(frame, axis=0), w przeciwnym razie silnik Hailo RT zgłosi błąd wymiarowości macierzy (Shape Mismatch Error).

---

🚗 2. Zbieranie Datasetu i Integracja ze Środowiskiem Donkey Car

Stacja GCS oferuje wbudowane narzędzie do nagrywania datasetów treningowych kompatybilnych ze środowiskiem Donkey Car:

1. Podjazdy pod tor: Kierowca prowadzi pojazd ręcznie z poziomu GCS.
2. Synchronizowane nagrywanie: Aplikacja zapisuje klatki wideo z kamery FPV wraz z odpowiadającymi im wartościami kąta skrętu (steer) oraz przepustnicy (throttle).
3. Trening: Zapisany zestaw danych eksportowany jest do skryptu szkoleniowego, który generuje model ONNX, a następnie plik binarny .hef dla akceleratora Hailo-8.