Une carte de traitement d'image FWD-RK3588 économique, dotée d'un processeur 8 cœurs 64 bits avec une fréquence d'horloge allant jusqu'à 2,4 GHz

Ce produit est une carte de traitement d'image intégrée alimentée par le processeur Rockchip RK3588, composée principalement de deux composants : une carte de traitement de base (SoM) et une carte de support d'interface. Le RK3588 est le processeur haut de gamme phare de nouvelle génération de Rockchip, fabriqué à l'aide d'un nœud de processus avancé de 8 nm. Il dispose d'un processeur 8 cœurs 64 bits avec une vitesse d'horloge principale allant jusqu'à 2,4 GHz. Le processeur intègre un accélérateur d'IA NPU intégré, offrant 6 TOPS de puissance de calcul et prenant en charge les cadres d'apprentissage profond traditionnels.

La carte de traitement d'image intègre trois interfaces d'entrée vidéo, dont deux interfaces MIPI CSI et une interface vidéo numérique BT.1120, permettant une capture vidéo haute définition multi-sources. Équipée de nombreuses interfaces de communication embarquées, la carte permet une transmission de données vidéo stable et efficace pour répondre aux exigences exigeantes des systèmes de vision embarqués hautes performances. Le produit a terminé l'adaptation du pilote principal sous l'environnement Linux (Ubuntu RootFS), permettant aux utilisateurs de procéder directement au développement de la couche application.

Ce produit a terminé l'adaptation et la vérification de tous les pilotes de périphériques de base basés sur le système Linux (équipé du système de fichiers Ubuntu par défaut). Les utilisateurs n'ont pas besoin de se préoccuper de pilotes complexes de bas niveau et peuvent directement effectuer le développement de la couche application à l'aide d'appels système standard.

• Pilotes du processeur principal :Adaptation des contrôleurs de gestion de l'alimentation, d'horloge, d'interruption et DMA du RK3588, garantissant une planification efficace de la puissance de calcul CPU et NPU.

• Pilotes d'entrée vidéo :

  • Pilote MIPI :Adaptation de l'interface de la caméra MIPI CSI-2 et des capteurs d'image, prenant en charge l'acquisition de données d'image de la caméra.

  • Pilote BT.1120 :Adaptation de la puce du récepteur vidéo numérique pour permettre l'acquisition de données vidéo via l'interface BT.1120.

• Pilote d'interface réseau :Ethernet Gigabit adaptatif, prenant en charge le streaming RTSP et le contrôle des commandes à distance.

• Pilotes d’interface de communication :Interfaces embarquées adaptées telles que UART, I2C et GPIO. Les utilisateurs peuvent directement obtenir le contrôle et l'interaction des données avec des périphériques externes via des opérations sur les fichiers ou des appels système.

La carte intègre deux types d'interfaces d'entrée vidéo pour répondre aux exigences de connexion des différents capteurs :

• Entrée vidéo numérique MIPI :Fournit une interface V4L2 standard. Les utilisateurs peuvent acquérir des données de trame d'image via des appels système standard tels queouvriretioctl.

• Entrée vidéo numérique BT.1120 :Fournit une interface de périphérique vidéo unifiée à la couche application via le framework V4L2, facilitant le traitement logiciel unifié.

Intègre une architecture NPU à trois cœurs qui prend en charge les opérations hybrides INT4/INT8/INT16/FP16, gérant facilement des tâches de vision complexes telles que la détection, la classification et le suivi d'objets. Fournit l'API RKNN Runtime, qui est responsable du chargement des modèles RKNN, de la gestion des entrées/sorties et de l'exécution des calculs d'inférence sur le NPU.

Pour aider les utilisateurs à démarrer rapidement, nous fournissons des exemples d’algorithmes d’exécution. Les utilisateurs peuvent se référer à la logique de mise en œuvre (remarque : les exemples servent uniquement de conseils d'ingénierie ; nous ne sommes pas responsables des performances ou de l'efficacité des algorithmes eux-mêmes) :

• Détection d'objet :Fournit un exemple de déploiement de YOLOv5, qui peut effectuer directement une détection d'objets en temps réel sur le flux vidéo capturé et produire des cadres de délimitation et des catégories.

• Suivi d'objet :Intègre des exemples d'algorithmes de suivi pertinents, permettant aux utilisateurs d'obtenir un contrôle en boucle fermée basé sur les données de distance manquée.

• Intégration avec les flux vidéo :L'exemple de programme montre comment introduire des images dans le NPU pour l'inférence et superposer les résultats de l'inférence (tels que des cadres de délimitation) sur la vidéo de sortie via la fonction OSD (affichage à l'écran), formant ainsi une boucle fermée d'application complète de bout en bout.