XR · Rendu 3D · Interaction immersive
La réalité virtuelle et augmentée redéfinissent l'interface homme-machine : au lieu d'observer un écran, l'utilisateur est immergé dans ou augmenté par un environnement numérique interactif en 3D temps réel.
La VR est un environnement synthétique tridimensionnel généré par ordinateur dans lequel l'utilisateur est immergé et peut interagir. Trois propriétés fondamentales : Immersion (isolation sensorielle), Présence (sentiment d'être là), Interactivité (modification en temps réel).
FOV (Champ de vision) : œil humain ~200°, casques actuels 100–120°. Audio spatial binaural (HRTF). Haptique : vibrotactile (controllers), feedback de force (gants). Olfaction VR (OVR Technology). Proprioception : tracking du corps.
Mesure subjective : « l'illusion d'être là » (Slater & Wilbur). Facteurs : latence faible (<20ms MTP), stabilité de l'image, cohérence multisensorielle, possibilité d'action. Questionnaire IPQ (Igroup Presence Questionnaire). Breakdown of presence.
Conflit entre vision (mouvement perçu) et vestibulaire (pas de mouvement). Symptômes : nausées, maux de tête, désorientation. Facteurs : latence >20ms, faible FPS, FOV large, mouvements du joystick. Réduction : smooth locomotion, tunelling, vection limitée.
Milgram (1994) : spectre de l'environnement réel à l'environnement virtuel. Réalité augmentée (AR) : objets numériques sur le réel. Virtualité augmentée : objets réels dans un monde virtuel. Mixed Reality (MR) : interaction entre les deux. Extended Reality (XR) : terme générique.
Maillage, polygones, LOD
Transformation 3D→2D
Fragments, Z-buffer
Couleur, texture, lighting
Anti-aliasing, HDR, bloom
Vertex shader : transformation, skinning, morphing. Fragment shader : PBR (Physically Based Rendering), normal mapping, parallax. Compute shaders : particules, simulation GPU. GLSL, HLSL, MSL, WGSL (WebGPU). OpenGL, Vulkan, Metal, DirectX 12.
BRDF (Bidirectional Reflectance Distribution Function). Paramètres : albedo, metallic, roughness, normal, AO, emissive. GGX distribution, Smith geometry term, Fresnel-Schlick. Standard industrie : glTF 2.0 (métallique-rugosité). UE5 : Substrate shading.
SSAO, SSGI : approximations en espace écran. Baked lightmaps : illumination précalculée. Ray Tracing temps réel (NVIDIA RTX, DXR) : réflexions, ombres, AO. Path tracing. UE5 Lumen : GI hybride (SDF + radiance cache). Coût élevé en VR (2× rendu).
Foveated Rendering : haute résolution au centre du regard (eye tracking). Single Pass Stereo (SPS) : rendu des 2 yeux en un seul draw call. Fixed Foveated Rendering (FFR). Instanced stereo. Reprojection (ATW/ASW) : compense les frames perdus. 90+ FPS impératif.
3 translation (x,y,z) + 3 rotation (pitch, yaw, roll). Inside-out : caméras sur le casque SLAM (Meta Quest, Pico). Outside-in : stations de base Lighthouse (Valve Index, SteamVR). Précision : <1mm, <0.1°. Prédiction de pose pour compenser la latence.
Caméras IR dans le casque + corneal reflection. Meta Quest Pro, PSVR2, Vision Pro, Varjo. Foveated rendering : économise 40–60% de GPU. Point de regard pour l'interaction (dwell selection). Données physiologiques (attention, charge cognitive). 200 Hz typique.
Computer vision sur les caméras du casque. MediaPipe Hands (21 landmarks). Meta Quest : hand tracking v2.1 — interactions précises sans controller. Apple Vision Pro : pinch to select. Leap Motion Controller 2 : 200fps tracking externe. Défis : occlusions, précision, latence.
IMU + optique sur le corps (HTC Vive Trackers). Estimation de pose par IA (Meta Body Tracking SDK). Markerless motion capture (Theia3D, OpenPose). Inverse kinematics (IK) pour l'avatar complet. Applications : animation, sport, rééducation.
SLAM (Simultaneous Localization and Mapping) : construire une carte 3D de l'environnement tout en se localisant dedans. ARKit (Apple) : LiDAR, depth sense. ARCore (Google) : Visual Inertial Odometry. Plane detection, image anchors, 3D anchors. WebXR pour AR navigateur.
Registration : aligner précisément les objets virtuels avec le monde réel. Occlusion : objets virtuels cachés derrière des objets réels (profondeur). DepthKit : estimation de profondeur monoculaire (MiDaS). LiDAR (iPad, iPhone 12+) : mesh précis de l'environnement en temps réel.
HoloLens 2 : holographic waveguide, FOV 52°. Magic Leap 2 : prisme photonique, 70° FOV, dimmer. Apple Vision Pro : optical see-through (OSD), micro-OLED 23M pixels. Snap Spectacles, Ray-Ban Meta. Défi : batterit, FOV, poids, look naturel.
HRTF (Head-Related Transfer Function) : émule la façon dont l'oreille perçoit les sons spatiaux. Ambisonics (ordre 1-7). Apple Spatial Audio : suivi de tête dynamique. Occlusion acoustique (Unity Resonance Audio). Sonification d'informations visuelles (accessibilité).
Téléportation (arc balistique) : réduction cybersickness. Smooth locomotion (joystick) : risque nausée. Roomscale (marche physique dans la pièce). Redirected Walking : manipulation imperceptible de la direction. Blink locomotion. Arm swing. Cybershoes / omni-directional treadmill.
Ray casting : pointage à distance (XR Interaction Toolkit). Direct grab (proximité). Two-handed manipulation. Affordances : objets qui communiquent comment les utiliser. Haptiques : vibration (LRA, ERM) dans les controllers. TriggerFeedback (PSVR2 : adaptive triggers).
Diegetic UI : interfaces dans le monde (montres, tableaux, HUD sur objet). Spatial UI (panneaux 3D). 3D guidelines : distance de confort (0.5–20m), angle optimal (10°), taille minimale (2.5cm à 1m). Text en VR : SDF fonts. A11y : contraste, alternatives colorblind.
Full body avatar (métavers social). Half body (casque + controllers). Ready Player Me, MetaHuman (Epic). Uncanny valley : trop réaliste mais faux = dérangeant. VR mirror therapy (membres fantômes). Embodiment : IK inverse kinematics plausible. Expression faciale (eye tracking).
| Dispositif | Type | Écran | Tracking | Points clés |
|---|---|---|---|---|
| Meta Quest 3 | VR / MR standalone | 2 064×2 208 / œil, 120 Hz | Inside-out 6DoF | Snapdragon XR2 Gen 2, Color Passthrough |
| PlayStation VR2 | VR console (PS5) | 2 000×2 040 / œil, 120 Hz OLED | Inside-out, eye tracking | Adaptive trigger, foveated rendering |
| Valve Index | VR PC tethered | 1 440×1 600 / œil, 144 Hz | Lighthouse (outside-in) | Finger tracking controllers, FOV 130° |
| Apple Vision Pro | Mixed Reality | Micro-OLED 23M pixels | Eye + hand + face | visionOS, R1 chip 12ms, EyeSight |
| HoloLens 2 | AR (waveguide) | 47 PPD, FOV 52° | Eye + hand | B2B, Azure Spatial Anchors |
| Varjo XR-4 | Mixed Reality Pro | 51 PPD (retinal res.) | Eye tracking, hand | Professionnel, simulation de vol |
Aviation : Airbus, Boeing (assemblage, maintenance AR). Chirurgie : Osso VR (orthopédie), Fundamental Surgery. Pompiers, soldats, police : simulations de danger. Maintenance industrielle (AR + step-by-step). ROI démontré : -70% erreurs, -30% temps d'entraînement.
Thérapie d'exposition phobies (acrophobie, arachnophobie — SkillSoft). PTSD : BRAVEMIND (USC). Douleur : SnowWorld (brûlures). Planning chirurgical (Medivis, 3D Slicer en VR). Chirurgie guidée AR (HoloLens). Rééducation post-AVC (gamification).
Visite immobilière VR avant construction (Matterport Cortex). Validation de design (client visite le bâtiment non construit). Modifications en temps réel (Enscape, D5 Render, Lumion VR). BIM en VR (Autodesk Revit + Fuzor). Réduction des erreurs de conception : -50%.
Voyage dans l'espace (SpaceVR), dissection virtuelle (Visible Body), événements historiques reconstitués. ClassVR, Engage, AltspaceVR (arrêté). Universités : Stanford VR lab (social VR). Mémoire : retention +76% vs vidéo (PwC Study, 2020).
Half-Life Alyx (Valve) : référence design VR. Beat Saber : 4M exemplaires. Lone Echo, Asgard's Wrath. Location-Based VR (Zero Latency, The VOID). Plateforme Steam VR : 2% des utilisateurs. Croissance faible mais VR-native experiences supérieures.
Microsoft Mesh + Teams : avatars holographiques en réunion. Horizon Workrooms (Meta). Spatial.io. Immersion reduce : fatigue Zoom. Persistance des espaces de travail 3D. Vision Pro + FaceTime Spatial. Défis : hardware cost, setup, look naturel.
Objectif 2027–2030 : lunettes AR indistinguables des lunettes normales (<30g, FOV >70°, 8h+). Affichage rétinien laser (Mojo Vision). Light field displays (NVIDIA). Acteurs : Apple, Meta, Google, Samsung, Snap. Convergence VR/AR/smartphone.
Ultrahaptics (Ultraleap) : champs ultrasoniques créant des sensations sans contact. Gants HaptX : 130 actuateurs pneumatiques, 3N de force. Exosquelettes de la main. Thermo-haptics (chaleur, froid). Haptics corps entier (Teslasuit). Essentiels pour la chirurgie à distance.
NeRF (Neural Radiance Fields, 2020) : reconstruction 3D depuis photos. Instant-NGP (NVIDIA) : temps réel. 3D Gaussian Splatting (2023) : rendu encore plus rapide. Numériser le monde physique en haute fidélité pour l'AR. Luma AI, Polycam.
NPCs conversationnels avec LLMs (personnages réalistes). Génération procédurale de mondes (GAN, diffusion). Compression neural (NVIDIA DLSS, AMD FSR). Reconstruction de scènes en temps réel. AI pour adapter le contenu au profil de l'utilisateur (fatigue, charge cognitive).