פרצוף רובוטי עם מעקב מצלמה - M5Stack Core2 + M5Camera F

 מבוא - על הפרויקט בקצרה... 

הפרויקט יוצר פרצוף רובוטי אינטראקטיבי עם עיניים שעוקבות אחרי תנועה! הפרצוף מוצג על מסך M5Stack Core2 ויכול לעקוב אחרי:

• מגע על המסך - העיניים עוקבות אחרי האצבע שלך
• תנועה מול מצלמה - באמצעות M5Camera F עם זיהוי תנועה

התוצאה? רובוט חמוד שממצמץ, מחייך כשרואה תנועה, ועוקב אחריך עם העיניים שלו!

למה זה טוב?

• ✨ אינטראקציה טבעית ואינטואיטיבית
• 🔧 שילוב מעולה של חומרה ותוכנה
• 🎨 בסיס טוב לפרויקטים מתקדמים יותר

---

רשימת חומרים (BOM)

רכיב	תיאור	מחיר משוער
M5Stack Core2	מיקרו בקר ESP32 עם מסך מגע 2" (320x240) ורמקול מובנה	~$40
M5Camera F	מצלמה fisheye (150°) עם ESP32 + PSRAM מובנה	~$15
כבל USB-C	להעלאת קוד ולחשמל	כלול בדרך כלל

---

רקע טכני

M5Stack Core2

• מעבד: ESP32 (dual-core, 240MHz)
• מסך: 2" IPS LCD (320x240) עם מגע קיבולי
• זיכרון: 16MB Flash, 8MB PSRAM
• חיבוריות: WiFi, Bluetooth
• נוסף: רמקול, מיקרופון, IMU, RTC, ו-Grove ports

M5Camera F

• מעבד: ESP32 נפרד (4MB Flash + 4MB PSRAM)
• מצלמה: OV2640 2MP עדשת fisheye (150° FOV)
• רזולוציה: עד 1600x1200, אנחנו נשתמש ב-160x120 כדי לקבל מהירות גבוהה יותר
• חיבוריות: WiFi מובנה, יכול לשדר וידאו או לעבד תמונות
• חשוב: ל M5Camera F יש לוח ESP32 נפרד! צריך לתכנת אותו בקוד נפרד מה-Core2!

איך זה עובד?

M5Camera F מצלמת, מזהה תנועה, ושולחת קואורדינטות. Core2 מקבל את הקואורדינטות ומזיז את האישונים בהתאם.

---

הכנת סביבת העבודה

התקנת Arduino IDE

1. הורד Arduino IDE מ- https://www.arduino.cc/en/software

   • גרסה מומלצת: 1.8.x או 2.x

2. התקן תמיכה ב-ESP32:

• פתח: File → Preferences
• ב-"Additional Board Manager URLs" הוסף:
  
       https://espressif.github.io/arduino-esp32/package_esp32_index.json

• כנס ל Tools → Board → Boards Manager 
• חפש "esp32" והתקן "esp32 by Espressif Systems" 
• גרסה מומלצת: 2.0.17 (גרסה יציבה)

 
        3. התקן ספריות נדרשות:

עבור Core2:

• Tools → Manage Libraries
• התקן:
  • M5Unified (גרסה 0.1.16+)
  • M5GFX
  • ArduinoJson (גרסה 7.x)

עבור המצלמה:

• ספריית esp_camera מגיעה עם ESP32 board package

---

שלב 1: פרצוף רובוטי בסיסי (Core2)

נתחיל עם פרצוף פשוט שעובד עם מגע.

הגדרות Board

Tools →

  Board: "M5Stack-Core2"
  Upload Speed: 115200
  Partition Scheme: "Default 4MB with spiffs"
  Core Debug Level: "None"
  PSRAM: "Enabled"

הקוד המלא

#include <M5Unified.h> // פרמטרי העיניים int leftEyeX = 90; int leftEyeY = 80; int rightEyeX = 230; int rightEyeY = 80; int eyeRadius = 30; int pupilX = 0; int pupilY = 0; int pupilRadius = 12; int prevPupilX = 0; int prevPupilY = 0; // פרמטרי הפה int mouthCenterX = 160; int mouthCenterY = 180; int mouthWidth = 60; int mouthHeight = 30; unsigned long lastBlink = 0; int blinkInterval = 5000; bool isTracking = false; bool isHappy = false; void drawFaceComplete() { M5.Display.fillScreen(BLACK); // עיניים M5.Display.fillCircle(leftEyeX, leftEyeY, eyeRadius, WHITE); M5.Display.fillCircle(rightEyeX, rightEyeY, eyeRadius, WHITE); // אישונים M5.Display.fillCircle(leftEyeX + pupilX, leftEyeY + pupilY, pupilRadius, BLACK); M5.Display.fillCircle(rightEyeX + pupilX, rightEyeY + pupilY, pupilRadius, BLACK); // נקודת אור (הופכת את העיניים לחיות!) M5.Display.fillCircle(leftEyeX + pupilX - 4, leftEyeY + pupilY - 4, 3, WHITE); M5.Display.fillCircle(rightEyeX + pupilX - 4, rightEyeY + pupilY - 4, 3, WHITE); drawMouth(); prevPupilX = pupilX; prevPupilY = pupilY; } void eraseMouth() { M5.Display.fillRect(mouthCenterX - mouthWidth/2 - 5, mouthCenterY - mouthHeight - 5, mouthWidth + 10, mouthHeight + 30, BLACK); } void drawMouth() { if (isHappy) { // פה שמח - חיוך for(int x = -mouthWidth/2; x <= mouthWidth/2; x += 2) { int y = -(x * x) / 30; M5.Display.fillCircle(mouthCenterX + x, mouthCenterY + y, 2, WHITE); } } else { // פה ניטרלי - קו ישר M5.Display.fillRect(mouthCenterX - mouthWidth/2, mouthCenterY - 2, mouthWidth, 4, WHITE); } } void updatePupils() { // מחיקת אישון קודם M5.Display.fillCircle(leftEyeX + prevPupilX, leftEyeY + prevPupilY, pupilRadius, WHITE); M5.Display.fillCircle(rightEyeX + prevPupilX, rightEyeY + prevPupilY, pupilRadius, WHITE); // ציור אישון חדש M5.Display.fillCircle(leftEyeX + pupilX, leftEyeY + pupilY, pupilRadius, BLACK); M5.Display.fillCircle(rightEyeX + pupilX, rightEyeY + pupilY, pupilRadius, BLACK); // נקודת אור M5.Display.fillCircle(leftEyeX + pupilX - 4, leftEyeY + pupilY - 4, 3, WHITE); M5.Display.fillCircle(rightEyeX + pupilX - 4, rightEyeY + pupilY - 4, 3, WHITE); prevPupilX = pupilX; prevPupilY = pupilY; } void blink() { int blinkSpeed = random(8, 15); // סגירה for(int i = 0; i <= eyeRadius; i += blinkSpeed) { M5.Display.fillRect(leftEyeX - eyeRadius - 2, leftEyeY - eyeRadius, eyeRadius * 2 + 4, i * 2, BLACK); M5.Display.fillRect(rightEyeX - eyeRadius - 2, rightEyeY - eyeRadius, eyeRadius * 2 + 4, i * 2, BLACK); delay(8); } delay(random(60, 120)); // פתיחה drawFaceComplete(); } void lookAt(int targetX, int targetY) { int newPupilX = map(targetX, 0, 320, -12, 12); int newPupilY = map(targetY, 0, 240, -10, 10); newPupilX = constrain(newPupilX, -12, 12); newPupilY = constrain(newPupilY, -10, 10); // אנימציה חלקה int steps = 8; for(int i = 1; i <= steps; i++) { pupilX = pupilX + (newPupilX - pupilX) * i / steps; pupilY = pupilY + (newPupilY - pupilY) * i / steps; updatePupils(); delay(20); } pupilX = newPupilX; pupilY = newPupilY; } void setup() { auto cfg = M5.config(); M5.begin(cfg); M5.Display.fillScreen(BLACK); drawFaceComplete(); } void loop() { M5.update(); auto touch = M5.Touch.getDetail(); if (touch.wasPressed()) { isTracking = true; isHappy = true; eraseMouth(); drawMouth(); } if (touch.isPressed()) { lookAt(touch.x, touch.y); } if (touch.wasReleased()) { isTracking = false; isHappy = false; delay(300); lookAt(160, 120); eraseMouth(); drawMouth(); blink(); lastBlink = millis(); blinkInterval = random(4000, 8000); } // מצמוץ אוטומטי if(!isTracking && millis() - lastBlink > blinkInterval) { blink(); lastBlink = millis(); blinkInterval = random(4000, 8000); } delay(30); }

בדיקה ראשונית

1. העלה את הקוד ל-Core2
2. אמור להופיע פרצוף על המסך
3. גע במסך עם האצבע - העיניים אמורות לעקוב אחר האצבע!
4. שחרר - הפרצוף אמור להראות "פה ישר" ולמצמץ

אם זה עובד - מעולה! עוברים לשלב הבא! ✅

---

שלב 2: הפעלת המצלמה

הגדרות Board למצלמה

Tools →
  Board: "AI Thinker ESP32-CAM"
  Upload Speed: 115200
  Flash Frequency: 80MHz
  Partition Scheme: "Huge APP (3MB No OTA/1MB SPIFFS)"

חשוב מאוד: ה-Board צריך להיות "AI Thinker ESP32-CAM"!

קוד בדיקה - שידור וידאו פשוט

הקוד רק בודק שהמצלמה עובדת:

#include "esp_camera.h" #include <WiFi.h> #include "esp_http_server.h" const char* ssid = "M5CAM-Video"; const char* password = "12345678"; // M5Camera F pins - Model B #define PWDN_GPIO_NUM -1 #define RESET_GPIO_NUM 15 #define XCLK_GPIO_NUM 27 #define SIOD_GPIO_NUM 22 #define SIOC_GPIO_NUM 23 #define Y9_GPIO_NUM 19 #define Y8_GPIO_NUM 36 #define Y7_GPIO_NUM 18 #define Y6_GPIO_NUM 39 #define Y5_GPIO_NUM 5 #define Y4_GPIO_NUM 34 #define Y3_GPIO_NUM 35 #define Y2_GPIO_NUM 32 #define VSYNC_GPIO_NUM 25 #define HREF_GPIO_NUM 26 #define PCLK_GPIO_NUM 21 httpd_handle_t stream_httpd = NULL; static esp_err_t stream_handler(httpd_req_t *req){ camera_fb_t * fb = NULL; esp_err_t res = ESP_OK; size_t _jpg_buf_len = 0; uint8_t * _jpg_buf = NULL; char * part_buf[64]; res = httpd_resp_set_type(req, "multipart/x-mixed-replace; boundary=frame"); if(res != ESP_OK){ return res; } while(true){ fb = esp_camera_fb_get(); if (!fb) { res = ESP_FAIL; } else { _jpg_buf_len = fb->len; _jpg_buf = fb->buf; } if(res == ESP_OK){ size_t hlen = snprintf((char *)part_buf, 64, "Content-Type: image/jpeg\r\nContent-Length: %u\r\n\r\n", _jpg_buf_len); res = httpd_resp_send_chunk(req, (const char *)part_buf, hlen); } if(res == ESP_OK){ res = httpd_resp_send_chunk(req, (const char *)_jpg_buf, _jpg_buf_len); } if(res == ESP_OK){ res = httpd_resp_send_chunk(req, "\r\n--frame\r\n", 13); } if(fb){ esp_camera_fb_return(fb); fb = NULL; _jpg_buf = NULL; } if(res != ESP_OK){ break; } } return res; } void startCameraServer(){ httpd_config_t config = HTTPD_DEFAULT_CONFIG(); config.server_port = 80; httpd_uri_t index_uri = { .uri = "/", .method = HTTP_GET, .handler = stream_handler, .user_ctx = NULL }; if (httpd_start(&stream_httpd, &config) == ESP_OK) { httpd_register_uri_handler(stream_httpd, &index_uri); } } void setup() { Serial.begin(115200); delay(2000); Serial.println("\n\n=== M5Camera F Video Stream ==="); // Camera config camera_config_t config; config.ledc_channel = LEDC_CHANNEL_0; config.ledc_timer = LEDC_TIMER_0; config.pin_d0 = Y2_GPIO_NUM; config.pin_d1 = Y3_GPIO_NUM; config.pin_d2 = Y4_GPIO_NUM; config.pin_d3 = Y5_GPIO_NUM; config.pin_d4 = Y6_GPIO_NUM; config.pin_d5 = Y7_GPIO_NUM; config.pin_d6 = Y8_GPIO_NUM; config.pin_d7 = Y9_GPIO_NUM; config.pin_xclk = XCLK_GPIO_NUM; config.pin_pclk = PCLK_GPIO_NUM; config.pin_vsync = VSYNC_GPIO_NUM; config.pin_href = HREF_GPIO_NUM; config.pin_sscb_sda = SIOD_GPIO_NUM; config.pin_sscb_scl = SIOC_GPIO_NUM; config.pin_pwdn = PWDN_GPIO_NUM; config.pin_reset = RESET_GPIO_NUM; config.xclk_freq_hz = 20000000; config.pixel_format = PIXFORMAT_JPEG; config.frame_size = FRAMESIZE_VGA; config.jpeg_quality = 10; config.fb_count = 2; Serial.println("Init camera..."); esp_err_t err = esp_camera_init(&config); if (err != ESP_OK) { Serial.printf("Camera FAILED: 0x%x\n", err); Serial.println("STOPPING HERE"); while(1) { delay(1000); Serial.println("Camera failed!"); } } Serial.println("Camera OK!"); WiFi.softAP(ssid, password); Serial.print("WiFi started: "); Serial.println(WiFi.softAPIP()); startCameraServer(); Serial.println("\n================================="); Serial.println("Connect to WiFi: M5CAM-Video"); Serial.println("Password: 12345678"); Serial.println("Open browser: http://192.168.4.1"); Serial.println("=================================\n"); } void loop() { delay(1000); Serial.println("Running..."); }

בדיקה

1. העלה את הקוד למצלמה
2. פתח Serial Monitor (115200 baud)
3. המסך הסריאלי אמור להציג: "Camera OK!" + כתובת WiFi
4. באמצעות הטלפון הנייד:
   • התחבר ל-WiFi: "M5CAM-Video"
   • סיסמה: 12345678
   • פתח דפדפן: http://192.168.4.1
5. אתה אמור לראות וידאו חי מהמצלמה! 📹

אם אתה רואה וידאו - המצלמה עובדת! ✅

---

שלב 3: Motion Detection במצלמה

עכשיו נוסיף זיהוי תנועה. המצלמה תשווה בין פריימים ותשלח קואורדינטות של אזורים שהשתנו.

הקוד המלא - Motion Detection

#include "esp_camera.h" #include <WiFi.h> #include <WebServer.h> const char* ssid = "M5CAM-Motion"; const char* password = "12345678"; WebServer server(80); // M5Camera F pins #define PWDN_GPIO_NUM -1 #define RESET_GPIO_NUM 15 #define XCLK_GPIO_NUM 27 #define SIOD_GPIO_NUM 22 #define SIOC_GPIO_NUM 23 #define Y9_GPIO_NUM 19 #define Y8_GPIO_NUM 36 #define Y7_GPIO_NUM 18 #define Y6_GPIO_NUM 39 #define Y5_GPIO_NUM 5 #define Y4_GPIO_NUM 34 #define Y3_GPIO_NUM 35 #define Y2_GPIO_NUM 32 #define VSYNC_GPIO_NUM 25 #define HREF_GPIO_NUM 26 #define PCLK_GPIO_NUM 21 uint8_t* prev_frame = NULL; int prev_len = 0; int motion_x = 160; int motion_y = 120; bool motion_detected = false; int frame_count = 0; void initCamera() { camera_config_t config; config.ledc_channel = LEDC_CHANNEL_0; config.ledc_timer = LEDC_TIMER_0; config.pin_d0 = Y2_GPIO_NUM; config.pin_d1 = Y3_GPIO_NUM; config.pin_d2 = Y4_GPIO_NUM; config.pin_d3 = Y5_GPIO_NUM; config.pin_d4 = Y6_GPIO_NUM; config.pin_d5 = Y7_GPIO_NUM; config.pin_d6 = Y8_GPIO_NUM; config.pin_d7 = Y9_GPIO_NUM; config.pin_xclk = XCLK_GPIO_NUM; config.pin_pclk = PCLK_GPIO_NUM; config.pin_vsync = VSYNC_GPIO_NUM; config.pin_href = HREF_GPIO_NUM; config.pin_sscb_sda = SIOD_GPIO_NUM; config.pin_sscb_scl = SIOC_GPIO_NUM; config.pin_pwdn = PWDN_GPIO_NUM; config.pin_reset = RESET_GPIO_NUM; config.xclk_freq_hz = 20000000; config.pixel_format = PIXFORMAT_GRAYSCALE; // גרייסקייל = מהיר! config.frame_size = FRAMESIZE_QQVGA; // 160x120 config.jpeg_quality = 12; config.fb_count = 1; esp_err_t err = esp_camera_init(&config); if (err != ESP_OK) { Serial.printf("Camera init failed: 0x%x\n", err); return; } Serial.println("Camera OK!"); } void detectMotion() { camera_fb_t* fb = esp_camera_fb_get(); if (!fb) { return; } frame_count++; if (prev_frame == NULL || prev_len != fb->len) { if (prev_frame) free(prev_frame); prev_frame = (uint8_t*)malloc(fb->len); prev_len = fb->len; if (prev_frame) { memcpy(prev_frame, fb->buf, fb->len); } esp_camera_fb_return(fb); return; } // השוואת פריימים int changed_count = 0; int sum_x = 0; int sum_y = 0; int threshold = 35; // רגישות (ככל שגבוה יותר = פחות רגיש) for (int y = 0; y < 120; y += 4) { for (int x = 0; x < 160; x += 4) { int idx = y * 160 + x; if (idx < fb->len) { int diff = abs((int)fb->buf[idx] - (int)prev_frame[idx]); if (diff > threshold) { sum_x += x; sum_y += y; changed_count++; } } } } if (changed_count > 40) { motion_x = sum_x / changed_count; motion_y = sum_y / changed_count; // המרה לגודל מסך Core2 (320x240) motion_x = map(motion_x, 0, 160, 0, 320); motion_y = map(motion_y, 0, 120, 240, 0); // Y הפוך! motion_detected = true; } else { motion_detected = false; } memcpy(prev_frame, fb->buf, fb->len); esp_camera_fb_return(fb); } void handleMotion() { String json = "{\"x\":" + String(motion_x) + ",\"y\":" + String(motion_y) + ",\"motion\":" + String(motion_detected ? "true" : "false") + ",\"frames\":" + String(frame_count) + "}"; server.send(200, "application/json", json); } void handleRoot() { String html = "<html><body style='font-family:monospace;'>"; html += "<h1>M5Camera Motion Detector</h1>"; html += "<p>Frames: <b>" + String(frame_count) + "</b></p>"; html += "<p>Motion X: <b>" + String(motion_x) + "</b></p>"; html += "<p>Motion Y: <b>" + String(motion_y) + "</b></p>"; html += "<p>Motion: <b style='color:" + String(motion_detected ? "red" : "green") + "'>" + String(motion_detected ? "YES!" : "NO") + "</b></p>"; html += "<p><a href='/motion'>[JSON Data]</a></p>"; html += "<script>setTimeout(function(){location.reload()}, 500);</script>"; html += "</body></html>"; server.send(200, "text/html", html); } void setup() { Serial.begin(115200); delay(2000); Serial.println("\n=== M5Camera F Motion Detector ==="); initCamera(); WiFi.softAP(ssid, password); Serial.print("WiFi AP: "); Serial.println(WiFi.softAPIP()); server.on("/", handleRoot); server.on("/motion", handleMotion); server.begin(); Serial.println("Ready!"); Serial.println("http://192.168.4.1 - Live status"); Serial.println("http://192.168.4.1/motion - JSON data"); } void loop() { server.handleClient(); detectMotion(); delay(100); }

הסבר על האלגוריתם

איך Motion Detection עובד?

1. צילום פריים נוכחי (160x120 פיקסלים בגרייסקייל)
2. השוואה לפריים הקודם - לכל פיקסל, בודק אם השתנה מעל הסף (threshold)
3. ספירת שינויים - אם יש מספיק פיקסלים ששונו (>40) → תנועה זוהתה!
4. חישוב מרכז התנועה - ממוצע של כל הפיקסלים ששונו
5. המרה לקואורדינטות מסך - 160x120 → 320x240

למה גרייסקייל ולא צבע?

• מהיר פי 3!
• פחות זיכרון
• מספיק לזיהוי תנועה

בדיקה

1. העלה קוד למצלמה
2. התחבר ל-WiFi: "M5CAM-Motion"
3. פתח בדפדפן את הכתובת: http://192.168.4.1
4. צור תנועה מול המצלמה - אתה אמור לראות "Motion: YES!" והקואורדינטות משתנות!

---

שלב 4: חיבור הכל ביחד!

עכשיו נשלב את המצלמה עם הפרצוף ב-Core2.

הקוד המלא - Core2 + Camera Tracking

#include <M5Unified.h>

#include <M5Unified.h> #include <WiFi.h> #include <HTTPClient.h> #include <ArduinoJson.h> // WiFi Configuration const char* ssid = "M5CAM-Motion"; const char* password = "12345678"; // פרמטרי העיניים int leftEyeX = 90; int leftEyeY = 80; int rightEyeX = 230; int rightEyeY = 80; int eyeRadius = 30; int pupilX = 0; int pupilY = 0; int pupilRadius = 12; int prevPupilX = 0; int prevPupilY = 0; // פרמטרי הפה int mouthCenterX = 160; int mouthCenterY = 180; int mouthWidth = 60; int mouthHeight = 30; unsigned long lastBlink = 0; int blinkInterval = 5000; bool isTracking = false; bool isHappy = false; // Camera unsigned long lastCameraCheck = 0; bool cameraMotion = false; int cameraX = 160; int cameraY = 120; // WiFi indicator bool wifiConnected = false; void drawFaceComplete() { M5.Display.fillScreen(BLACK); M5.Display.fillCircle(leftEyeX, leftEyeY, eyeRadius, WHITE); M5.Display.fillCircle(rightEyeX, rightEyeY, eyeRadius, WHITE); M5.Display.fillCircle(leftEyeX + pupilX, leftEyeY + pupilY, pupilRadius, BLACK); M5.Display.fillCircle(rightEyeX + pupilX, rightEyeY + pupilY, pupilRadius, BLACK); M5.Display.fillCircle(leftEyeX + pupilX - 4, leftEyeY + pupilY - 4, 3, WHITE); M5.Display.fillCircle(rightEyeX + pupilX - 4, rightEyeY + pupilY - 4, 3, WHITE); drawMouth(); // WiFi indicator if (wifiConnected) { M5.Display.fillCircle(310, 10, 5, GREEN); } else { M5.Display.fillCircle(310, 10, 5, RED); } prevPupilX = pupilX; prevPupilY = pupilY; } void eraseMouth() { M5.Display.fillRect(mouthCenterX - mouthWidth/2 - 5, mouthCenterY - mouthHeight - 5, mouthWidth + 10, mouthHeight + 30, BLACK); } void drawMouth() { if (isHappy) { for(int x = -mouthWidth/2; x <= mouthWidth/2; x += 2) { int y = -(x * x) / 30; M5.Display.fillCircle(mouthCenterX + x, mouthCenterY + y, 2, WHITE); } } else { M5.Display.fillRect(mouthCenterX - mouthWidth/2, mouthCenterY - 2, mouthWidth, 4, WHITE); } } void updatePupils() { M5.Display.fillCircle(leftEyeX + prevPupilX, leftEyeY + prevPupilY, pupilRadius, WHITE); M5.Display.fillCircle(rightEyeX + prevPupilX, rightEyeY + prevPupilY, pupilRadius, WHITE); M5.Display.fillCircle(leftEyeX + pupilX, leftEyeY + pupilY, pupilRadius, BLACK); M5.Display.fillCircle(rightEyeX + pupilX, rightEyeY + pupilY, pupilRadius, BLACK); M5.Display.fillCircle(leftEyeX + pupilX - 4, leftEyeY + pupilY - 4, 3, WHITE); M5.Display.fillCircle(rightEyeX + pupilX - 4, rightEyeY + pupilY - 4, 3, WHITE); prevPupilX = pupilX; prevPupilY = pupilY; } void blink() { int blinkSpeed = random(8, 15); for(int i = 0; i <= eyeRadius; i += blinkSpeed) { M5.Display.fillRect(leftEyeX - eyeRadius - 2, leftEyeY - eyeRadius, eyeRadius * 2 + 4, i * 2, BLACK); M5.Display.fillRect(rightEyeX - eyeRadius - 2, rightEyeY - eyeRadius, eyeRadius * 2 + 4, i * 2, BLACK); delay(8); } delay(random(60, 120)); drawFaceComplete(); } void lookAt(int targetX, int targetY) { int newPupilX = map(targetX, 0, 320, -12, 12); int newPupilY = map(targetY, 0, 240, -10, 10); newPupilX = constrain(newPupilX, -12, 12); newPupilY = constrain(newPupilY, -10, 10); int steps = 8; for(int i = 1; i <= steps; i++) { pupilX = pupilX + (newPupilX - pupilX) * i / steps; pupilY = pupilY + (newPupilY - pupilY) * i / steps; updatePupils(); delay(20); } pupilX = newPupilX; pupilY = newPupilY; } void checkCamera() { wifiConnected = (WiFi.status() == WL_CONNECTED); if (!wifiConnected) return; HTTPClient http; http.begin("http://192.168.4.1/motion"); http.setTimeout(300); int code = http.GET(); if (code == 200) { JsonDocument doc; DeserializationError error = deserializeJson(doc, http.getString()); if (!error) { cameraX = doc["x"]; cameraY = doc["y"]; cameraMotion = doc["motion"]; } } http.end(); } void setup() { auto cfg = M5.config(); M5.begin(cfg); WiFi.begin(ssid, password); drawFaceComplete(); lastBlink = millis(); } void loop() { M5.update(); // Check camera if (millis() - lastCameraCheck > 150) { checkCamera(); lastCameraCheck = millis(); } // Check touch auto touch = M5.Touch.getDetail(); bool touchActive = touch.isPressed(); // Touch OR Camera bool anyInput = touchActive || cameraMotion; if (anyInput && !isTracking) { isTracking = true; isHappy = true; eraseMouth(); drawMouth(); } if (anyInput) { if (touchActive) { lookAt(touch.x, touch.y); } else if (cameraMotion) { lookAt(cameraX, cameraY); } } if (!anyInput && isTracking) { isTracking = false; isHappy = false; delay(300); lookAt(160, 120); eraseMouth(); drawMouth(); blink(); lastBlink = millis(); blinkInterval = random(4000, 8000); } if(!isTracking && millis() - lastBlink > blinkInterval) { blink(); lastBlink = millis(); blinkInterval = random(4000, 8000); } delay(30); }

איך זה עובד?

1. Core2 מתחבר ל-WiFi של המצלמה. 
2. כל 150ms ה - Core2 שולח GET request ל-http://192.168.4.1/motion
3. מקבל JSON עם קואורדינטות: {"x": 120, "y": 80, "motion": true}
4. אם יש תנועה - העיניים עוקבות!
5. גם המגע עובד - יש עדיפות בקוד למגע אם נוגעים במסך

---

פתרון בעיות נפוצות

בעיה: Core2 מציג מסך שחור

פתרון:

• ודא ש-Board נבחר נכון: "M5Stack-Core2"
• בדוק שספריית M5Unified מותקנת (גרסה 0.1.16+)

בעיה: המצלמה לא מתאתחלת ("Camera init failed")

גורמים אפשריים:

1. Board שגוי:

   • ודא: "AI Thinker ESP32-CAM" (לא M5UnitCAM!)

2. Partition Scheme:

   • שנה ל-"Huge APP (3MB No OTA/1MB SPIFFS)"

3. פינים לא נכונים:

   • יש כמה גרסאות של M5Camera
   • הקוד שלנו מתאים ל-Model B (הנפוץ)

בעיה: Core2 לא מתחבר למצלמה

בדיקות:

1. ודא שהמצלמה רצה:

   • בטלפון, חפש WiFi "M5CAM-Motion"
   • התחבר וגלוש ל-http://192.168.4.1
   • אמור לראות דף עם Motion detector

2. ודא ששם WiFi תואם:

   • בקוד המצלמה: const char* ssid = "M5CAM-Motion";
   • בקוד Core2: const char* ssid = "M5CAM-Motion";
   • חייבים להיות זהים!

בעיה: העיניים לא עוקבות חלק

פתרון:

• הגדל את steps בפונקציה lookAt() ל-12 או 16
• הקטן delay ל-15ms

בעיה: רגישות מדי / פחות מדי

במצלמה, שנה:

int threshold = 35;  // הגדל = פחות רגיש
if (changed_count > 40) {  // הגדל = פחות רגיש

בעיה: Y הפוך (למטה = למעלה)

במצלמה, ודא:

motion_y = map(motion_y, 0, 120, 240, 0);  // 240, 0 (לא 0, 240!)

---

שאלות ותשובות

ש: האם חייבים שני התקני ESP32 נפרדים?

ת: כן! M5Camera F היא ESP32 נפרד עם מצלמה. Core2 הוא ESP32 נוסף עם מסך. הם מתקשרים דרך WiFi.

ש: אפשר להשתמש במצלמה אחרת?

ת: כן, אבל הפינים ישתנו. ESP32-CAM של AiThinker דורש שינוי פינים. המדריך הזה מתאים ל-M5Camera F.

ש: למה לא משתמשים בחיבור קווי (UART/I2C)?

ת: אפשר! אבל WiFi פשוט יותר - לא צריך חיווט, ואפשר למקם את המצלמה רחוק מה-Core2.

ש: כמה מהיר זה?

ת: ~6-10 FPS (תלוי ברשת WiFi). מספיק למעקב חלק!

ש: האם זה צורך הרבה חשמל?

ת: כן. Core2 + מצלמה ביחד צורכים ~500mA. מומלץ חשמל USB טוב או סוללה חזקה.

ש: אפשר להוסיף עוד תכונות?

ת: בהחלט!

• זיהוי פנים (במקום motion detection)
• מעקב אחרי צבע מסוים
• הקלטת וידאו
• שליחת התראות
• שליטה ברובוט/רחפן

ש: למה גרייסקייל ולא צבע?

ת: גרייסקייל מהיר פי 3 ודורש פחות זיכרון. מספיק לזיהוי תנועה!

ש: איך מכווננים רגישות?

ת: במצלמה:

• threshold - ערך גבוה = פחות רגיש
• changed_count - מספר גבוה = צריך יותר שינויים

---

סיכום והמשך פיתוח

מה בנינו?

✅ פרצוף רובוטי אינטראקטיבי עם עיניים חיות
✅ מעקב אחרי מגע על המסך
✅ מעקב אחרי תנועה מול מצלמה
✅ מצמוץ אוטומטי ואנימציות
✅ שני מצבי אינטראקציה במקביל

רעיונות להמשך

🎯 שדרוגים טכניים:

• Face Detection (במקום motion) - זיהוי אמיתי של פנים
• מעקב אחרי צבע (למשל כדור אדום)
• הוספת קול - הפרצוף "מדבר"
• חיבור לסרוו מנועים - הפרצוף זז פיזית!

🤖 פרויקטים מתקדמים:

• רובוט חברתי שמגיב לרגשות
• מערכת אבטחה עם התראות
• עוזר וירטואלי עם זיהוי דיבור
• משחק אינטראקטיבי לילדים

תודות

פרויקט זה פותח בתהליך פיתוח מרתק שכלל המון ניסויים וטעיות (בעיקר עם הגדרות Board! 😅).

תודה מיוחדת לקהילת M5Stack, למפתחי הספריות, ולכל מי שתורם לקוד פתוח.

תודה כמובן לקלוד שכתב את הקודים השונים והסכים ללכת איתי לאורך הדרך גם כאשר הוא כמעט התייאש... תודה לקלוד גם על הסבלנות בכתיבת המדריך המקיף! 

זכרו: הדרך לפרויקט מוצלח היא להתחיל פשוט, לבדוק כל שלב, ולא לוותר! 💪

---

הצלחת לבנות את הפרויקט? שתף תמונות וסרטונים! 📸🎥

יש שאלות? כתוב תגובה ואשמח לעזור! 💬