Jak działa liczenie kalorii ze zdjęcia?
System liczący kalorie ze zdjęcia rozdziela widoczne na nim produkty, rozpoznaje każdy z nich, szacuje jego porcję i przelicza ją na kalorie, białko, tłuszcze i węglowodany. Najtrudniejszy krok to porcja, bo z jednego płaskiego zdjęcia trudno odczytać głębokość. Wynik traktuj jak szacunek: popraw gramaturę, jeśli ją znasz, i dopisz to, czego nie widać.
Cztery kroki od zdjęcia do kalorii
Przegląd systematyczny z 2022 roku, który objął 78 badań, opisuje taki łańcuch w systemach rozpoznających jedzenie ze zdjęć:
- Segmentacja: system oddziela od siebie produkty widoczne na talerzu.
- Rozpoznanie: każdy wydzielony fragment dostaje nazwę produktu.
- Porcja: system szacuje objętość każdego produktu.
- Wartości: objętość razy gęstość daje masę, a baza wartości odżywczych zamienia ją na kalorie, białko, tłuszcze i węglowodany.
W przeglądzie najlepszy system rozpoznawał produkty na zbiorze zdjęć Food-101 z trafnością 90,27%. To wynik systemu badawczego na zbiorze testowym, nie pomiar konkretnej aplikacji, i dotyczy nazwy produktu, nie jego gramatury.
Dlaczego porcja jest najtrudniejsza
Szacowanie objętości i kalorii to według autorów przeglądu najmniej dopracowany etap tych systemów. Jedno zdjęcie mniej obciąża użytkownika, ale nie zawiera dość informacji o głębokości. Założenie, że każdy produkt ma tę samą wysokość, może prowadzić do dużych błędów w ocenie objętości.
Badane systemy radzą sobie z tym na trzy sposoby: przedmiot o znanym rozmiarze w kadrze, dwa zdjęcia z różnych stron albo kamera mierząca głębię.
Sprawdzaj obie rzeczy: nazwę produktu i gramaturę. Częściej mylny jest szacunek gramatury, bo zdjęcie nie pokazuje głębokości.
Gdzie zdjęcie się myli
- Dania mieszane: składników sałatki, zupy czy burgera nie da się rozdzielić wzrokowo.
- Zdjęcie z boku: jedne produkty zasłaniają drugie.
- Słabe światło i inne przedmioty w kadrze.
Do tego dochodzi to, czego nie widać: olej wchłonięty przez jedzenie, masło wmieszane w ryż, sos pod mięsem. Nie mają na zdjęciu kształtu ani objętości, więc aplikacja może je najwyżej zgadnąć.
| Sytuacja | Co zrobić |
|---|---|
| Znasz wagę produktu | Popraw porcję do zważonej wagi, zamiast zostawiać szacunek. |
| Smażyłeś albo dodałeś sos | Sprawdź, czy na liście składników jest tłuszcz albo sos. Jeśli nie ma, dopisz go; jeśli jest, popraw ilość, zamiast dodawać go drugi raz. |
| Danie mieszane | Sprawdź listę rozpoznanych składników i popraw to, co się nie zgadza. |
| Produkt z kodem kreskowym | Zeskanuj kod, zamiast robić zdjęcie, i porównaj wartości z etykietą. |
Jak zrobić zdjęcie, które łatwiej oszacować
- Zmieść cały posiłek w kadrze i fotografuj z góry, żeby nic nie było zasłonięte.
- Rób zdjęcie przy dobrym świetle i zabierz z kadru telefon, klucze i opakowania.
- Fotografuj przed jedzeniem. Jeśli zostawisz część, popraw porcję po posiłku.
Jak robi to CalXd
W CalXd robisz zdjęcie posiłku. AI oszacuje składniki i wielkość porcji i poda kalorie, białko, tłuszcze i węglowodany. Wyniki AI są szacunkami, w aplikacji oznaczonymi „≈”: porcję poprawisz jednym dotknięciem albo wpiszesz liczby ręcznie.
Gdy ze zdjęcia nie da się odczytać porcji, CalXd może zadać jedno krótkie pytanie, zanim zapisze posiłek. Produkt z kodem kreskowym zeskanujesz, a CalXd wyszuka go w bazie Open Food Facts; porcję wybierasz sam, także jako własną liczbę gramów. Posiłek dodasz też tekstem albo głosem.
Pytania
Czy liczenie kalorii ze zdjęcia jest dokładne?
Do 2022 roku systemy coraz lepiej rozpoznawały nazwę produktu, ale porcja pozostaje szacunkiem, bo z jednego zdjęcia trudno odczytać głębokość. Przegląd z 2022 roku zestawia systemy testowane na różnych zbiorach zdjęć, więc jednej liczby dokładności nie ma. Popraw gramaturę, jeśli ją znasz.
Co lepsze przy produkcie paczkowanym: zdjęcie czy kod kreskowy?
Kod kreskowy. Wartości pochodzą wtedy z bazy produktów, a nie z oceny obrazu. Open Food Facts to otwarta baza, którą wolontariusze uzupełniają ze zdjęć opakowań i etykiet, więc gdy zależy ci na precyzji, porównaj wynik z etykietą.
Czy aplikacja widzi olej i sos?
Nie wprost. Olej wchłonięty przez jedzenie i sos pod mięsem nie mają na zdjęciu kształtu ani objętości, więc aplikacja może je najwyżej zgadnąć. Sprawdź listę składników: brakujący tłuszcz albo sos dopisz, a ten, który już jest, popraw, zamiast dodawać go drugi raz.