Łukasz Więcek - fotografia oczyma fotografa

Pamiętacie jak kiedyś pisałem o tym, że Google umie rozpoznawać twarze na fotografiach? Dla mnie, jak i dla większości z nas była to prawdziwa nowinka, bowiem algorytmy rozpoznające obiekty na zdjęciach były, jak do tej pory, bardzo ubogie. Ale zapowiada się prawdziwy przełom w tej kwestii...

A wszystko oczywiście jest zasługą miedzy innymi korporacji Google ;) Ale od początku.

Naukowcy z University of California w San Diego opracowali system pozwalający na kontektową identyfikację przedmiotów (a w zasadzie ich konturów i kolorów) na fotografiach. Bez zagłębiania się w szczegóły można powiedzieć, że rozpoznawanie i identyfikacja przedmiotów odbywa się w trzech etapach:

1. W pierwszym etapie na zdjęciu są wyszukiwane i zaznaczane kontury poszczególnych obiektów. W przykładowej fotografii są to: tenisistka, rakieta, kort tenisowy i piłeczka. I dla nas oczywistym jest, że to jest piłeczka, bo chociaż na tak małym zdjęciu kiepsko ją widać, to podświadomie wiemy, że raczej na pewno nie jest to ani cytryna, ani jabłko, ani pluszowa kaczuszka ;) Jednak dla komputera jest to jak na razie żółty obiekt mogący być zarówno piłką tenisową, jak i cytryną, jabłkiem, czy pluszową maskotką.
2. W drugiej fazie program wyszukuje znalezione obiekty w swojej bazie i dopasowuje do nich różne nazwy. I tak dla tenisistki może przypisać sobie takie słowa, jak np człowiek i kobieta. Dla rakiety mogą to być słowa takie jak rakieta, paletka i rakietka. A dla piłeczki? Piłka, cytryna, jabłko, maskotka, owoc, bułka, itp, itd.
3. W trzeciej fazie próbuje dopasować do siebie wszystkie obiekty pod względem kontekstu. Na czym to polega? Sprawa jest prosta. Korzystając z Google Sets (olbrzymiej bazy danych pokrewnych fraz) program sprawdza które słowa do siebie pasują, a które nie. Słowa kobieta, kort oraz rakieta do siebie pasują, więc program zakłada, że to właśnie te obiekty występują na zdjęciu, a nie na przykład kobieta z rakietą na łące. A co z naszym małym, żółtym obiektem? Mimo tego, że na przykład słowo cytryna jak najbardziej pasuje do słowa kobieta, to jednak w żaden sposób nie jest powiązane ze słowem rakieta i kort.

I właśnie na tej zasadzie działania jest oparty ten algorytm rozpoznawania obiektów na zdjęciach. Dokładniejszy opis działania tego mechanizmu można przeczytać w tym pliku PDF.

Przeczucie mi mówi, że ta technologia bardzo szybko znajdzie zastosowanie we wszelkiego rodzaju wyszukiwarkach oferujących wyszukiwanie grafiki. Na pewno ułatwi też katalogowanie i automatyczne tagowanie swoich zbiorów fotografii. W tej chwili szczytem możliwości takich programów, jak np Picasa, jest wyszukiwanie zdjęć zawierających jakiś konkretny kolor (w Picasie wystarczy wpisać color:green).

Mam tylko nadzieję, że pomysłodawcy nie nałożą na swoje dzieło całej masy patentów uniemożliwiających wykorzystanie tego algorytmu w otwartym oprogramowaniu...