Počítačové vidění je velmi zajímavá a poměrně populární oblast zkoumání. Dnes už existuje velké množství nástrojů, které vám vmžiku upraví prakticky libovolný obrázek, případně vám ho rovnou vygenerují. Zde se však jedná už o poměrně pokročilý a výpočetně náročný úkol, na jehož počátku stála kategorizace obrázků, tedy jejich třídění podle toho, co se na daném obrázku nachází.

Nemůžeme si však počítačové vidění představovat tak, že by počítače dokázaly vidět v našem lidském slova smyslu. Stejně jako u pojmu umělá inteligence se jedná o trochu zavádějící název, který je však výstižný a snadno pochopitelný širokou veřejností. Ve skutečnosti je každý obrázek zakódován pomocí čísel a pracuje se s ním tak podobně jako s jinými typy dat, například souřadnicemi na mapě, textovým dokumentem a podobně.

Tuto číselnou reprezentaci obrázku pak lze srovnávat s jinými číselnými reprezentacemi, kterých mohou být klidně stovky milionů. Odlišnosti mezi nimi pak lze rozpoznat klasickými matematickými metodami, které jsou známy už přinejmenším sto let.

Jak je možné počítačové vidění využít při zkoumání přírody? Výhoda počítačového vidění tkví především v tom, jak rychle dokáže analyzovat jednotlivé fotografie. Může nám pomoci s hledáním nových hvězd a planet na snímcích, a to s řádově větší rychlostí, než jakou tak činí celé týmy lidí. Stejně tak může odhalovat jednotlivé částice ze snímků z urychlovačů částic, ale také počítat různé překrývající se druhy rostlin.

U rostlin, hub a živočichů nám může pomoci s určením druhu nebo alespoň rodu, neboť mnohé druhy nelze od sebe často odlišit pouhým pohledem (houbaři nebo milovníci různých druhů pampelišek mohou vyprávět) a je nutné si všímat například pachu či detailů na buněčné úrovni, kde jsme omezeni rozlišením fotografie. Dále pak nám počítačové vidění může pomoci s hledáním a klasifikací nemocí.

V případě hledání nemocí nám počítačové vidění například dokáže zvýraznit, jak velká část rostliny nebo jejího listu je chorobou zasažena. Stejným způsobem je možné zvýraznit a odhadnout tak velikost překrývajících se rostlin nebo jejich listů.

Křivoklaij pro přiřazování fotografií k druhům využívá konvoluční neuronové sítě, které se pro tento druh úlohy ukázaly být jako obzvláště účinné a hlavně pro jejich trénování stačí využít jednu obyčejnou grafickou kartu. Vstupem jsou fotografie s přiřazenými normalizovanými názvy z Křivobjevů, tedy je vstup maximálně přizpůsobený našemu (nejen křivoklátskému) prostředí.

Pro hledání a klasifikaci více překrývajících se druhů nebo nemocí v rámci jednoho obrázku je už nutné využít složitější modely, takzvané transformery. Jsou to právě transformery, přesněji jejich generativní skupina, jejichž nejkomplikovanější představitelé nám dnes odpovídají na otázky, generují malby a fotografie, případně celé knihy textů.

Tady už se nevyhneme využití již předem natrénovaných a veřejně dostupných modelů. Ty lze vzájemně propojovat a skládat jako stavební bloky v rámci vlastní architektury.

Křivoklaij zatím využívá transformer DETR doplněný modelem SAM. Jedná se o celkem nové modely, které svou přesností v klasifikaci částí obrázků překonávají dosud zavedené a mnohdy složitější přístupy. Ve spolupráci s konvolučními neuronovými sítěmi a dalšími algoritmy tak dostaneme nástroj, kterým lze využít velkou část schopností dnešního počítačového vidění.

Samozřejmě se snažím vývoj v této oblasti sledovat, číst studie a zkoumat nové přístupy a nástroje. Jakmile najdu něco relevantního a hlavně prakticky použitelného pro zkoumání přírody, přidám tyto nástroje k funkcím Křivoklaije. Myslím, že nás všechny ještě čeká spousta překvapení.