я бы просто поискал в процессах процесс, имя образа которого имеет расширение .scr неприятных коллизий быть не должно
Код (Text): BOOL result; SystemParametersInfo(SPI_GETSCREENSAVERRUNNING,0,&result,0); if (result) {...} // запущен