Есть ли программа для брута хэшей на GPU для которой можно написать модуль (dll, so) чтобы после получения очередного хэша его можно было бы подать на вход функи из библиотеки для дополнительной проверки?
Готовое решение вряд ли найдёте, слишком специфические требования. Самое популярное ПО для брута хэшей https://hashcat.net/hashcat/, оно с открытым кодом. Берите подходящий модуль и добавляйте доп. проверку.