Вроде все делаю правильно, а оно никак не хочет создаваться. Может у кого найдется время глянуть исходник.
Как всегда все оказалось очень просто, при создании клиентского окна нужно было заменить хэндл родительского окна с HWNDFRAME на DWORD PTR [EBP+8]