Смотря что Вы хотите, начните с Шнаера "Прикладная криптография" Есть еще английский хендбук по прикладной криптографии, тоже рекомендую.
Ну, например, с А.Г. Курош "Курс высшей алгебры". И только потом Б. Шнейер "Прикладная криптография".
По идеи на начальном уровне только теория чисел нужна, так что Виноградова "Основы теории чисел" должно хватить)