Короче че то у меня так же без енкодера на двух разных синтезах, с енкодером нормально, проверь енкодеры, цешкой на пищалке сядь на центральный и один из крайних и покрути,должно равномерно прерывисто пищать, и так же другой крайний проверь.
может рядом какой то источник лежит, мобильник в интернете, радиотелефон или еще что то мощное,либо просто неправильно подобрал емкости-резисторы на енкодере. ну и не исключен корявый софт в атмеге.