Манастир Поганово смештен је на левој обали реке Јерме у близини села Поганово. Стари назив места, па и самог манастира је био Доброшево, а за време Турака је преиначен у Поганово. Од тада је неколико пута мењао име из једног у други облик.
Према легенди, мештани села Поганова су радили у манастиру, садили виноград. И да би се некако осветили што су морали да раде тај дан, а био је празник, они су садили контра - корен је био изнад земље, а испод земље садница. И кад су видели људи, рекли су - то су погани људи. И тако је настао данашњи назив места и манастира.