Алексей Васильевич Касторский происходил из священнического рода Костромской губернии, он появился на свет в 1869 году. Первоначальное образование получил в местном духовном училище, он хотел всерьёз заниматься музыкой, поэтому отправился в Петербург, где учился в Академической капелле и консерватории. Обучение в последнем учебном заведении было сопряжено с финансовыми трудностями, которые ему помог разрешить его педагог — Н. А. Римский-Корсаков.
В 80-х годах 19 века Алексей Касторский переехал в Пензу, где занимался сразу несколькими сферами деятельности: возглавлял хоровые коллективы, в том числе и в храмах, преподавал, причём и в женском училище, и в семинарии, давал концерты. Алексей Васильевич во многом был первопроходцем в этом провинциальном городе: в 1908 году создал художественный хор, который активно давал концерты, постоянно расширял свой репертуар.
Ещё одно его дореволюционное нововведение — Народная консерватория, где получили образование многие известные музыканты и певцы. В Пензе Касторский составил музыкальные учебники и пособия: «Начальное пение», «Курс изучения музыкального счёта». В его жизни всегда присутствовал храм, поэтому ничего удивительного, что он стал автором сборника «Церковные хоры», состоявшего из двух частей — «Всенощное бдение» и «Божественная литургия», также он написал немало других произведений религиозного содержания.
В 1927 году Алексей Касторский с семьёй оказался в Абхазии, где продолжил писать музыку, преподавать, самое известное сочинение того времени — «Абхазская песня». Последние годы жизни композитор провёл в Москве, был педагогом в музыкальном училище имени Октябрьской революции, умер в 1944 году.