Пробовал удалить установленный в Joomla шаблон, зашел в Расширения / Менеджер шаблонов / Стили и нажал удалить. Но ..
Нельзя удалять стиль шаблона, если он только один
Нажав на подменю Шаблоны - кнопку Удалить не обнаружил.. В общем, какой-то ступор..)
Но потом решение нашел поиском..
Оказывается, удалить шаблон в Joomla можно через Расширения / Менеджер расширений / Управление.
Там всего скорее всего будет очень много, но можно отфильтровать шаблоны и еще выбрать Область системы, например, Сайт.
Вот тут, оказывается, шаблон и можно удалить.