Возникновение монастыря предание связывает с культом св. Климента, римского епископа в 92-101 годах, сосланного императором Траяном за проповедь христианства в каменоломни близ Херсонеса и убитого здесь в 101 году. Мощи святого Климента, обретенные через год после его кончины, хранились сначала в подводном гроте близ Херсонеса (где были обретены), доступ в который открывался, по преданию, раз в год, когда — в день смерти праведника — море отступало; потом они были перенесены на небольшой остров (ныне — остров Казачий) посреди бухты, на котором, согласно легенде, руками ангелов была построена церковь. Пещерный монастырь св. Климента возник в VIII-IX веках радом с византийской крепостью (позже была перестроена генуэзцами и стала носить имя Каламита).