По поводу математики — Лакан использовал математические элементы в качестве метафоры, иллюстрации аналитических концептов. Заимствование терминов из разных областей носит тот же дидактический характер.
Когда кто-то хочет что-то (особенно непростое) объяснить, он использует все доступные ему языковые средства, но недальновидно думать, что , скажем, аналогия призвана объяснить саму себя, это всего лишь способ дать понять о чем идёт речь.
Насчёт научности — психоанализ не наука (вопреки желанию Фрейда сделать его наукой и здесь упрёк в ортодоксальности легким жестом снимается) и не претендует и уж тем более не стремится ею стать (хотя формализация (в виде тех же формул сексуации и топологии) пошла ему на пользу