gdy nie ma wszechświata, nie ma czasu, ponieważ czas (a w zasadzie nasze rozumienie czasu) jest determinowany przez to że coś się rusza (bo poruszasz się w czasie)
w momencie gdy nie ma wszechświata, nic się nie może ruszać bo nie ma nic, i w związku z tym nie ma czasu
związku z powyzszym, nie można stwierdzić momentu w którym sam wszechświat się zaczął/skończył, bo te "momenty" stanowiły o tym że od teraz można coś mierzyć i stwierdzić ze jest koniec i początek
ergo, twoja logika jest poprawna, po prostu pojęcia "koniec", "początek", "czas" nie mogą zdefiniować takiego obiektu jak wszechświat, bo to wszechświat te pojęcia wyznacza - wszechświat jest zbyt makroskopowy, pojecia zwiazane z czasem możesz zastosować tylko do obiektów które są, relatywnie do wszechświata, mikroskopowe, jak np. człowiek, cząstka, galaktyka
to troche jak z tym że element zbioru nie może być zbiorem dla samego siebie