Tragicamente, Niemi passou por uma experiência dolorosa quando estava esperando um filho, enfrentando um aborto. O guarda-costas de Swayze, Frank Whiteley, comentou sobre como essa perda afetou profundamente o casal, dizendo que isso quebrou seus corações, pois o maior desejo de Swayze na vida era ser pai. Infelizmente, isso foi apenas o início de uma série de desafios que o casal enfrentaria em seu relacionamento.
Uma tragédia familiar ocorreu durante esse período, com o pai de Swayze falecendo em 1982 após um ataque cardíaco. A morte de seu pai deixou Swayze devastado, pois ele via o pai como a única proteção contra os abusos de sua mãe. Além disso, doze anos depois, a irmã de Swayze cometeu suicídio, levando-o a sentir uma carga de responsabilidade pela tragédia. Com tantas perdas em um curto período, incluindo o aborto, Swayze começou a sentir que estava amaldiçoado. Isso o levou a buscar consolo em lugares inadequados.