Жена му Люба Ивошевич много е държала да бъде сексуално удовлетворена, по думите на Рудолф. „Много жени в днешно време не стигат до ор*азъм и си траят“, отбеляза тя. Докато Димитров не се свенил да оглежда всяка една жена, Люба умирала от ревност и отваряла всяко негово писмо. В крайна сметка тя се самоубива, той продължава живота си с друга, а преди да почине се оказва, че е болен от хроничен простатит, и то не заради възрастта си. Болестта връхлита младежи, които на младини са правели много и безразборен секс.

Докато е бил женен за Любица Ивошевич партийният вожд й е изневерявал постоянно. Тя дори го заварва в собственото си легло със съпругата на висш сръбски партиен функционер. Последните 10 години от брака си тя е предупреждавала всеки, с когото вожда се е срещал. "Пазете жена си, Димитров идва", пишела им Люба. Въпреки че собствената му вярност му е била чужда, Димитров изпадал в паника жена му да не му изневери. "Полудявам от мисълта, че може да се отдадеш на половата си неудовлетвореност в критическата възраст, в която навлизаш", пише й той от Софийския затвор.

От затвора в Германия по време на Лайпцигския процес Георги Димитров си пишел с няколко жени. Женената по това време Ани Крюгер осигурява алибито и сведетелства в полза на Димитров, за да не го обвинят. "Вие какво си мислите, Аз нито съм съм импотентен, нито педераст", обръща се той към съдията., свидетелства историчката Цветана Кьосева.Тя му  говори за брак и след това той охладнява към нея.

Със сръбкинята Кити Йованович има връзка в Москва. Тя също е писателка. Обещал да се ожени за нея и тя се хваща като удавник за сламка. Намесва се Сталин и му препоръчва Роза Флайшман и тя става втората му жена. Тя е 14 години по-млада от него.В семейството не я понасят.Единстввеното им развлечение е вечер да играят, разказва още Кьосева.

Тя споменава и за една друга любовница, Ива Рьоклер, с която Димитров приспива още във влака за Москва.