Есть такая хорошая фраза:

«Это впрос не времени, а прио-ритетов». Я вспоминаю ее всякий раз, когда слышу про «извини, нет времени». Потому что она подразумевает прямое и ясное:
«Извини, нет времени на тебя». И это глубоко нормально, ресурс сил для общения не бесконечен - приятельство питается периодами некоторого избытка душевных сил, хорошо заряженной батарейкой, когда хочется к людям, а не от людей, и поэтому вы оба готовы взаимно напрячь-ся, чтобы состыковать графики.
Конечно, если ваши отношения не подразумевают той степени близости, когда ради человека отложишь все.