Виявилося, що проблема саме в моделі роутера, Xiaomi Mi WiFi Router 4A R4AC. До речі, популярна модель.
З іншими роутерами все працює без проблем, наприклад, з Xiaomi WiFi Router Nano.
Тобто, ще раз суть проблеми, ВоВіфі є, але коли тобі телефонують, то дуже довго просто тиша і потім закінчення...