Кабайе является воспитанником Лилля, за первую команду которого он выступал в период с 2004 по 2011 года, после чего перебрался в Ньюкасл.
Успешная игра за Сорок привела к тому, что в 2014 году игрока приобрел ПСЖ, однако в Париже полузащитнику не удалось в полной мере раскрыться и уже спустя сезон он вернулся в Англию, где пополнил ряды Кристал Пэлас. В интервью BeIN Sports 31-летний футболист поразмыслили над своим будущим, не исключая при этом переход в Марсель. "Кристал Пэлас сейчас борется за выживание. На данный момент я полностью сконцентрирован на этом. Марсель? Я очень хорошо знаю Руди Гарсию (главного тренера Марселя, — прим.). Сейчас там строится заманчивый проект. В жизни может произойти всякое, но я не знаю, что случится в будущем. Я открыт для предложений", — сказал Кабайе. Действующее соглашение Кабайе с Кристал Пэлас рассчитано до лета 2018 года. В текущем сезоне он провел за свою команду 28 матчей во всех турнирах, забил 2 гола и отдал 2 ассиста.
