племена «кай, ябаку, татар, басмыл говорят на своих языках, вместе с тем, они хорошо говорят и по-тюркски»
Обратите внимание, что Кашгари сгруппировал татар вместе с кай, ябаку, басмил. Мы знаем, что и имя басмилов (как и татар) фиксировалось в качестве федератов Ляо и Цзинь. Про каев из Марвази мы знаем, что они уходили от киданей.
Т.е. языковое влияние на упомянутые племена скорее всего было именно со стороны киданей.