Как правильно писать избушке или избушки

Вариант написания зависит от контекста, а точнее от того, в какой падеж нужно поставить это слово.

Слово "избушка" первого склонения, поэтому окончание -и оно будет иметь только в родительном падеже, например, "в лесу нет (чего?) избушки".

Окончание -е может быть в двух падежах: в дательном, например, "стоять лицом к (чему?) избушке", и в предложном, например, "рассказать (о чём?) об избушке".