Втрата обох отчизн Київа і Вільна спонукала нащадків Володимира Ольгердовича до активної боротьби. Йдеться про так звану звмову князів 1481 р. ЇЇ організаторами були Михайло Олелькович, Федір Іванович Бельський, Іван Юрійович Гольшанський. На сьогоднішній день існує дві точки зору щодо завдань змови. Польські історики схиляються до точки зору, що метою змовників була заміна великого князя Казимира Михайлом Олельковичем. Другої точки підтримуються російські вчені, які вважають, що змовники хотіли відколоти від Литви землі по річці Березина і перейти з ними під зверхність Москви (теорія сформована на онові московських літописів). Змова готувалася тривалий час. Головним прибічником із зарубіжних володарів був Московський князь Іван ІІІ. За браком відповідних даних важко судити про наміри організаторів змови. Для цього начебто передбачалося використати весілля Федіра Бельського, на яке був запрошений Великий Князь. За іншою версією вбивство мало статися під час полювання. Лише щасливий збіг обставин нібито врятував Казимира від смерті. Неясно на скільки вірогідною є літописна версія за якою організатори змови намислили відірвати від Литви землі по річці Березина і піддатися з ними Москві (Племінниця Михайла Олельковича була одружена на синові Івана ІІІ) та жоден з оцих намірів не здійснився. Змову викрили, як гадають не без допомоги Івана Ходкевича, приближеного до вдови Семена Олельковича Марії, за що отримав у винагороду Київське воєводство. З змовників вдалося врятуватися лише Федіру Бельському, який втік вночі прямо в день свого весілля. Інших змовників було страчено, причому за однією із версій Михайло Олельковича було четвертовано в Києві (свідчення цього знахідка в родовому склепі Олельковичів четвертованого тіла). Бельському пощастило втекти, а Михайло Олелькович та Іван Гольшанський наклали головами. Родині Михайла Олельковича не довелося спокутувати його гріхи. Щодо Івана Ходкевича, то під час нападу Кримського хана Менглі-Гірея на Київ в 1482 він потрапив у полон, де і помер.
