Тут було розташовано стародавнє поселення, можливо, навіть давніше за Старокиївську гору. За припущеннями М.Брайчевського та інших дослідників, саме Замкова гора могла називатися Хоревицею. У києворуські часи на ній були кам’яні споруди князівської знаті й церква. Археологи під час розкопок знаходили у метровому культурному шарі гори шматків скляного намиста і браслетів, уламки бронзових прикрас, кістяні пряльця, які збереглися ще з Х – ХІ ст.

У ХV ст., за князювання у Києві литовського роду Олельковичів, Замкова гора була політико-адміністративним центром «мало київської держави». За Володимира Олельковича (чи Ольгердовича) тут, очевидно, розташувався навіть монетний двір, де карбували монети, на яких зображували Золоті Ворота.

З утратою незалежності замість удільного князя замок зайняв литовський намісник. Першого залежного від верховної литовської влади воєводу Мартіна Гаштольда кияни довго не пускали до замку. Після 1569 року в ньому вже урядували польські воєводи. Серед них був і багаторічний київський воєвода Костянтин Острозький – «некоронований король» України, найбагатша на той час людина й визначений та громадський діяч другої половини XVI ст.

Замок литовських князів на Замковій горі простояв 300 років. Його будівничим вважають київського майстра Івана Слушку (Служку).  Замок утворювали 133 ділянки - дерев’яні городні, які зводили окремі волості київської округи. Були в ньому 15 шестикутних триярусних веж із бійницями, у тому числі дві в’їзні вежі з двома брамами у північній і південній частинах замку. Одна брама називалася  Воєводською, шлях від неї вів у бік Щекавиці до Латинського кафедрального костелу на нинішній Житній площі. Місце цих воріт і дорогу можна відчути на сучасному рельєфі гори, якщо піднятися на Замкову гору пологою стежкою із Хрестовоздвиженського провулка.

Другі ворота містилися в районі гори Уздихальниці, де нині стоїть замок Ричарда Левове Серце. Друга назва цієї гори – Клинець – походить від її форми. Колись через цей перешийок Замкова гора сполучалась зі Старокиївською горою.

У середині фортечних мурів тулилися одна біля однієї  велика кількість різноманітних будівель із дерева: будинок  воєводи і ротмістра, казарми для нижніх чинів  фортечної залоги. Крім того, в замку був костел, який слугував домовою церквою для воєводи, якщо він належав до католицького обряду,і аж три православні церкви. Одна з яких мала назву Св.Миколи, друга – на честь свята Покрови Пресвятої Богородиці. Церкви до середини XVII ст. тримали під постійним контролем київський митрополит та ігумени найбільших монастирів, що зосередився у Старому місті.

Нинішній Андріївський узвіз у ті часи виконував функції природного рову, над яким було перекинуто ланцюговий міст. Невеликий майданчик на схилі гори, на який нині ведуть металеві сходи з Андріївського узвозу, використовувалися як місце для страт. У замку було близько ста гармат, вириті льохи – «шпихліри» для пороху та шопи для ядер і набоїв. На одній з башт замку був влаштований механічний годинник – дзиґар, за яким стежив спеціальний майстер.

Саму гору від XVII ст. на честь останнього польського воєводи Києва магната Адама Кисіля стали називати Киселівкою.

Пізніше землі від середини Замкової гори до її північної межі почали використовувати як кладовище Фролівського монастиря (звідси і третя назва гори – Фролівська, хоча в народній пам’яті вона залишилась передусім як Киселівка), але ховали тут не лише ченців, а й звичайних киян, чиє життя було пов’язане з Подолом. Тут поховані три видатних київські історики: професори Духовної академії Степан Голубєв і Микола Петров, професор, ректорр Університету св.. Володимира Микола Іванішев.

Коли руйнували кладовище для привілейованих киян на Аскольдовій могилі, на Замковій горі таємно перепоховали останки героїв Крутів, убитих більшовиками, а в 1990-х роках поховання знову повернули на Аскольдову могилу.