Невдовзі після окупації острова Гонконг у 1841 році британські колоністи підняли там прапор Сполученого Королівства - Юніон Джек. У 1843 році було створено колоніальний уряд, а зображення герба згодом з'явилося на прапорі, прийнятому в 1876 році. З 1871 по 1876 роки використовувався синій прапор з королівською короною та написом “H.K.”.

Під час японської колонізації Гонконгу в 1941-1945 роках було насильно запроваджено японський спосіб життя, викорінюючи багато елементів китайської та британської культури. У цей час ідентичність Гонконгу була придушена, а всі британські та китайські прапори були заборонені. У той же час з'явилися пропагандистські плакати, що проголошували японський прапор національним прапором Гонконгу.
В період з 1876 по 1959 роки, під час правління Британської Імперії, на прапорі Гонконгу, окрім Юніон Джека на синьому фоні, зображена карта. У нижній частині мапи - північний берег острова Гонконг, на якому зображені ящики з товарами. На протилежному боці зображено гавань Вікторія з китайським вітрильником під жовтим прапором дракона та британським торговим судном під червоним прапором, а вдалині - група гір, що символізують півострів Коулун. На картині зображено двох китайських купців, які ведуть переговори з британським купцем.

Який має вигляд та що означає герб Гонконгу?
У 1959 році карта була замінена на герб Гонконгу, який використовувався до 1997 року. У нижній частині герба зображено зелений острів, оточений хвилями, з написом англійською мовою "HONG KONG". Над написом розташований головний елемент герба - щит, який умовно розділений на дві частини: верхня частина - червоного кольору із золотою короною, що символізує зв'язок Королівського флоту і торгового флоту з Гонконгом, а нижня частина - білого кольору, з хвилями і двома китайськими вітрильниками (зустрічаються червоного, жовтого, сірувато-блакитного та іншого кольору), що відображає важливість морської торгівлі в перші дні існування Гонконгу. Роздільна лінія у вигляді муру між білим і червоним кольорами нагадує про битву за Гонконг у 1941 році під час оборони від японського вторгнення. Ліворуч від щита зображений лев у короні, а праворуч - дракон. Лев представляє Великобританію, а дракон символізує китайську культуру Гонконгу. Разом вони означають, що Гонконг - це місце, де Схід зустрічається із Заходом. Над щитом зображений лев у короні, який тримає в обох лапах перлину, що уособлює Гонконг як "Перлину Сходу".

З 1960 по 1999 рік використовувався прапор міської ради з фіолетовим тлом і візерунком баухінії. Співвідношення горизонтальної та вертикальної сторін прапора міської ради Гонконгу становить 1:2, а біла баухінія символізує святість, честь і любов, а також означає, що Гонконг, Китай і Тихоокеанський регіон живуть разом у мирі та дружбі. А щільно і впорядковано складені пелюстки символізують єдність і взаємодопомогу жителів Гонконгу.
У 1987-1988 роках уряд Гонконгу провів конкурс на вибір прапора для постколоніального Гонконгу. Було подано багато проектів, але багато з них були відхилені. Уряд Китайської Народної Республіки попросив Тао Хе та двох інших членів журі подати новий проект. Тао Хе запропонував включити в дизайн прапора мотив баухінії, згадавши про її симетрію і динамічність. Цей дизайн був затверджений 4 квітня 1990 року, а вперше прапор підняли 1 липня 1997 року в час передачі суверенітету, разом з п'ятизірковим червоним прапором Китайської Народної Республіки.