在安特衛普運動會上與會旗壹同出現的還有奧林匹克的格言“更快，更高，更強。”這是由顧拜旦的壹位朋友、教育家、天主教明多我會的Henri Didon神甫提出的。旗為白底無邊中央有五個相互套連的圓環，即我們聽說的奧林匹克環，環的顏色從左至右為天藍、黃、黑、綠、紅(也可用單色繪制)，系顧拜旦以它們能概括會員國國旗的顏色而選定，但以後對這五種顏色又有其他解釋。1979年國際奧委會出版的《奧林匹克評論》(第四十期)強調，會旗和五環旗的含義是“象征五大洲的團結，全世界的運動員以公正、坦率的比賽和友好的精神，在奧運會上相見。
國際奧委會會旗系1913年根據顧拜旦的構思而設計制作的。1914年慶祝現代奧林匹克運動恢復20周年，在巴黎舉行的奧林匹克代表大會上首次升起。1920年安特衛普奧運會時，比利時國家奧委會繡了同樣壹面錦旗在當屆奧運會上升起，會後比利時將它贈給了國際奧委會並成為國際奧委會的正式會旗。歷屆奧運會開幕式上都有會旗交接儀式。由上屆奧運會主辦城市的代表將旗交給國際奧委會主席，主席再將旗遞交當屆主辦城市的市長，然後將旗幟保存在市府大樓四年再送交下屆主辦城市。當屆奧運會升在奧林匹克運動會主體場上空的旗幟都是壹面代用品。
冬季奧運會奧林匹克會旗，是1952年挪威奧斯陸市贈送的，交接儀式等都與夏季奧運會相同。
根據奧林匹克憲章規定“奧林匹克五環”是奧林匹克的象征，是國際奧委會的專用標誌，未經國際奧委會許可，任何團體或個人不得將其用於廣告或其他商業性活動。國際奧委會之所以向各國奧委會提出這項要求，主要是為了保護奧林匹克運動的純潔性，避免奧林匹克標誌被濫用和商品化。1986年8月，中國奧委會就此發出通告，通告中提到，國際奧委會要求各國奧委會為保護奧林匹克標誌采取必要的措施，解釋了奧林匹克標誌除“奧林匹克五環外”，還包括奧運會會標、吉祥物圖案和各國奧委會會徽。