上下町上下
分水嶺
地形的特異点としては全国的にも数例しかない町の中に分水嶺があることが挙げられる。それより北側が江の川水系として日本海に注ぎ、南側が芦田川水系として瀬戸内海に注ぐ。広島県を地理的に大きく3分割すると、この分水嶺より北側が中国山地になる。
上下の名の由来は、上下に水が分かれることから、あるいは峠から来ている。町を訪れる外国人観光客に対してガイドが、この町の名前の意味は「アップ・ダウン」です、と説明しているという。
なおこれは元々江の川水系上下川が南へ広い範囲で流れていたところへ、芦田川水系矢多田川が侵食力によって上下川上流域を河川争奪したことで形成されたものである。
天領
関が原の戦い後、安芸・備後双方を治めた広島藩主福島正則が当地を治めた。
江戸時代、この地に通る往還は脇街道”石州街道”となり、この地はその宿駅「上下宿」として人や物資の集散地として発展した。その道は特に幕府直轄となった石見銀山（大森銀山）および大森代官所への道”石見銀山街道”として重要視された。なお銀山街道は尾道に向かう道と笠岡に向かう道の2つとされ、尾道道は1607年・1608年ごろから銀山奉行大久保長安が整備したとされている。笠岡道に古くから存在していた道を改良したものと考えられているが、銀を運搬したとする当時の資料は存在しておらず、運搬したとする伝承が残っているのみである。
正則は元和5年（1619年）改易、同年水野氏による福山藩が興ると、上下は福山藩領となるも、元禄11年（1698年）水野氏は無嗣により断絶する。このときから上下は事実上天領となる。
元禄13年（1700年）元禄検地の後、旧福山藩領15万石のうち10万石が新福山藩領、のこり5万石が天領となった。上下は天領側に残り、同年幕府は「上下代官所」を置き安那郡・神石郡・甲奴郡の71ヶ村約4万石を管轄し、残り約1万石は笠岡代官所が管轄した。
享保2年（1717年）備後天領のうち約2万石が豊前中津藩奥平氏に分けられたことで天領が2万石弱となったため、上下代官所は廃止され石見銀山大森代官所の出張陣屋に改められ神石郡・甲奴郡の22ヶ村約1万3千石を管轄した。大森代官配下の手付・手代3から4人が詰めていた。幕末になると出張陣屋は神石郡・甲奴郡の13ヶ村と備中12ヶ村を管轄している。
中山間部の金融街
江戸時代の上下の特異な点に、陣屋（代官所）が石見銀山の銀を元手として上下の有力商人に金融貸付業を営ませたことが挙げられる。金主が陣屋へ金子を差し出しこれを代官手付の責任で貸しだしたもので、そこで生まれた利潤によって銀山からの銀産出量の減少分を補っていた。事実上幕府の庇護下で行われたこの制度を「上下銀」という。当時33・4軒の両替商が軒を連ねていた。上下銀は次第に貸付範囲は広がり、天領内のほか福山藩・広島藩などの周辺にも広がっていた。返済をめぐるトラブルもたびたび起こっていたという。
また商品経済が発達したことで上下宿は物資の集散地として発達した。この近辺からは木綿・藍・煙草などが運ばれていった。石見特産の御用蜜（大蜜）も運ばれていった。銀山から銀が運ばれたとする資料は残っていないが、上下銀があったため運上銀が運ばれていた可能性が高いと考えられており、大森代官所代官就任および離任あるいは上下陣屋に詰める役人がこの街道を通り、銀山への物資も運ばれていった。こうしたことから上下は、中山間部にありながら江戸や大阪などの近世都市の貨幣流通に近い状態だったと考えられている。現在の上下町並みの基盤が形成されたのはこの時代である。
近代に入ってからも商業・金融の町として栄えた。明治15年（1882年）～33年（1900年）には先述の田辺家を中心に上下に本店をおく金融機関「共同成章社」が経営され、明治32年（1899年）に府中で備後銀行が設立されたときには、その出資には共同成章社の役員を含む上下の資産家が名を連ねている。さらに明治45年（1912年）には地元の資産家である角倉博佐を頭取とし上下に本店をおく角倉銀行が設立された。
また、教育・福祉の充実のため活動する財団法人「蟻集財団」が結成されている。そもそもは文久2年（1862年）教育・農工業振興のため立ち上げた共助組織「勧業会」が前身で、明治44年（1911年）に先述の角倉博佐ら21人の出資で財団法人が設立、出資金を株や国債で運用し土手の修復や貧困農家支援などをおこなっていた。なおその後行政支援を受けず民間運営だけで100年近く続いていたが平成バブル崩壊により活動停止し、過疎化による運営資金と後継者不足、公益法人改革の余波を受けて2013年に解散している。
町づくり
1897年（明治30年）町制施行し甲奴郡上下町が誕生すると、町の中心となった。現在残る白壁にモダンな建物が並ぶ町並みは近代に完成した。田山花袋の紀行文『備後の山中を経て三次へ』（日本一周中編）の中に、明治40年頃の上下が出てくる。
いかにも海岸からはるばる山の中に入って来たという感じのする町であった。（中略）女が幼い時を過ごしたという小学校があったりした。警察署が町の曲り角のようなところにあって、そこから商家の軒が両側につづいた。笠だの糸立だのを売っている家もあれば乾物類を店に並べている家もあった。―銀行と書いた大きな板が右に見えたと思うと、その隣の自転車の置いてある大きな店に車夫は梶棒を下した。
 — 田山花袋、日本一周
更に福塩線の登場、1935年（昭和10年）塩町から上下間が、1938年（昭和13年）府中から上下間が開通し全線開通し、人と物流が活性化したことにより近代化へと進んでいった。
戦後、上下町は目立った活動をしておらず過疎化が進行していた。これに1970年代から「天領」「銀山街道」「白壁の町」の歴史風景を活かして町づくりが始まっている。1978年（昭和53年）上下ふる里を語る会が、1987年（昭和62年）上下・町並みづくり研究会が発足、1991年（平成3年）からこれに町民・町会議員・文化財保護および教育委員と産官民による新たな上下町並み研究会が発足した。更に2004年（平成16年）市町村合併により府中市に編入されたことで、それまで郡の中心であった上下が府中市の一地域となったことによる危機感もあった。
1994年（平成6年）から白壁祭りがはじまった。こうした中で1996年（平成8年）建設省歴史街道事業指定、2004年（平成16年）夢街道ルネサンス銀山街道上下宿指定、同年美しい日本の歩きたくなるみち500選選定など、歴史的街並みに関して評価される動きも出ており、更に重要伝統的建造物群保存地区選定を目指し動いている。