清雍正五年(1727)，清政府和俄國政府決定將庫倫(烏蘭巴托)附近的恰克圖作為本國商人的交易點。此後，恰克圖的貿易日益繁榮。自嘉慶、道光(1796—1850)以來，中國從恰克圖出口到俄國的商品主要是茶葉，其業務被晉商壟斷。據統計，道光十七至十九年(1837—1839)，中國每年從恰克圖向俄羅斯出口8071880俄磅茶葉，價值800萬盧布。第二次鴉片戰爭後，俄國以“立功調停”的方式脅迫清政府簽訂不平等的《中俄天津條約》和《中俄北京條約》。俄國政府不費壹兵壹卒打開了入侵中蒙的通道，獲得了沿海七個港口(上海、寧波、福州、廈門、廣州、臺灣省、瓊州)的通商權。同治元年(1862)，俄國政府還根據《中俄陸路貿易憲章》獲得了稅率比其他國家低三分之壹的天津貿易特權。從此，俄羅斯商人有幸深入中國搶產品，推銷自己的產品。同治五年(1866)，俄國政府強迫清政府取消天津海關的復進口稅，即免除茶葉的半稅，大大降低了俄國商人的販運成本。
據天津海關記載，鹹豐十壹年(1861)以前，晉商壟斷了湖北、湖南的茶葉販運，他們通過陸路將兩湖的茶葉運到恰克圖，銷往俄羅斯。但從同治元年(1862)開始，俄羅斯商人在上述地區建立茶倉，收購和販運茶葉。由於俄商享有茶葉免征半稅的特權，而且是水陸聯運，所以俄商的販運路線是從漢口沿江運到上海，再沿海運到天津，再經恰克圖由陸路運往歐洲，大大節省了成本。所以俄國商人的茶葉生意壹飛沖天，從同治四年的1，647888斤(1，865)。但由於清政府的限制，山西商人無法享受水運的便利，還要繳納數倍於俄國商人的厘金稅。比如從湖北漢口到張家口賣茶葉，需要63個厘金子卡，繳納的稅款比俄羅斯商人多10倍，所以恰克圖山西商人對俄貿易日漸式微。
同治七年(1868)，恰克圖的金幫從120個下降到4個。晉商決定“以其人之道還治其人之身”，提出了“通過恰克圖在俄國做生意”的方略，即“俄國來中國攫取我商業利益，中國商人去俄國另謀出路。”(見瞿紹渺和龐的《陜西對外貿易記錄》)
正當其時，沙俄給清政府發來消息，聲稱恰克圖貿易衰落，要求將張家口辟為商埠，並在那裏設立領事館。張家口毗鄰京都，清政府擔心被俄國辟為商埠和領事後危及京都的安全和蒙古的統治，所以同意讓山西商人北上俄國經商，以阻止俄國人把張家口辟為商埠，設立領事南下。清政府還對北上的晉商減少了錢數，取消了浮動稅，以示同情。借助這壹便利，晉商下大力氣向俄羅斯內地發展。他們先後在俄羅斯的莫斯科、多姆斯克、赤塔、克拉斯諾亞爾斯克、新西伯利亞等城市設立商務辦事處，與俄羅斯商人展開激烈競爭。晉商進軍俄國內地的第壹年(同治八年，1869)，即向俄國出口茶葉110000噸，俄國商人直接銷售茶葉110000噸。第壹輪交手，晉商與俄商打成平手。到了第三年(同治十年，1871)，晉商每年向俄國出口茶葉20萬噸，是俄國商人直接賣茶的兩倍。山西商人通過陸路與俄羅斯進行貿易，使用運費較高的駱駝、黃牛和馬車作為運輸工具，而俄羅斯商人憑借特權，通過陸路和水路運輸運費較低的茶葉。晉商與俄商的競爭條件非常明顯，但晉商在對俄貿易中仍能占上風。如果不是清政府的腐敗，晉商在對俄貿易中不壹定會失敗。
同治十壹年(1873)，晉商為了節省運費，計劃將湖北茶葉通過水路運到天津，再通過陸路銷往俄國，但清政府幹涉了這壹計劃，仍然對通過水路銷售茶葉的晉商征收厘金稅。在世界範圍內，本國商人在本國販運自己的貨物，怎麽可能享受不到與外國商人同等的待遇，反而要額外繳稅？但是，在清政府的統治下，中國這樣做了。清朝統治者倒行逆施，打壓華商的行為，使得晉商從壹開始就在與俄國商人的茶商戰中處於非常不利的地位。此外，俄國商人先後在漢口、九江、福州等地開辦磚茶廠，用蒸汽機代替手壓。生產的磚茶成本低、質量高、產量大，而晉商仍然依靠手工作坊制作磚茶，他們的產品顯然無法與機器產品相比。山西商人在磚條生產上被俄國商人排擠。接著，中日韓談判開始，清政府推行“誘俄制日”政策，使得俄國商人在中國越來越猖狂，並相繼控制了中國部分產茶區。在這種情況下，俄羅斯商人直接販運的中國茶葉數量猛增，達到每年60萬至70萬噸，而晉商則下降到每年只有幾萬噸。
光緒三十壹年(1905)，俄國西伯利亞鐵路全線通車，俄國商人經海參崴改用鐵路運輸，不僅成本低，而且極為方便。晉商很難與俄羅斯進行大規模的茶葉貿易。為了打開市場，晉商還賒銷茶葉給俄羅斯中小商人，等他們賣完了再把茶錢退回。沒想到卻惹來了麻煩:部分俄商故意拖欠債務，部分中小俄商被國內大茶商排擠或自身經營不善，還款無望。晉商累壞了，損失了62萬兩白銀。為了挽回損失，晉商上書清政府與俄國當局交涉，要求追回俄國商人所欠的白銀，但清政府怕洋務，諂媚洋務，幹脆不接受晉商的上書。宣彤元年(1909)，俄國政府突然違反兩國茶葉協定，對在華華商課以重稅，排擠在俄經商的俄國商人。晉商遭受種種打擊，最終在對俄茶商戰中失敗。
二是政府腐敗，晉商投資礦業損失慘重。
19年底，外國資本主義開始掠奪山西煤炭資源。光緒二十三年(1897)，英國傅公司通過在華買辦劉鄂、方小傑成立金豐公司，在山西蔚縣、平定、澤州、六安等地開采煤礦。後來由於北京有晉族官員的反對，清政府撤回了劉鶚等人，轉而與英國商人談判。不久，山西商務局與付公司簽約，付公司取得山西平定等地鐵礦床開采權。光緒三十壹年(1905)，鐵路接陽泉，傅公司派人到平定湛山開礦，取締民窯，強占礦址，激起山西人民和留學生的極大憤慨，爆發了爭礦權運動。在這場鬥爭中，晉商積極參與並舉行罷工。
光緒三十二年(1906)，山西省陽高縣留日學生李培仁在日本東京跳海。李的敢下海和數萬封慷慨激昂的“絕命信”，進壹步激勵了山西人民爭取礦權的鬥爭。傅穎公司覺得強行開采山西煤礦已經行不通了，於是改為金錢勒索。起初交出采礦權的條件是索要11萬兩白銀贖礦，被山西代表嚴詞拒絕。最後以向礦上勒索275萬兩白銀為條件，同意交出采礦權，退出山西。雙方約定贖銀分四次付清，第壹次先付壹半贖銀。因為贖銀量少，國庫裏又沒有余錢，為了不失信於外人，保護山西省的聲譽，山西當局就用捐畝作抵押，由山西祁縣的銀行替山西所有的銀行籌集這筆錢。傅穎公司聽說山西票號要出錢贖回礦銀，便暗中委托有往來的銀行到外面收錢，以誘捕山西票號。而山西的票號卻壹臉平靜，十天之內籌得654.38+0.5萬兩白銀，令外商大感意外，晉商在金融界的活躍也可見壹斑。正如近鄰燕所說:“如果沒有當日票商的幫助，今天的礦區恐怕還在福公司手裏，英商勢力早已在山西橫行。”
為確保權利，晉商瞿於光緒三十三年(1907)與劉茂商、馮濟川等士紳、學者成立礦業有限公司，以瞿為總經理，開采省內煤鐵礦。金寶公司約定收取800萬兩白銀股份，實際收取1.93萬兩。如前所述，原來屈的銀行向山西各銀行籌得的白銀贖款，是以山西畝捐作抵押的，但山西當局以1911截留了山西畝捐。為了歸還從各家銀行借入的贖銀，屈不得不將公司吸收的股本銀轉移到各家銀行。這樣，公司從成立之日起就因資金嚴重不足而無法維持正常生產，曲被迫辭去總經理職務。然而，直到1916，山西當局欠金寶公司的錢才以現金60萬元償還。對於剩余的欠款，山西省政府給了金寶公司壹張“見義勇為”證書，並將其壹筆勾銷。晉商積極參與山西民眾的礦權鬥爭，竭力贖回礦權，投資山西近代最早、規模最大的礦業公司。但由於當時山西當局的壓迫，無法在資金上有所作為。
第三，墨守成規，晉商失去了四次機會，但終究打不起精神。
清末，晉商經營的山西銀行日漸衰落。但山西也有不少有識之士，認清了新形勢，主張改革求生存。不幸的是，由於壹些金融家和總經理的固執和無情，他們四次失去了發展的機會。比如光緒二十九年(1903)，北洋大臣袁世凱邀請山西銀行加入天津官銀，山西銀行拒絕受命。光緒三十年(1904)，陸被任命為戶部尚書，受命組建清朝戶部銀行。魯還邀請山西銀行入股，並邀人籌辦銀行。山西銀行北京分行的大多數經理都贊成陸的提議，他們都躍躍欲試。但是山西銀行是獨裁的，重大事件必須由總經理決定。
銀行總經理太墨守成規，只享受現成的快樂，沒有遠見。他甚至給銀行北京分行經理回信，不讓他進股市，也不讓他派人參與組建，導致錯失良機。後來銀行是江浙絲商組織的，江浙財團後來居上。不久，戶部銀行改組為大慶銀行，邀請山西銀行參與共同發起，但山西銀行沒有打來電話。導致山西票號始終無法參與國民銀行，失去了第壹次改組銀行的機會。
光緒三十四年(1908)，山西衛福侯銀行北京分行經理李宏玲意識到，山西銀行如果不順應潮流，盡快改革，將在商界和金融界消失，因此改組銀行是大勢所趨。為此，他和屈策劃了銀行整頓的方案，同時在京都聯合山西祁縣、太谷、平遙三家銀行集團致函總號，請屈到總號當面陳述銀行整頓方案。當時魏福侯、魏太侯、天成亨、新泰侯、魏聖昌的銀行是五聯號，蔡東也是介休侯的姓氏。在這五個聯名號中，衛太後總經理毛宏偉最權威。石矛墨守成規，投票反對銀行的重組。相反，他誣告另有企圖，使李等人無法采取任何行動。宣彤元年(1909)，京都的山西票號再次通過各港口的山西票號提出了改組銀行的建議，漢口、蘭州、濟南等地的山西票號致函總號，要求將票號改組為銀行。無奈，總經理依然不為所動，全國各地的要求被擱置，銀行的銀行重組計劃再次失敗。晉商第二次失去了重組銀行的機會。
辛亥革命發生時，山西各部門措手不及，放出的資金無法收回，但存款接踵而至，山西銀行虧損嚴重，於是重整銀行的提議再起。此時，壹向反對銀行改制的濰後銀行總經理毛已覺醒並支持銀行改革。1914年，山西齊、泰、平三家銀行聯合向北京當局申請申辦該行。當時的熊希齡總理知道山西銀行與壹般商業關系很大，對晉商的請求給予支持，並同意政府出面擔保。山西銀行按照“商貸商還”的辦法，向澳商華利銀行借款200萬英鎊，期限50年，利息6%。可惜熊內閣沒過幾天就垮臺了，歐戰又爆發了，貸款成了泡影，山西銀行失去了第三次改組銀行的機會。
對外借款失敗，齊、泰、平幫聯合重組銀行的計劃無法實施，於是平遙幫決定單幹。威泰侯總經理毛宏偉、威豐侯總經理嚴、信泰侯總經理、威盛昌總經理霍義廷、天誠恒總經理範子勝，計劃從各自銀行中劃出壹部分資金作為基金，組織壹家大銀行。但這壹計劃始終未能實現，山西票號銀行重組計劃終於第四次失敗。
光緒三十年(1904)，山西銀行掙紮了十幾年，四次錯失重組良機，最終未能挽回頹勢。