이후 유방과 항우는 광무 지역에서 대치에 들어갔다. 유방의 군대와 항우의 군대 모두 지쳐서 전쟁의 피로를 심하게 느끼는 상황이었다. 오랜 행군에도 지치고, 보급을 위해 양식을 나르는 일에도 지쳐 있었다. 다만 유방의 군대는 소하를 통해서 관중의 보급을 받고 있었기에, 팽월에게 군량미를 강탈당하고 있는 항우의 군대에 비해 보급 상황이 나았다.
항우는 유방에게 지금 항복하지 않으면 팽성대전때 사로잡은 유방의 아버지를 삶아 죽이겠다고 권했고, 유방은 그럼 그 국물을 나도 달라며 억세게 맞섰다. 홍문연에서 장량을 살려주었던 항백이 유방의 아버지를 죽이는 것을 말렸다. 항우는 유방의 아버지를 죽이는 일을 그만두었다.
유방의 군대에 누번이라 불리는 자가 있어, 항우 군대의 장사가 나오면 화살로 쏘아 맞혀 죽였다. 누번은 항우를 쏘아 죽이려 했지만, 항우가 눈을 부릅뜨고 큰 소리로 외치자 겁이 나서 도망가고 말았다. 항우는 유방과 직접 1:1로 결투할 것을 주장했지만 유방은 받아들이지 않았다. 당연히 받아들이면 참살당할 것이 뻔했다.
1:1 대결을 거절한 유방은 항우와 직접 얼굴을 마주하게 되었다. 원래 입이 걸은 유방은 항우를 거칠게 비난했다. 유방은 항우의 죄가 열 가지라고 말했다. 유방은 관중으로 먼저 들어가는 자가 왕이 되기로 약속했는데 자신을 관중에 봉하지 않은 것, 송의를 죽인 것, 조나라 군대를 구원하고 회왕에게 보고하지 않고 관중에 간 것, 진나라 궁을 불태우고 재물을 착취한 것, 항복한 진왕을 살해한 것, 진나라 군사를 생매장한 것, 제후 왕들을 쫓아내고 제후의 장수를 왕으로 삼은 것, 의제를 쫓아낸 것, 의제를 살해한 것, 신하로서 군주를 죽이고 항복한 자를 죽이며, 약속을 어기고 신의를 저버린 것의 열 가지의 죄를 말했다.
항우는 화가 나서 숨겨둔 쇠뇌를 꺼내서 화살을 유방의 가슴에 맞혔다. 유방은 순발력을 발휘해 발을 맞은 척 해 군사의 사기가 저하되는 것을 막았다. 유방은 상처를 입었음에도 아프지 않은 척했다. 장량이 유방을 일으켜 세워서 진영을 돌아다니게 해 동요를 막았다.
유방은 쇠뇌를 맞은 가슴의 상처가 낫자, 서쪽으로 떠나서 본거지인 관중으로 갔다. 그리고 그곳에서 사람들을 위문하고, 조구와 성고성을 지켰던 새왕 사마흔의 목을 베어 저잣거리에 걸었다. 유방이 관중에서 4일간 머물고 다시 동쪽으로 돌아왔다. 그의 군대는 관중에서 오는 지원군때문에 점점 숫자가 늘어났다.