范家岗战斗之后，新四军四支队七团三营从颖家铺转移到挂车河隐蔽，准备寻机再次歼敌。这次战场选择在范家岗偏南处的棋盘岭。高敬亭派出了支队特务营配合七团三营作战。
四支队特务营原本就是红二十八军的特务营，抗战下山后，改编为四支队九团一营，新开岭事件后，九团对外保留番号，内部撤销，这个九团一营又恢复为四支队特务营。营长陈光明，营政委李世炎。
在此之前，特务营在高敬亭的直接指挥下，在舒城和桐城之间出击敌人。1938年8月25日，特务营袭击舒城县大杵街守敌三百余人，战斗极为激烈，当特务营占领敌之第三道阵地后，敌不支溃退。特务营首战日军大获全胜，毙伤日军五十一名，缴步枪七支、军毯十条、望远镜一架。
为打好棋盘岭伏击战，特务营和七团三营加强了对周边敌情的侦察。范家岗战斗后，敌人增加了戒备，桐城、高河埠驻军如旧，唯有杨西桥之敌增加到六十余人，炮增加到两门；新安渡敌人亦添至百余人。安桐公路是日军进攻武汉的重要通道，公路上每日均有几十辆到上百辆军车通过。9月2日，曾有百余辆汽车由安庆驶来，从安桐公路通过。
棋盘岭（现属桐城市范家岗镇），比范家岗偏南一些，位于桐城县城南十一公里处。范家岗战斗之后，敌人注意力是在范家岗两侧地区，他们在范家岗一带加强了巡逻。特务营和七团三营选择了敌人照顾不到的地方进行伏击。
看阵地的有七团政治部主任胡继亭、副团长顾士多、七团团部机关分总支书记、政治处特派员朱国栋、四支队特务营营长陈克明、营政委李世炎。
棋盘岭位于安庆至桐城之间，处于桐城县城南，安桐公路从岭上穿过。此地因周边地形高低起伏，岭洼如同棋盘而得名。路两边的高地高出公路十多米，远望形成一个天然要隘。安庆至桐城公路从岭下穿过。日军第六师团坂井支队的运输汽车经常出入安（庆）桐（城）公路一带，这里是敌人向中南运送物资的重要通道。棋盘岭西侧，是一片连绵的山丘，紧紧地俯瞰公路。时间已是初秋，野草丛生，小树茂密，植被随山峦起伏，是设伏的天然战场。
胡继亭发现，在设伏地段，公路西侧有七八公里路长的山坡，山坡两边有茂密的松树林和荒草，便于两个多营的部队隐蔽。参战部队当夜进入这个小山背后，凌晨三时进入伏击阵地。这个距离能从隐蔽地迅速展开，在日军还未来得及组织火力反击之前，以迅雷不及掩耳的速度冲上去和敌人绞在一起。和日本鬼子作战，可以尽量缩短冲击距离，一分钟之内就冲上去。一旦和敌人绞在一起，就抵消了日军的火力优势。
棋盘岭对日作战，注定要成为四支队对日作战经典战斗。四支队的干部战士，不仅个人勇敢，不怕死，冲锋在前，也善于观察战场形势，动脑筋想办法把仗打好。棋盘岭战斗，其侦察和部署就像是一次周密的军事演习。
日军最基本的作战单位是班，每班十三人，包括班长、四名机枪射手和八名步枪兵。每班有一挺轻机枪，编制四人（指挥官、射手、两名携弹药的副射手），这四人是配备自卫手枪的，在战斗中有时也携带步枪（机枪射手除外）；其余八名步枪兵，每人一支单发步枪。特别加强的部队中，加强班会多配置一个两人携带五十毫米掷弹筒。班以上是小队。日军的一个小队有前述编制的三个班和一个装备三个掷弹筒的掷弹筒班，共五十四人。小队以上是中队。日军一个标准的一百八十人的步兵中队包括：一个十九人的中队部（中队长，执行官，三个军士，四个卫生员，军官的勤务兵，司号员，八个通信员），三个前述五十四人的小队。可见日军中队以下并无什么重火器。日军大量装备五十毫米口径八九式掷弹筒，一个中队有九具，具备一定近战火力优势。小规模作战日军主要靠掷弹筒杀伤我军的轻重机枪阵地、指挥所和躲在工事后面的人员。日军连迫击炮都不要，对掷弹筒十分依赖，如果失去掷弹筒，日军连怎么作战都不知道了。
日军火力输出是以机枪、掷弹筒为核心，步枪是为了保护机枪和掷弹筒而存在的。一个小队是一个典型的火力输出单元。日军的三八式步枪，可以穿过两个人，打死第三人。士兵普遍精通柔道和格斗，行进中射击，三百米内枪响人倒。
针对日军的火力配备和技战术，特务营和三营抽调四个连、两个便衣班，统归胡继亭指挥。四个连每连配备轻机枪两挺；便衣班为前卫伏击部队，每人携带手榴弹三颗，每人配备驳壳枪及马步枪，由指定的班长指挥，任务是伏击敌人消灭其有生力量，并毁灭其交通工具——汽车，以造成敌人的恐慌。
聪明的胡继亭已总结出伏击汽车的经验。他从路边开始部署严密而有组织的火网，使机关枪、手榴弹能有组织有秩序地绵延发射。范家岗战斗他看到有的战士不会打汽车，乱开枪乱丢手榴弹，现在要有组织有计划地打。先用机枪、快枪打汽车头、打驾驶员，同时要打汽车油箱。
“使用手榴弹，很重要。狗日的日本鬼子有掷弹筒，打得准，炮弹都在我们头顶上爆炸，没有死角，对我杀伤力强。其实，掷弹筒就是手榴弹发射器，这么说咱们也有掷弹筒，胳膊就是我们的投掷器，用臂力投同样准，我们有的是力气，五十米远不在话下，和掷弹筒射程相当。小日本枪法很准，咱们先用手榴弹杀伤他。”
在四支队的装备中，重机枪少，轻机枪相对较多，炮几乎没有。但是对日小规模作战中，大家发觉手榴弹是最具威力的火器。手榴弹在短促突击中杀伤力特别巨大，形成了和日军掷弹筒对等的火力，弥补了四支队没有炮的劣势。如果把三颗手榴弹，用麻绳或绑腿布捆成一束扔出去，效果更好！
胡继亭自己照葫芦画瓢地学了一句战场喊话用的日语：“洼里洼里洼，森搔尼塞凯斯路！”还要大家大声地念。
特务营营政委李世炎说：“在战场上喊话，没有什么难的。当年咱们红二十八军化装作战，东北话、贵州话、河南话、河北话、山东话，不都是一学就会吗？”
9月2日下半夜，参战部队的战士们把枪擦得铮亮，从挂车河出发，拂晓前进入棋盘岭伏击阵地，揭开了手榴弹盖，望眼欲穿地瞅着前面的公路。根据侦察，明早这张网不会白撒。
胡继亭的兵力部署是：对伏击地域两端的范家岗和新安渡各派出一个排担任警戒，各配轻机枪一挺，由两个营副指挥，两头警戒距离十华里。两个便衣班挨着公路埋伏，与警戒部队相距约三华里，两个便衣班间隔两里路。便衣班后面配备两个排，两个排的左右翼各配置一个连，另外两个排在后面高地占领阵地为预备队，担任掩护。可以说，这是为敌人准备了一个立体的、有纵深的、全方位的火力网。瞭望哨由各警戒部队派出。当时还规定：敌汽车百辆以上不打，百辆以下才打！记号规定：摇动突出树枝表示几十辆可以打，敌车百辆以上不摇树，用徒步报告，令便衣班退回来。
棋盘岭战斗的作战规模，比范家岗扩大了十倍。
胡继亭像在范家岗一样，抽调军事素质较高的干部战士，组成两个便衣班作为前沿部队，把好枪、手榴弹和子弹都集中给他们，使之在短时间内发挥出最大的火力效果。事实证明，在不同的地形条件或不同的攻守态势下，不同的火力构成所体现出的实力是有极大差别的。虽然当时我军指挥员还不知道特种作战的概念，红二十八军时的手枪团，现在打日本时组织的便衣班，这种作战已具备了特种部队特种作战的特点了。战争的理论是相通的。
胡继亭宣布了进入阵地后的规定：不准抽烟，不准在战场周围做饭，不准随意走动，任何人不准暴露目标，没有命令不准开火。在我设伏地域，任何友军、零散人员及农夫、商贩，不论男女都暂时集中起来，待战后放行，严防走漏消息。
时值天亮，路上行人渐多。他们大都是当地群众，有的赶集上店，有的卖柴卖菜。为防走漏风声，警戒人员便将行人集中，实行封锁。政工人员则向路过群众宣传解释，并向他们探听敌情动态。群众听说要打日本鬼子，也都乐意听从指挥，并主动提供敌人的情况与动态。
3日上午九点左右，太阳刚刚升起，棋盘岭巍然可见。前面小山上的瞭望哨打出树枝暗号。观察新安渡方向的侦察员发现敌人由新安渡出动运输卡车八十余辆，从安庆方向开了过来，沿安桐公路北上，像赛车似的追赶着，一辆接着一辆，拼命朝前开。多半是空车，仅有军用品一部分，并运载步兵两百余名。整个公路上霎时烟雾腾腾，滚滚的尘土，掀起了一人多高，老远处都可以看得到。瞭望人员及时举起树枝向潜伏部队发出信号，也就是说可以开战。
几分钟后，敌人前面开来三辆运输车。第一辆车上有十多个日本兵，第二辆车上有二十多个，第三辆车有五六个，共计四十余个日本兵，均头戴钢盔，荷枪实弹地站在车厢两边。他们似乎也有点担心，加大油门，企图快速冲出这块危险之地。
当敌人前面两辆汽车来到棋盘岭隘口时，胡继亭一声枪响，埋伏的便衣班战士连续快掷的手榴弹如同一群乌鸦一样飞过去。霎时，手榴弹在日寇军车上面爆炸，立即将前面两辆军车炸毁，第三辆车接着被集束手榴弹炸翻。日本兵一枪未放当即被炸毙六名。四名敌军被炸下车受伤被俘获。战争初期，日军个个是亡命之徒，极少有被俘的，一切都显得有些疯狂。红军过去瓦解国民党军队的一切有效做法，对日军一般无大作用。这些俘虏兵在路上又踢又挣扎，横撕乱咬，拒绝战士们将他们往担架上抬，打担架员，企图逃脱，被气愤不过的士兵开枪击毙。
其他敌人一边往后面车队撤退，一边占领阵地抵抗。
这时，后面敌人的七八十辆军车全部进入了伏击圈，相继停在公路上，有两公里路长。四支队特务营和七团三营憋了很久的战士们把隐蔽物一掀，勇猛地冲向公路上的车队，机枪、步枪、手榴弹一齐发射，把拥塞在公路上的日军车队打得人仰马翻。巨大的冲杀声震撼山谷，一排排雪亮的刺刀出现在敌人面前。骄横的日军万万没有料到，四支队竟然敢在白天袭击日军的车队，车上二百多名押车的日本兵，嗷嗷叫着纷纷跳车作战，和冲上来的七团三营及特务营的战士进行拼刺，就在跳车的瞬间，被战士用枪打死、刺刀刺死十几个。