著名军旅音乐家唐诃生前经常谈起创作《长征组歌》的经过。创作开始时，他们首先达成了一个共识，就是这个大合唱要谱成一部雅俗共赏的大合唱。当时的原话是“不要高不成低不就，穷嫌富不爱”。搞出一部可以向群众普及的大合唱，这样才能达到宣传“长征精神” 的目的。
于是，创作班子首先参考了冼星海的《黄河大合唱》及《生产大合唱》。这两部合唱，“黄河”中只有《保卫黄河》是群众歌曲，流传较广，其他歌曲均为艺术歌曲，难以在群众中普及。而《生产大合唱》则具有广泛的群众性，更接地气，特别是它把许多场景如垦荒、种地、庆祝丰收等搬上舞台，形成了一部化装表演的大合唱。《生产大合唱》的每首歌曲均可作为独立歌曲向群众普及、演唱。
所以，创作者们认为，采取《生产大合唱》这种形式较为合适。在音乐上，按每首歌词的内容和发生的地点，尽量采用当地的民歌或地方戏曲曲调，形成浓郁的地方色彩和群众喜闻乐见的风格。如第一曲《告别》，因为红军是从江西出发，所以采用了赣南采茶曲调。第七曲《到吴起镇》，自然就采用了陕西和陇东的音乐，而且非常地道。后来的事实证明这一设想是正确的。
据唐诃回忆，他们当时每天都在战友文工团副团长晨耕的办公室工作，这既是办公室，又是卧室。有时创作者们加班开夜车，疲倦了，晨耕则自备咖啡让大家敞开喝，喝完有了精神再接着干。全部声乐完成初稿后，晨耕、生茂、遇秋和唐诃四人去杭州向萧华将军汇报。晨耕等三人组成合唱队，遇秋伴奏。他们每唱一曲，萧华都很高兴。为了曲调的顺畅，唱起来顺口，他们又对歌词的个别字句作了修改，并向萧华作了说明。萧华不但同意了创作班子对歌词的修改，还对曲谱提出了一些修改建议。
在杭州确定了初稿后，创作班子返回北京，交由战友文工团进行排练。在排练过程中，著名指挥家唐江充分发挥了他合唱指挥艺术的才能，对原曲又进行了细致的加工和修饰，使全曲更趋完美。与此同时，为了在全军普及，创作班子又整理出了《长征组歌》简化本，把四部合唱改为二部合唱，发表在《解放军歌曲》上，使得这部组歌不但在全军，而且在全国都演唱起来。以后又连续发表了《长征组歌》合唱谱单行本，还整理出了管弦乐总谱。
《长征组歌》中每首曲子都能单唱，深受群众喜爱，久唱不衰。它的合唱也同样被普及，在许多单位组织的群众歌咏活动中，都能完整地把《长征组歌》唱下来。
