1981年，中国科学院举行第四次学部委员大会。会议期间，为了改革我国科研管理体制中存在的弊端，借鉴国外成功经验，加强科学研究，发现和培养优秀人才，解决基础性研究经费不足，人才断层，促进出成果、出人才等问题，中国科学院学部委员(1993年10月改称中国科学院院士，以下简称“学部委员”)就设立中国科学院科学基金（简称“科学基金”）问题纷纷提出建议。他们认为，建立科学基金意义重大，可以择优、择重、择需支持，充分调动全国五个方面科技大军（指中国科学院系统、教育部所属高等院校、国家各部委所属高校和研究所、国防科技系统、各地方高等学校及研究所）研究力量的积极性，使各方面的科技力量互相协作，避免低水平重复。
1981年5月15日，数理学部的张文裕、谢希德等48位学部委员联名致信党中央和国务院，建议设立“中国科学院科学基金”。同日，生物科学部的曹天钦、谈家桢等41位学部委员也联名致函中央，提出设立科学基金的建议。与此同时，化学部、地学部和技术科学部的学部委员也纷纷提出相关建议。设立科学基金，成为当时科学家们的心之所向。
中国科学院科学基金委员会设立
中央领导同志对设立科学基金的建议给予了充分肯定和支持。5月18日，时任中共中央总书记胡耀邦在建议信上批示“请国务院领导同志考虑”，国务院研究后明确表示“同意，从明年开始，每年数字，由计委、财政部研究”。5月21日，胡耀邦同志批“请小平同志阅后转科学院”，邓小平同志见到建议信后随即圈阅同意。
中国科学院学部委员提出设立科学基金的建议，反映了在发达国家科学发展趋势的影响下，我国科技工作者致力于国家科技发展、改革传统科研管理体制的热切愿望。以邓小平同志为核心的党的第二代中央领导集体对这一建议的支持，体现了党和国家对科学事业发展的高度重视，也体现出对科技工作者的尊重和关心。中央决定对我国基础性研究管理体制进行改革，为在科研管理工作中依靠和充分发挥科学家群体智慧，引入“创新、竞争、择需、择优”机制，优化科学资源配置，提供稳定可靠的经费保障。
1981年11月14日，中国科学院学部主席团第二次会议在京召开，会议决定设立中国科学院科学基金委员会，并任命卢嘉锡为主任，严东生、谢希德为副主任。11月27日，中国科学院院长办公会议讨论并通过，由各学部推荐的来自科研、教育、农业、工业、医药卫生、地质、国防等部门在科研第一线的20位著名科学家担任中国科学院科学基金委员会委员。科学基金委员会委员每届任期四年，均学术造诣深厚，在科技界享有很高的学术威望。从科学基金委员会的性质及宗旨，以及其委员组成可以看出，这是科技管理体制改革的产物，具有学术评审和管理科学基金的职能，依靠这样一个独立于行政管理部门的科学家群体来确定学科发展方向和具体研究项目，以及科学基金的资助方向和安排使用，有利于发挥科学家群体的智慧，是遵照科学发展的规律管理科学基金。
中国科学院科学基金启动实施
为了使科学基金管理工作一开始就能有章可循，必须首先建立管理科学基金的规章制度。1981年7月，中国科学院政策研究室依据设立科学基金的初始思路和基本构想，遵照党中央的批示精神，借鉴世界发达国家通过设立科学基金资助基础性研究取得成功经验和有关资料，提出了我国第一个科学基金管理办法——《中国科学院科学基金试行条例》（简称《条例》）。
科学基金的创立和试行，为我国基础性研究开辟了稳定的经费渠道，实施“创新、竞争、择优、公正”的运行机制，建立严格、公正的评审制度，以专家评审取代行政审批，以按科研项目审定改革按部门、按地区、按单位、按人头切块分配科研经费的传统管理办法，充分发挥科技专家在指导科研方向，遴选研究项目，审定研究方案、经费开支，成果评议等方面的主导作用，在工作中形成一整套基本适合我国国情的科学基金申请、评审、拨款、成果验收、财务管理等的办法，其基本做法为：
宏观指导，自由申请。科学基金委员会遵照国家的科技发展方针和经济建设需要，结合基础性研究工作的特点，先后制定发布《条例》和《中国科学院科学基金试行条例实施办法》、相关择优条件、重点支持原则，以及有关学科领域的选题指南，用以指导申请。科技工作者根据科学基金的资助方向和范围，从本身的研究工作积累和所在单位的科研工作条件出发，选择最能发挥优势、潜能和竞争力的创新科研项目，由申请者优选科研人员自愿组成科研项目组，制定研究方案并递交科学基金申请书。
同行评议，择优支持。科学基金委员会办公室收到申请书后，经过初审筛选交由学部科学基金组，将申请书送请不同单位的同行专家进行评议。同行评议的方式有通讯评议和会议评议两种。在同行评议的基础上，再由学部科学基金组会议对申请项目逐项进行评审，批准单项资助10万元及以下的项目；对单项资助10万元以上的项目提出建议，由科学基金委员会办公室和学部科学基金组的工作人员进行调研和现场考察并提出意见，连同该项目的申请书交由每一位科学基金委员会委员审阅，再经有关学部科学基金组负责人在科学基金委员会全体委员会议上汇报、答辩，最后由全体委员投票表决审定。科学基金委员会全体委员会议亦可对各学部科学基金组批准资助的10万元以下项目进行查询或复审，评审资助项目的依据是择优原则和经费可能，对中青年和边远地区科技工作者的申请及大协作研究项目给予积极支持。整个评审过程充分发扬学术民主，实行保密制和回避制，评审专家不能参与所在单位及与之有利害关系申请项目的评审，无关人员不得参与评审会，完全依靠专家独立决断，中国科学院行政上和国家科技主管部门亦从未进行过干预。
按项目拨款，专款专用。在审定资助项目的同时，对资助年限内所需研究经费一次核定，并根据研究工作进度分期滚动拨到申请者所在单位，由申请者在科学基金财务规定的范围内支配使用，任何人无权挪用。这种做法既便于科研人员主动安排研究工作，解除研究经费方面的后顾之忧，也便于科学基金委员会在资助项目无法继续进行或发生违反财务规定时，及时采取措施或中止资助。
定期检查，报告成果。科学基金受资助者和所在单位,应对受资助项目的进展情况、存在问题等进行定期年终检查，写出本项目和单位全部受资助项目进展情况和下一年度工作安排的综合报告送至科学基金委员会。科学基金委员会办公室派员定期巡回检查或就地组织专家进行检查其项目进展和财务开支情况。研究工作结束后，项目组需提交全面总结和有关论著，资助项目获得的研究成果由所在单位组织评议鉴定，或报请上级主管部门主持评议鉴定并向科学基金委员会报告。资助项目取得重大成果随时向科学基金委员会报告，发表论文或研究成果必须标注“中国科学院科学基金赞助”字样，科学基金委员会办公室工作人员要认真审视每一份报告，通过简报、函电等形式，及时进行反馈和指导。