中国科学院物理研究所前身是成立于1928年的中央研究院物理研究所和成立于1929年的北平研究院物理研究所。1950年在两所合并的基础上成立了中国科学院应用物理研究所。1958年更名为物理研究所。至今，已有50余位院士先后在物理所工作过，包括吴有训、赵忠尧、严济慈、吴健雄、钱三强等著名科学家。
经过几代人不懈努力，物理所现已发展成为以物理学基础研究与应用基础研究为主的多学科、综合性研究机构。研究方向以凝聚态物理为主，包括凝聚态物理、光物理、原子分子物理、等离子体物理、软物质物理、凝聚态理论和计算物理等。
进入中科院知识创新工程后，物理所围绕凝练出的科研目标调整学科布局，经过整合和新建，拥有磁学、超导、表面物理等3个国家重点实验室和光物理、先进材料与结构分析（电镜）、纳米物理与器件（真空物理）、极端条件物理等4个院重点实验室以及凝聚态理论、软物质物理、固态量子信息与计算、微加工实验室等4个所级实验室，并成立了国际量子结构中心和量子模拟科学中心，构成了物理所的研究体系；由微加工实验室、电子学仪器部、分析测试部、图书馆、网络中心、机械加工工厂构成了全所的技术支撑体系。
长期以来，物理所始终坚持积极引进和培养杰出人才，经过多年的努力，物理所已经形成了一支结构合理、具有较强科研实力和创新能力的人才队伍。截止2006年底，物理所共有各类人员404人，其中科研人员186人（含正高职人员104名，副高职71人），技术支撑人员62人，中国科学院院士13人，中国工程院院士2人，第三世界科学院院士4人。 “百人计划”入选者累计达到38人；“海外知名学者”20人；国家杰出青年基金获得者累计达51人（其中B类20人）。物理所是国务院学位委员会批准的物理学一级学科授予单位，也是全国首批建立博士后流动站的单位之一；2006年在读研究生总数648人，其中硕士研究生236人，博士研究生412人。在站博士后25人。
近年来，物理所围绕学科布局，加大对重要科研设施及实验仪器装备的投入力度，进口或自行研制了一批达到国内一流、国际先进水平的科研实验装置，主要有金属有机化学气相淀积（MOCVD）设备、磁性金属超薄膜生长/超高真空变温SPM/原位穆斯堡尔谱仪联合系统、有机分子外延－低温扫描隧道显微镜－纳米四探针探测（NP-OMBE-LTSTM）系统、TMR R&D Sputtering System、变温扫描隧道显微镜/原子力显微镜-角分辩光电子谱-分子束外延联合系统、多功能高分辨电子能量损失谱仪、场发射透射电子显微镜、极低温强磁场双探针扫描隧道显微镜、FEI DB235聚焦离子束刻蚀与沉积系统、Raith 150 电子束曝光系统、IBM SP 690大型计算机、模块式三级拉曼光谱系统以及自行研制的超高真空低温强场双探针STM、高分辨率TEM-扫描探针SPM原位物性研究系统、激光分子束外延系统II型激光分子束外延系统、国际首台超高能量分辨率真空紫外激光角分辨光电子能谱仪和峰值功率大于350太瓦的超强飞秒激光装置——“极光III”装置等。
多年来，物理所先后与美国、英国、德国、法国、日本等十几个国家开展了合作，包括与英国皇家学会、法国国家科研中心、德国马普学会、荷兰皇家科学院、日本学术振兴会等国家级科学研究机构建立起了长期、稳固的友好合作关系，还与其它国家的数十个科研机构和大学建立了广泛的所级国际合作关系。广泛、频繁、高水平的学术交流有力地推动了物理所在学术上与国际接轨的进程。
同时，物理所在完善学术环境和营造学术氛围方面进行了不断的探索，逐步建立了一套适合自身发展需求的学术评价体系和学术交流体系。实施了“国际评价机制”和“学术交流与考核评价相结合”的方式，以促进重大原创性成果的产生。设立了“公共技术讲座”、“崔琦讲座”、“中关村凝聚态论坛”、“凝聚态物理前沿讲座”、“科学之家学术漫谈”以及“明理时空”等形式多样的学术活动，形成了一个完整的学术交流体系。
经过多年的努力，物理所取得了一系列重大科研成果。在基础研究方面，取得了以“液氮温区氧化物超导体的发现及研究”、“低纯度钕铁硼永磁材料”、“定向碳纳米管的制备和结构和物性研究”为代表的一批原创性重要研究成果，获国际、国内奖共300多项，其中第三世界科学院物理奖4项，国家自然科学奖18项，国家科技进步奖21项，国家发明奖8项。
在应用基础研究方面，1998年以来，物理所共获授权专利284项。部分专利技术如"新一代固态全色激光显示"已显现出广阔的应用前景；另有部分专利技术已经以技术入股的形式进入产业化，典型的范例有以锂离子电池专利为核心技术的苏州星恒电源有限公司。物理所现有控股、参股公司10个，其中以知识产权入股的有7个。
此外，挂靠物理所的中国物理学会主办的科技期刊《物理学报》、《Chinese Physics》、《Chinese Physics Letters》和《物理》已成为国内外有重要影响力的物理学学术期刊。
