<address id="uqqsu"><pre id="uqqsu"><span id="uqqsu"></span></pre></address>

        <track id="uqqsu"></track>
        1. 當前位置:  首頁 >> 科研進展 >> 最新報道

          最新報道

          李棟課題組與合作者開發合理化深度學習超分辨顯微成像方法

          發布時間:2022年10月08日

            近年來,以深度學習為代表的計算超分辨方法能夠在不損失其他成像性能的前提下,提升顯微圖像分辨率或信噪比,表現出巨大的應用前景。然而,針對生物醫學研究必需高保真度、可定量分析的圖像要求,目前深度學習顯微成像方法存在以下三大共性問題:

           ?。?)受限于深度學習內秉的頻譜頻移(spectral-bias)問題,輸出圖像分辨率無法達到真值(ground truth)水平;

           ?。?)受限于超分辨重建以及去噪問題的病態性(ill-posed problem)和神經網絡模型的不確定性(model-uncertainty),重建或預測結果的真實性無法得到保障;

           ?。?)深度神經網絡的訓練需要大量數據,高質量訓練數據的采集在許多應用場景下極其困難、甚至無法實現。

            由于以上瓶頸,盡管目前深度學習顯微成像方法的研究和發展如火如荼,并且表現出了超越傳統成像性能極限的巨大潛力,但上述瓶頸問題阻礙了現有深度學習超分辨或去噪方法在生物顯微成像實驗中的廣泛使用。

            2022年10月6日,中國科學院生物物理研究所李棟課題組與清華大學自動化系、清華大學腦與認知科學研究院、清華-IDG/麥戈文腦科學研究院戴瓊海課題組,聯合美國霍華德休斯醫學研究所(HHMI)Jennifer Lippincott-Schwartz博士在《Nature Biotechnology》雜志以長文(Article)形式發表題為“Rationalized deep learning super-resolution microscopy for sustained live imaging of rapid subcellular processes”的論文,提出了一套合理化深度學習(rationalized deep learning,rDL)顯微成像技術框架,將光學成像模型及物理先驗與神經網絡結構設計相融合,合理化網絡訓練、預測過程,從而實現了高性能、高保真的顯微圖像去噪與超分辨重建,并結合實驗室自主研發、搭建的多模態結構光照明顯微鏡(Multi-SIM)與高速晶格光片顯微鏡(LLSM),將傳統TIRF/GI-SIM、3D-SIM、LLS-SIM和LLSM的成像速度/時程提升30倍以上,實現了當前國際最快(684Hz)、成像時程最長(最長可達3小時、60,000時間點以上)的活體細胞成像性能,首次對高速擺動纖毛(>30Hz)中轉運蛋白(IFT)的多種運輸行為以及完整細胞分裂過程中核仁液液相分離(liquid-liquid phase separation)過程進行快速、多色、長時程、超分辨觀測?!?b>Nature Biotechnology》雜志針對這一工作同時發表了Research Briefing文章進行評述。

          圖1 合理化深度學習超分辨顯微成像神經網絡架構

            具體而言,李棟/戴瓊海研究團隊提出的合理化深度學習結構光超分辨重建架構(rDL SIM)不同于現有超分辨神經網絡模型的端到端(end-to-end)訓練模式,而是采用分步重建策略,首先利用所提出的融合成像物理模型和結構光照明先驗的神經網絡對原始SIM圖像進行去噪和高頻信息增強,然后再通過經典解析算法進行SIM重建以獲得最終的超分辨圖像。相比于該團隊去年在Nature Methods雜志上提出的超分辨重建神經網絡模型DFCAN/DFGAN【1】,rDL SIM可將超分辨重建結果的不確定性降低3~5倍,并實現更高的保真度和重建質量;相比于其他去噪算法(如CARE【2】),rDL SIM可完美恢復出調制在原始圖像中的莫爾條紋,并將高頻信息增強10倍以上。

            此外,針對晶格光片顯微鏡、共聚焦顯微鏡等寬場照明或點掃描成像模態,該研究團隊提出了一種可學習的傅立葉域噪聲抑制模塊(FNSM),該模塊可以利用OTF信息對顯微圖像中的噪聲進行自適應濾除。然后,他們以此構建了嵌入FNSM的通道注意力去噪神經網絡架構,并基于顯微成像數據本身的時空連續性,提出了時空交織采樣自監督訓練策略(TiS/SiS-rDL),無需額外采集訓練數據、亦無需保證時序數據具有時間連續性,即可實現媲美監督學習效果的去噪神經網絡的訓練,解決了實際生物成像實驗中高質量訓練數據難以獲取的難題。

          圖2 合理化深度學習超分辨顯微成像方法應用概覽

            合理化深度學習超分辨顯微成像方法能夠適用于包括2D-SIM、3D-SIM、LLSM等在內的多種顯微成像模態,提供高分辨率、高保真的顯微圖像重建性能,相較于傳統方法最多可以提升30倍的成像時程和10倍的成像速度。借助rDL成像技術,研究團隊進行了諸多過去的成像手段無法開展的超分辨活體成像實驗,并與HHMI, Lippincott-Schwartz博士,中科院分子細胞科學卓越中心朱學良研究員、中科院遺傳發育所何康敏研究員一起深入探討了其潛在的生物學意義,包括:

           ?。?)對滴落在玻片上的U2OS細胞貼壁生長過程進行了雙色、長時程(1小時以上)、超分辨(97nm分辨率)觀測,清晰、真實地記錄了細胞粘附和遷移的動力學現象,而不會干擾這一漫長、脆弱的生命過程;

           ?。?)對高速擺動纖毛以當前最快的684Hz成像速率進行了長達60,000個時間點的連續超分辨觀測,過程中無明顯光漂白或細胞活性損傷,并對纖毛擺動模式和頻率進行了統計分析;

           ?。?)對擺動纖毛及纖毛內轉運蛋白(IFT)進行了超快、超分辨雙色成像,首次揭示了IFT在行進途中碰撞、重組、掉頭等多種新行為;

           ?。?)通過對cCAS-DNA與ER進行雙色、長時程、超分辨成像,觀測到cGAS-DNA在保持與ER持續接觸過程中的定向運動、轉向或擴散等行為,拓展了對膜性細胞器與無膜細胞器相互作用機制的認知;

           ?。?)對HeLa 細胞分裂過程中的核仁磷酸蛋白(NPM1)、RNA聚合酶I亞基RPA49以及染色質(H2B)進行超長時程(12秒采集間隔,2.5小時以上)的三維超分辨活體成像,首次實現了對完整有絲分裂過程中NPM1與RPA49兩種結構形態變化的三維超分辨活體連續觀測,揭示了細胞有絲分裂過程中核仁形成以及NPM1、RPA49兩種無膜亞細胞結構的相變、互作規律;

           ?。?)以10Hz的全細胞體成像幀率對高爾基體進行了長達10,000時間點的連續拍攝,并實現了對完整細胞分裂過程內質網、溶酶體、線粒體等亞細胞結構的三色、高速(秒量級)、超長時程(小時量級,>1000個時間點)三維觀測,深入探究了細胞有絲分裂過程中細胞器在子代細胞中的均勻分配機制。

            綜上所述,李棟/戴瓊海合作團隊通過人工智能算法與光學顯微成像技術的交叉創新,提出了一種合理化深度學習超分辨顯微成像框架,解決了現有深度學習成像方法分辨率損失、預測不確定性、訓練集不易采集等難題,能夠為多種活體顯微成像模態提供30倍以上的成像速度與時程的提升,為細胞生物學、發育生物學、神經科學等領域的發展提供了重要的研究工具,而該研究團隊所堅持和倡導的人工智能算法與光學成像原理交叉創新、軟硬結合的研究思路也為現代光學顯微成像的發展開辟了新的技術路徑。

            清華大學自動化系博士后喬暢、中國科學院生物物理所正高級工程師李迪、助理研究員劉勇、張思微為該論文共同第一作者,中國科學院生物物理所研究員李棟、清華大學自動化系教授戴瓊海和霍華德休斯醫學研究所研究員Jennifer Lippincott-Schwartz為共同通訊作者。本研究得到了國家自然科學基金委、科技部、中國科學院、中國博士后科學基金、騰訊"科學探索獎"、清華大學"水木學者"計劃的資助。

            文章鏈接:https://www.nature.com/articles/s41587-022-01471-3

           

          (供稿: 李棟研究組)

           

            附件下載:
          公交上拨开少妇内裤挺进去

                <address id="uqqsu"><pre id="uqqsu"><span id="uqqsu"></span></pre></address>

                <track id="uqqsu"></track>