瑞士洛桑聯邦理工學院（EPFL）生命科學學院的Pavan Ramdya教授說：“我們使用兩種數據來建立NeuroMechFly。首先，我們拍攝了一隻真實的果蠅並進行了CT掃描，以建立一個形態逼真的生物力學模型。第二個數據來源是果蠅的真實肢體運動，使用我們在過去幾年中開發的姿勢估計軟件獲得，該軟件允許我們精確跟蹤動物的運動。”
RAMDya的小組與EPFL生物機器人實驗室的Auke Ijspeert教授的小組合作，5月11日在《自然方法》雜誌上發表了一篇論文，展示了有史以來第一個被稱為“NeuroMechFly ”的 黑腹果蠅 (Drosophila melanogaster) 的精確“數字孿生體”。
果蠅是生命科學中最常用的昆蟲，也是Ramdya本人的長期研究重點，他多年來一直致力於對這種動物進行數字化追蹤和建模。2019年，他的小組發表了DeepFly3D，這是一個基於深度學習的運動捕捉軟件，使用多個相機視角來量化果蠅在三維空間中的運動。
在繼續進行深度學習后，2021年Ramdya的團隊發表了LiftPose3D，一種從單台相機拍攝的2D圖像中重建3D動物姿勢的方法。這些類型的突破為神經科學和動物啟發的機器人學的爆炸性領域提供了實用性不容小覷的工具。
在許多方面，NeuroMechFly代表了所有這些努力的高潮。受制於以前這些研究的形態學和運動學數據，該模型具有獨立的計算部分，模擬昆蟲身體的不同部分。這包括一個帶有鉸接身體部件的生物力學外骨骼，如頭部、腿部、翅膀、腹節、觸角、尾巴（幫助蒼蠅在飛行時測量自己的方向的器官），以及帶有電機輸出的神經網絡”控制器”。
為什麼要建立一個果蠅的“數字孿生體”？
“我們如何知道我們已經理解了一個系統？”Ramdya說。“一種方法是能夠重新創建它。我們可能會嘗試建立一個機器人果蠅，但建立一個模擬的動物要快得多，也容易得多。因此，這項工作背後的主要動機之一是開始建立一個模型，整合我們對果蠅的神經系統和生物力學的了解，以測試它是否足以解釋其行為。”
“當我們做實驗時，我們往往是以假設為動機的，”他補充說。“直到現在，我們一直依靠直覺和邏輯來制定假設和預測。但是，隨着神經科學變得越來越複雜，我們更多的是依靠模型，這些模型可以把許多相互交織的組件彙集在一起，發揮它們的作用，並預測如果你在這裡或那裡做一個調整會發生什麼。”
測試平台
NeuroMechFly為推進生物力學和生物技術的研究提供了一個非常有價值的測試平台，但只限於它在數字環境中準確地代表真實的動物。驗證這一點是研究人員的主要關切之一。“我們進行了驗證實驗，證明我們可以密切複製真實動物的行為，”Ramdya說。
研究人員首先對真實行走和梳理果蠅進行了3D測量。然後他們使用NeuroMechFly的生物力學外骨骼在一個基於物理學的模擬環境中重放這些行為。
正如他們在論文中所展示的，該模型實際上可以預測各種運動參數，否則無法測量，如腿部的扭矩和與地面的接觸反作用力。最後，他們能夠使用NeuroMechFly的全部神經力學能力來發現神經網絡和肌肉參數，使果蠅能夠以對速度和穩定性都進行優化的方式 “運行”。
“這些案例研究建立了我們對該模型的信心，”Ramdya說。“但我們最感興趣的是，當模擬未能複製動物行為時，指出了改進模型的方法。” 因此，NeuroMechFly代表了一個強大的測試平台，用於建立對複雜的神經機械系統和其物理環境之間的相互作用如何產生行為的理解。
一個社區的努力
Ramdya強調說，NeuroMechFly一直是並將繼續是一個社區項目。因此，該軟件是開源的，可供科學家免費使用和修改。“我們建立了一個工具，不僅僅是為了我們自己，也是為了其他人。因此，我們將其開源和模塊化，並提供如何使用和修改它的指南。”
他補充說：“科學的進步越來越多地取決於社區的努力。社區使用該模型並改進它是很重要的。但是NeuroMechFly已經做的一件事就是提高標準。以前，因為模型不是很現實，我們沒有問他們如何能直接從數據中獲得信息。在這裡，我們已經展示了你如何能夠做到這一點；你可以採取這個模型，重放行為，並推斷出有意義的信息。因此，我認為這是向前邁出的一大步。”