雖然在線服務機構採用了越來越多的保障措施來識別和標記虐待兒童的圖像，但這些系統並不是萬無一失的，它們可能會對被錯誤指控的人產生毀滅性的影響。一位父親的情況就是如此，他的Google賬戶在該公司錯誤地將他剛學會走路的兒子的腹股溝的醫療圖像標記為兒童色情后仍被關閉。
根據《紐約時報》的報道，這位名叫Mark的父親在去年2月跟醫生進行視頻預約之前在一名護士的建議下拍攝了這些照片。Mark的妻子用丈夫的Android手機拍下了男孩腫脹的生殖器部位的照片並將這些照片發到她的iPhone上以便上傳到醫療機構的消息系統。醫生開出了抗生素，但這還不是結束。
似乎這些圖片被自動備份到Google照片，此時該公司的人工智能(AI)工具和微軟的PhotoDNA將它們標記為兒童性虐待材料(CSAM)。Mark兩天後收到通知並被告知他的Google賬戶–包括Gmail和Google Fi電話服務–已經被鎖定，原因是存在有害內容，這嚴重違反了Google的政策並可能是非法的。
作為一名曾經從事過類似識別問題內容的AI工具的前軟件工程師，Mark認為一旦有人類內容管理員審查這些照片一切都會被清除。但他卻在12月因為“剝削兒童的視頻”被舊金山警察局調查。他被清除了任何罪行，但Google仍沒有恢復他的賬戶並稱它堅持自己的決定。
Google發言人Christa Muldoon表示：”我們遵循美國法律來定義什麼是CSAM，並使用哈希匹配技術和AI的組合來識別它並從我們的平台上刪除它。”
Google兒童安全業務主管Claire Lilley表示，審查人員沒有在Mark的照片中發現皮疹或紅腫。審查CSAM的Google工作人員接受過兒科醫生的培訓以尋找皮疹等問題，但在這些情況下不會諮詢醫學專家。
Lilley還補充稱，對Mark賬戶的進一步審查發現，六個月前的一段視頻顯示，一個孩子和一個沒有穿衣服的女人躺在床上。Mark則稱自己不記得這段視頻也沒有機會接觸到它。
“我可以想象。一天早上，我們醒來了。這是一個美麗的日子，我和我的妻子和兒子在一起，我想記錄這一刻。如果我們穿着睡衣睡覺就好了，這一切就可以避免了，”Mark說道。
這一事件凸顯了跟兒童性虐待圖像自動檢測系統有關的問題。去年，蘋果計劃在照片上傳到雲端之前在其設備上掃描CSAM，這遭到了隱私倡導者的強烈反對。它最終將該功能無限期擱置。然而家庭共享計劃中的兒童賬戶也有類似的可選功能。