重度互聯(lián)網(wǎng)愛(ài)好者們福來(lái)了！你是否遇到過(guò)這情況：一個(gè)梗圖尋遍全都還沒(méi)找到。現(xiàn)在外網(wǎng)位小哥搞出了一個(gè)互聯(lián)規(guī)模的 Meme 搜索引擎，庫(kù)里有近兩千萬(wàn)梗圖，涵蓋各種小眾文。檢索關(guān)鍵詞，或者上相似圖片，結(jié)果就能秒！若遇到 Meme 庫(kù)里沒(méi)有的梗圖，還可共上傳。網(wǎng)友六年都沒(méi)找的梗圖，在這個(gè)小哥的站上 2 分鐘就找到了。然鵝這樣一個(gè)秒秒鐘梗圖的背后的裝置確實(shí)嬸兒的：（這不會(huì)有點(diǎn)簡(jiǎn)陋了吧）這時(shí)候可能有盆友好奇，這個(gè)粗糙裝置是如何做到快速檢梗圖的？那不妨一起來(lái)看這個(gè)“Meme 搜索引擎”是如何搭建的～感來(lái)自 iPhone 圖片識(shí)別要編寫(xiě)一個(gè) Meme 搜索引擎，最重要也是最先面臨的一個(gè)題就是：如何準(zhǔn)確識(shí)別圖中的文字信息？用專一點(diǎn)的話來(lái)講就是：如擁有一個(gè)可伸縮的 OCR（光學(xué)字符識(shí)別 ）？OCR 的解決方案倒是有現(xiàn)成的，不過(guò)現(xiàn)有雨師么就是遇到比較抽象的圖識(shí)別效果不太好，要就是太貴。舉個(gè)簡(jiǎn)單的子，比如說(shuō)用 Tesseract OCR 來(lái)提取圖像中的文字，測(cè)時(shí)，只能用非常標(biāo)準(zhǔn)的體和配色方案識(shí)別 Meme 圖，不然的話就會(huì)出現(xiàn)下面這種情禹。這原圖：這是識(shí)別出來(lái)的字：30 BLUE man41;? S4-5?’?ew/ — V [IL ‘ . “,2; g” .’Sj /B”f;T”EArmDand [red] mvslmunlm: sawmillsemmmmmm不過(guò)靈感很快就來(lái)了，小哥偶然間綸山 iPhone 給別人發(fā)一個(gè)驗(yàn)證碼圖片時(shí)。這是犬戎碼圖片：這是復(fù)制過(guò)來(lái)文字：并且 iPhone 的這個(gè)功能已經(jīng)在 iOS Vision 框架中公開(kāi)了，可伸縮 OCR 的問(wèn)題這不就有解決辦法蓐收嘛～不過(guò)關(guān) Vision 框架目前還沒(méi)有現(xiàn)成的開(kāi)源代插件，只能自己寫(xiě)了，體代碼小哥目前還沒(méi)公。BUT，小哥還是總結(jié)了一下自己寫(xiě)代碼時(shí)的法經(jīng)驗(yàn)，而且是針對(duì)一從未用 Swift 寫(xiě)過(guò)任何正經(jīng)東西的小白遇事不決 Google 之Github 上逆向工程各種 Swift 回購(gòu)協(xié)議請(qǐng)教懂 iOS 的朋友解決 Xcode 問(wèn)題……最終東拼西湊，搞出了一個(gè)葆江行解決方案：iOS Vision OCR 服務(wù)器，僅在一部 iPhone 上就能運(yùn)行。識(shí)別文字信息這趴搞定了，下來(lái)就輪到搜索環(huán)節(jié)了相較于上一趴，這部分簡(jiǎn)單多了。小哥用的是 ElasticSearch（已開(kāi)源）和 Postgres。ElasticSearch 擁有多節(jié)點(diǎn)能夠有效避免障的發(fā)生，并且能夠在證速度的情況下容納數(shù)萬(wàn)個(gè) Meme，不過(guò)這都是在犧牲了可靠性之得到的。而 Postgres 能夠保證搜索結(jié)果的可靠巫姑，但在超過(guò)百萬(wàn)張圖片的范圍時(shí)，會(huì)變得特別慢。一個(gè)能證速度，一個(gè)能保證質(zhì)，那……Done！在這其中，小哥用到了 PGSync，它是一件中間件，可以用于同步從 Postgres 到 Elasticsearch / OpenSearch 的數(shù)據(jù)，具體的搜索流程慎子下：到這里整個(gè)搜索引擎的搭建已見(jiàn)雛形，但還沒(méi)結(jié)束…視頻 Meme 也能支持因?yàn)?Meme 不僅僅靠梗圖來(lái)傳遞，有密山還會(huì)有視頻。這倒也簡(jiǎn)，直接將視頻分割成截集，之后就能像普通的 Meme 圖一樣被識(shí)別了。具體來(lái)說(shuō)，小哥編了一個(gè)小型微服務(wù)，通 ffmpeg（它可以執(zhí)行音頻和視頻多種格的錄影、轉(zhuǎn)換、串流功），從視頻中截取 10 個(gè)均勻間隔的圖片。然后將截圖文件發(fā)送到 iPhone OCR 服務(wù)，最終視頻文件中會(huì)每個(gè)屏幕截圖 OCR 后的結(jié)果集。不過(guò)擁有頻檢索功能后，毫無(wú)疑 OCR 服務(wù)的負(fù)載就重了，一個(gè)視頻 OCR 的工作量幾乎是一般梗圖的 10 倍。雖然說(shuō) OCR 應(yīng)用服務(wù)器的速度很快，但也禁勞山住樣薅，于是 iOS OCR 服務(wù)升級(jí)了（多加幾臺(tái)手機(jī)），于是最終裝置就變開(kāi)頭圖中的那了。最終具體的流程圖哥也貼心地給出來(lái)了：哥的這個(gè) Meme 搜索引擎出來(lái)之后，網(wǎng)友也都直呼太棒了。當(dāng)然有網(wǎng)友給出了一些建議認(rèn)為當(dāng)前的搜索引擎太本化了，而很多 Meme 圖本身就沒(méi)多少文字，更多時(shí)候都是“意會(huì)。對(duì)此，小哥本人也作了回應(yīng)，稱之后還會(huì)繼優(yōu)化搜索引擎：考慮將像轉(zhuǎn)換為描述的文本…不過(guò)值得一提的是，目這個(gè)搜索引擎還不太支中文，中文的梗圖搜索果不是很好，但既然小已經(jīng)將構(gòu)建方法給出來(lái)，就期待一波萬(wàn)能的網(wǎng)吧。（手動(dòng)狗頭）如果對(duì)這個(gè)項(xiàng)目感興趣的話可以戳下文鏈接～傳送：https://findthatmeme.com/參考鏈接：https://findthatmeme.com/blog/2023/01/08/image-stacks-and-iphone-racks-building-an-internet-scale-meme-search-engine-Qzrz7V6T.html本文來(lái)自微信公眾號(hào)：量子位 （ID：QbitAI），作者：Pine