專訪 Oxylabs 首席執(zhí)行官：合乎道德的網(wǎng)絡(luò)數(shù)據(jù)收集如何為公眾利益服務(wù)？

請(qǐng)介紹一下 Oxylabs,公司一開始是什么樣的,這些年來(lái)最重要的成就有哪些?

Oxylabs 是高級(jí)代理和公開網(wǎng)絡(luò)數(shù)據(jù)采集解決方案的領(lǐng)先提供商,讓各種規(guī)模的公司都能利用大數(shù)據(jù)的潛力。簡(jiǎn)而言之,我們提供所有必要的工具和解決方案,供企業(yè)大規(guī)模收集公開可用的數(shù)據(jù)。

這些年來(lái),我們的產(chǎn)品組合不斷發(fā)展,能夠滿足對(duì)公開網(wǎng)絡(luò)數(shù)據(jù)的日益增長(zhǎng)的需求。例如,我們推出了即開即用的抓取解決方案,如爬蟲 API,讓我們的客戶能夠?qū)Ｗ⒂诜治鰯?shù)據(jù),而不用考慮棘手的網(wǎng)絡(luò)抓取過(guò)程。

如今,我們擁有 1000 多家客戶,其中包括數(shù)十家全球財(cái)富500 強(qiáng)企業(yè)。此外,Oxylabs 擁有 400 多名員工,他們真正專注于每天為我們的客戶交付出色的產(chǎn)品和體驗(yàn),我對(duì)他們每個(gè)人都心存感激。

請(qǐng)向我們的讀者解釋一下什么是網(wǎng)絡(luò)抓取?

簡(jiǎn)單來(lái)說(shuō),網(wǎng)絡(luò)抓取就是從預(yù)定義的網(wǎng)站采集大量公開可用數(shù)據(jù)的自動(dòng)化過(guò)程。企業(yè)可以使用收集的數(shù)據(jù)來(lái)獲得數(shù)據(jù)驅(qū)動(dòng)型洞察,推動(dòng)其運(yùn)營(yíng),并支持戰(zhàn)略性企業(yè)決策。

例如,網(wǎng)絡(luò)抓取是在線購(gòu)物中不可或缺的一環(huán),因?yàn)樗屍髽I(yè)能夠訪問(wèn)可靠的實(shí)時(shí)數(shù)據(jù),并更好地理解其友商的行動(dòng)。因此,公司能夠以最具競(jìng)爭(zhēng)力的價(jià)格向客戶提供最令人滿意的產(chǎn)品和服務(wù)。

這只是一個(gè)網(wǎng)絡(luò)抓取商業(yè)案例,這樣的案例還有很多。隨著對(duì)大數(shù)據(jù)的需求極速增長(zhǎng),不同的用例也浮現(xiàn)出來(lái),新的行業(yè)也在發(fā)現(xiàn)外部數(shù)據(jù)的優(yōu)勢(shì)。

不太懂互聯(lián)網(wǎng)技術(shù)的中年人如何從網(wǎng)絡(luò)抓取技術(shù)獲益?

自動(dòng)化網(wǎng)絡(luò)數(shù)據(jù)采集解決方案不僅可惠及各個(gè)企業(yè),還能為更廣泛的普通大眾帶來(lái)諸多便利。

想象一下這樣的場(chǎng)景,你需要獲取特定產(chǎn)品的最優(yōu)價(jià)格。我們不用打開不同零售商網(wǎng)站的多個(gè)瀏覽器標(biāo)簽頁(yè),記錄產(chǎn)品信息并花費(fèi)數(shù)小時(shí)試圖找出最優(yōu)惠的價(jià)格,而只需訪問(wèn)價(jià)格產(chǎn)品比較網(wǎng)站。所有比較網(wǎng)站都依賴網(wǎng)絡(luò)抓取技術(shù),在幾秒之內(nèi)提供這些信息。

旅行規(guī)劃是另一個(gè)很好的例子。旅游比價(jià)平臺(tái)網(wǎng)站很適合用于組織家庭度假,或者規(guī)劃國(guó)外城市短假。它們提供了最優(yōu)機(jī)票和食宿價(jià)格,并可幫助我們找到經(jīng)濟(jì)實(shí)惠的交易。如果沒(méi)有網(wǎng)絡(luò)抓取,旅行者又只能花費(fèi)數(shù)小時(shí)甚至數(shù)天來(lái)研究最優(yōu)惠的價(jià)格,或依賴其當(dāng)?shù)芈眯猩纭?/p>

當(dāng)然,最明顯的例子還是搜索引擎,因?yàn)樗鼈円蕾嚲W(wǎng)絡(luò)抓取技術(shù)來(lái)對(duì)互聯(lián)網(wǎng)上的所有網(wǎng)站編制索引。通過(guò)這樣做,搜索引擎實(shí)際上可以將我們定向到在線來(lái)源以解答我們的問(wèn)題。簡(jiǎn)單來(lái)說(shuō),網(wǎng)絡(luò)抓取是一項(xiàng)神奇的技術(shù),可以讓我們的生活輕松得多。

如今數(shù)據(jù)保護(hù)法律似乎越來(lái)越向消費(fèi)者傾斜,Oxylabs 是如何在廣袤的數(shù)據(jù)海洋中找到航向的?你們?cè)诓杉_數(shù)據(jù)時(shí)遵守什么禁忌規(guī)則?你們是合乎數(shù)據(jù)收集行業(yè)規(guī)范的提供商嗎?

我已經(jīng)不止一次聽(tīng)到這個(gè)問(wèn)題了,以后肯定還會(huì)有人提出這樣的問(wèn)題。如今,大部分人一聽(tīng)到“數(shù)據(jù)”這個(gè)詞,立馬想到這會(huì)影響自己的隱私。這也在情理之中,因?yàn)槭澜绶秶鷥?nèi)的數(shù)據(jù)泄露比比皆是。

在 Oxylabs,我們處理的是公開網(wǎng)絡(luò)數(shù)據(jù)的 B2B 端。不管怎么樣,這仍是一個(gè)棘手的法律格局。網(wǎng)絡(luò)抓取是一項(xiàng)相對(duì)比較新的技術(shù),缺乏廣泛的法律監(jiān)管。因此,各家公司必須總是謹(jǐn)慎考慮自己計(jì)劃收集哪種網(wǎng)絡(luò)數(shù)據(jù),以及是否會(huì)違反任何法律,例如,版權(quán)法。在開展任何網(wǎng)絡(luò)抓取活動(dòng)之前,我們鼓勵(lì)每家公司咨詢律師,評(píng)估法律細(xì)節(jié)。

在 Oxylabs,我們投入了大量時(shí)間精力來(lái)培訓(xùn)行業(yè)和我們的客戶,宣傳如何開展合乎道德的網(wǎng)絡(luò)抓取。我們?cè)诠_網(wǎng)絡(luò)數(shù)據(jù)采集方面有嚴(yán)格的政策,并確保我們的所有運(yùn)營(yíng)以最高的商業(yè)倫理標(biāo)準(zhǔn)為準(zhǔn)繩。

能否講一講網(wǎng)絡(luò)抓取技術(shù)對(duì)整個(gè)社會(huì)的好處的成功案例?

我們一直致力于宣傳合乎道德的網(wǎng)絡(luò)抓取的積極作用,并展示這對(duì)更廣泛的普通大眾的好處,為此,我們推出了“Project 4β”,專門幫助大學(xué)、研究人員和組織解決緊迫問(wèn)題和使命。

通過(guò)“Project 4β”,我們與許多大學(xué)建立了有影響力的伙伴關(guān)系,包括密歇根大學(xué)和 CODE - 應(yīng)用科學(xué)大學(xué),我們向他們共享了我們的工具和專業(yè)知識(shí)。

此外,在贏得 Govtech 實(shí)驗(yàn)室挑戰(zhàn)賽之后,我們與立陶宛共和國(guó)通信管理機(jī)構(gòu) (CRA) 建立了無(wú)償服務(wù)的卓越伙伴關(guān)系。他們的一大使命是保護(hù)立陶宛互聯(lián)網(wǎng)空間,杜絕非法內(nèi)容。

CRA 面臨自動(dòng)識(shí)別非法內(nèi)容的挑戰(zhàn),為此,我們的團(tuán)隊(duì)創(chuàng)建了由 AI 驅(qū)動(dòng)的網(wǎng)絡(luò)抓取工具,掃描互聯(lián)網(wǎng)以檢測(cè)與兒童性虐待相關(guān)的非法視覺(jué)內(nèi)容。之前,他們主要依賴互聯(lián)網(wǎng)用戶出于善意而向熱線電話舉報(bào)非法內(nèi)容。截至 2022 年,該工具已在 CRA 的日常運(yùn)營(yíng)中完全部署,能夠積極主動(dòng)采取措施取締這些網(wǎng)站,并確保惡意行為者受到懲罰,實(shí)在大快人心。

憑借“Project 4β”,Oxylabs 總是樂(lè)意成為研究人員和組織的幫手,幫助他們解決緊迫的社會(huì)問(wèn)題。在網(wǎng)絡(luò)數(shù)據(jù)采集解決方案的幫助下,我相信我們可以解決更多社會(huì)問(wèn)題。