隨著大數(shù)據(jù)時代的蓬勃發(fā)展和大數(shù)據(jù)技術(shù)的深入應(yīng)用，網(wǎng)絡(luò)自動采集機票價格成為了可能。本文結(jié)合工作實踐，再現(xiàn)從需求分析到技術(shù)選型，再到完成設(shè)計的工作過程。

機票采價需求分析

獲取明確的需求是高效、準(zhǔn)確開展工作的前提。機票采價工作中，一是有特殊的時間要求，需在特定的日期采集特定日期的機票;二是未通過攜程、飛豬等第三方平臺進行，而是通過航班官網(wǎng)采集實際的機票價格;三是為保證價格采集有佐證，需在訂單頁將價格區(qū)域截圖保存。

相關(guān)技術(shù)選型

在分析研究需求之后，發(fā)現(xiàn)關(guān)鍵技術(shù)點有兩個：一是采集實際發(fā)生價格，二是價格區(qū)域截圖，需要選擇合適的程序。通過查找相關(guān)資料，發(fā)現(xiàn)Python的Selenium庫可以實現(xiàn)采價和截圖的需求。Selenium可以模擬用戶在瀏覽器中的一切操作，甚至可以不打開瀏覽器模擬操作(后臺無界面操作)。此結(jié)果完美符合技術(shù)需求，既能抓取到價格又能實現(xiàn)截圖。

東航采價設(shè)計與實現(xiàn)

在東航網(wǎng)站的采價中，最為困擾的有兩個問題：一個是登錄的驗證，另一個是網(wǎng)頁數(shù)據(jù)加載不出來、中途彈出驗證的問題。

登錄驗證和中途驗證。通過相關(guān)資料找到了一個比較成熟的解決方案。通過比對驗證圖片和原始圖片的RGB信息找到缺口坐標(biāo)軸計算水平移動距離，采取“進3退1”的方式移動到缺口位置，即可實現(xiàn)驗證通過。

刷新網(wǎng)頁直到數(shù)據(jù)加載。由于會存在數(shù)據(jù)加載不出來的問題，所以在查詢結(jié)果頁加入元素判斷，將某個關(guān)鍵元素用Xpath的方式獲取，如果存在就繼續(xù)執(zhí)行操作，如果不存在則刷新網(wǎng)頁重新判斷。

采價日期計算。本文的思路為獲取當(dāng)前日期，并根據(jù)采價日期的要求計算采價的日期段。再利用Pandas庫的Series方法生成采價日期段，用于查詢機票。對于不同的網(wǎng)站有不同的日期格式，計算日期方法中設(shè)置日期格式參數(shù)，用于格式化日期之用。

價格區(qū)域截圖。在訂單頁面，通過F12工具定位價格區(qū)域的Xpath，并應(yīng)用Selenium的方法獲取該Xpath的坐標(biāo)和長、寬。操作截圖的時候是先截圖整個網(wǎng)頁，再根據(jù)價格區(qū)域的坐標(biāo)、長、寬進行截圖。

國航采價設(shè)計與實現(xiàn)

查詢機票。對于出發(fā)城市和到達城市的輸入框，國航網(wǎng)站有輸入提示，本文思路為按照中文將出發(fā)地和輸入地發(fā)送過去，獲取提示框的Xpath地址，再調(diào)用點擊方法即可實現(xiàn)提示框的輸入。出發(fā)日期直接將日期輸入到輸入框即可。

識別彈窗。在實際操作中，成都有彈窗提示登記窗口，此時調(diào)用Selenium的方法，切換到Alert窗口，如果切換成功則點擊彈窗表示確認，若切換失敗則無需做任何操作。

滑動到訂單頁底部。實際開發(fā)過程中，并沒找到具體的Selenium滑動頁面方式，可以通過編寫Javascript代碼的方式發(fā)送給瀏覽器執(zhí)行，具體代碼如下：

相關(guān)體會

一是技術(shù)選型很重要，采用合適的技術(shù)能促進工作更好地開展。二是程序可以進一步完善，可以抽象成公共的工具，出發(fā)地、到達地可以根據(jù)用戶指定去采價。