UrbanGPT 團(tuán)隊(duì)貢獻(xiàn)

量子比特|公眾號(hào)QbitAI

時(shí)空預(yù)測(cè)技術(shù)，迎來(lái)ChatGPT時(shí)刻。

時(shí)空預(yù)測(cè)致力于捕捉城市生活的動(dòng)態(tài)變化并預(yù)測(cè)其未來(lái)走向。它不僅關(guān)注交通、人流，還涵蓋犯罪趨勢(shì)等多個(gè)維度。目前深度時(shí)空預(yù)測(cè)技術(shù)依賴于大量訓(xùn)練數(shù)據(jù)的支持來(lái)生成準(zhǔn)確的時(shí)空模型，在城市數(shù)據(jù)不足的情況下尤其困難。

香港大學(xué)和百度聯(lián)合團(tuán)隊(duì)借鑒大規(guī)模語(yǔ)言模型的思想，提出了一種新的時(shí)空大規(guī)模語(yǔ)言模型UbanGPT。

該模型在多種城市應(yīng)用場(chǎng)景中表現(xiàn)出良好的普適性。通過(guò)結(jié)合時(shí)空依賴性編碼器和指令微調(diào)方法，該模型增強(qiáng)了對(duì)時(shí)間和空間上復(fù)雜關(guān)系的理解，即使在數(shù)據(jù)稀缺的條件下也能提供更準(zhǔn)確的預(yù)測(cè)。通過(guò)一系列廣泛的實(shí)驗(yàn)，UrbanGPT展示了其在多個(gè)城市相關(guān)任務(wù)上的出色表現(xiàn)，并證明了其在零樣本學(xué)習(xí)領(lǐng)域的強(qiáng)大潛力。

視頻加載中.

時(shí)空大語(yǔ)言模型UrbanGPT挑戰(zhàn)一：標(biāo)簽稀缺和訓(xùn)練成本高

盡管尖端時(shí)空網(wǎng)絡(luò)在預(yù)測(cè)任務(wù)上表現(xiàn)良好，但其性能由于依賴大量標(biāo)記數(shù)據(jù)而受到限制。在城市應(yīng)用中，獲取數(shù)據(jù)往往非常困難。例如，監(jiān)控整個(gè)城市的交通和空氣質(zhì)量的成本相當(dāng)高。此外，這些模型在面對(duì)新區(qū)域或新任務(wù)時(shí)泛化能力往往不足，需要重新訓(xùn)練以適應(yīng)不同的時(shí)空環(huán)境。

挑戰(zhàn)2：LLM 和現(xiàn)有的時(shí)空預(yù)測(cè)模型在零樣本泛化方面存在局限性

如圖1 所示，大型語(yǔ)言模型LLaMA 能夠根據(jù)輸入文本信息推斷流量模式。然而，當(dāng)處理具有復(fù)雜時(shí)空依賴性的數(shù)值時(shí)間序列數(shù)據(jù)時(shí)，LLaMA 的預(yù)測(cè)能力有限，有時(shí)可能會(huì)產(chǎn)生與實(shí)際結(jié)果相反的預(yù)測(cè)。同時(shí)，雖然預(yù)訓(xùn)練的基線模型能夠有效地編碼時(shí)空依賴性，但由于對(duì)原始訓(xùn)練數(shù)據(jù)的過(guò)度適應(yīng)，它們?cè)跊](méi)有先驗(yàn)經(jīng)驗(yàn)的新場(chǎng)景（零樣本場(chǎng)景）中可能表現(xiàn)不佳。

挑戰(zhàn)三：如何將LLM優(yōu)秀的推理能力延伸到時(shí)空預(yù)測(cè)領(lǐng)域：

時(shí)空數(shù)據(jù)有其獨(dú)特的屬性，與LLM編碼的信息不同。彌合這一差距并建立一個(gè)時(shí)空大型語(yǔ)言模型，該模型可以在不同的城市任務(wù)中表現(xiàn)出出色的泛化性能，是當(dāng)前的主要挑戰(zhàn)。

圖1：與LLM和現(xiàn)有的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)相比，UrbanGPT可以在零樣本場(chǎng)景下更好地預(yù)測(cè)未來(lái)時(shí)空趨勢(shì)

時(shí)空大規(guī)模語(yǔ)言模型UrbanGPT 據(jù)團(tuán)隊(duì)介紹，這是創(chuàng)建時(shí)空大規(guī)模語(yǔ)言模型的首次嘗試，該模型可以在不同數(shù)據(jù)集上預(yù)測(cè)多種城市現(xiàn)象，特別是在訓(xùn)練樣本有限的情況下。

這項(xiàng)研究提出了一種名為UrbanGPT 的時(shí)空預(yù)測(cè)框架，它使大型語(yǔ)言模型能夠深入理解時(shí)間和空間之間復(fù)雜的相互依賴關(guān)系。通過(guò)巧妙地將時(shí)空依賴編碼器與指令微調(diào)策略相結(jié)合，該框架成功地將時(shí)空信息與大型語(yǔ)言模型的推理能力融合在一起。

對(duì)真實(shí)世界數(shù)據(jù)進(jìn)行的大量實(shí)驗(yàn)驗(yàn)證了UrbanGPT在零樣本時(shí)空學(xué)習(xí)場(chǎng)景中出色的泛化性能。這些實(shí)驗(yàn)結(jié)果不僅凸顯了UrbanGPT模型強(qiáng)大的泛化潛力，而且證實(shí)了即使在沒(méi)有訓(xùn)練樣本的情況下，其在準(zhǔn)確預(yù)測(cè)和理解時(shí)空模式方面的有效性。

圖2: UrbanGPT整體框架

時(shí)空依賴編碼器法學(xué)碩士在處理語(yǔ)言任務(wù)方面表現(xiàn)良好，但在解析時(shí)空數(shù)據(jù)固有的時(shí)間序列及其演化模式方面存在困難。為了克服這一困難，本文提出了一種創(chuàng)新方法，通過(guò)集成時(shí)空編碼器來(lái)提高大型語(yǔ)言模型捕獲時(shí)空上下文中的時(shí)間依賴性的能力。具體來(lái)說(shuō)，設(shè)計(jì)的時(shí)空編碼器由兩個(gè)核心組件組成：一個(gè)是門控?cái)U(kuò)散卷積層，另一個(gè)是多級(jí)相關(guān)注入層。

門控時(shí)間擴(kuò)散卷積層對(duì)不同級(jí)別的不同程度的時(shí)間依賴性進(jìn)行編碼，捕獲不同粒度級(jí)別的時(shí)間演化特征。為了保留這些時(shí)間信息模式，該團(tuán)隊(duì)引入了一個(gè)多級(jí)相關(guān)注入層，旨在混合不同級(jí)別之間的互連。

為了應(yīng)對(duì)可能的多樣化城市場(chǎng)景，本文提出的時(shí)空編碼器在模擬空間相關(guān)性時(shí)不依賴于特定的圖結(jié)構(gòu)。該方法考慮到在零樣本預(yù)測(cè)的背景下，實(shí)體之間的空間連接可能未知或難以清晰定義。這樣的設(shè)計(jì)保證了UrbanGPT在廣泛的城市環(huán)境條件下保持其適用性和有效性。

時(shí)空指令微調(diào)框架時(shí)空數(shù)據(jù)文本對(duì)齊

為了讓語(yǔ)言模型準(zhǔn)確捕捉時(shí)空模式，確保文本信息和時(shí)空數(shù)據(jù)的一致性是關(guān)鍵。這種對(duì)齊使模型能夠集成多種類型的數(shù)據(jù)并生成更豐富的信息表示。通過(guò)結(jié)合文本和時(shí)空域中的上下文特征，該模型不僅能夠捕獲互補(bǔ)信息，還能提取更具表現(xiàn)力的高級(jí)語(yǔ)義特征。

時(shí)空提示說(shuō)明

在進(jìn)行時(shí)空預(yù)測(cè)時(shí)，時(shí)間和空間維度都包含豐富的語(yǔ)義信息，這對(duì)于模型準(zhǔn)確理解特定情況下的時(shí)空動(dòng)態(tài)至關(guān)重要。例如，早上的交通流特征與交通高峰時(shí)段有明顯不同，商業(yè)區(qū)和住宅區(qū)的交通模式也有不同的特征。 UrbanGPT框架集成了不同粒度的時(shí)間數(shù)據(jù)和空間特征作為其大規(guī)模語(yǔ)言模型的指令輸入。具體來(lái)說(shuō)，時(shí)間信息涵蓋日期、具體時(shí)間等元素，空間信息則包括城市名稱、行政區(qū)劃、周邊興趣點(diǎn)（POI）等數(shù)據(jù)，如圖3所示。這種多維度的時(shí)空信息整合使UrbanGPT能夠準(zhǔn)確捕獲不同時(shí)間和地點(diǎn)的時(shí)空模式，顯著增強(qiáng)其對(duì)未知樣本的推理能力。

圖3: 編碼時(shí)空信息感知的時(shí)空提示指令

3.2.3 大語(yǔ)言模型的時(shí)空指令微調(diào)

利用大型語(yǔ)言模型(LLM) 進(jìn)行指令微調(diào)以生成文本形式的時(shí)空預(yù)測(cè)時(shí)存在兩個(gè)主要挑戰(zhàn)。首先，這類預(yù)測(cè)任務(wù)依賴于數(shù)值數(shù)據(jù)，其結(jié)構(gòu)和規(guī)則與法學(xué)碩士擅長(zhǎng)處理的自然語(yǔ)言（側(cè)重于語(yǔ)義和語(yǔ)法）不同。其次，LLM通常使用多分類損失函數(shù)來(lái)預(yù)訓(xùn)練來(lái)預(yù)測(cè)文本中的下一個(gè)單詞，這與需要輸出連續(xù)數(shù)值的回歸問(wèn)題不同。

實(shí)驗(yàn)結(jié)果：以相同的零樣本預(yù)測(cè)性能對(duì)城市中未見(jiàn)過(guò)的區(qū)域進(jìn)行預(yù)測(cè)

跨區(qū)域場(chǎng)景使用同一城市內(nèi)某些區(qū)域的數(shù)據(jù)來(lái)預(yù)測(cè)模型未觸及的其他區(qū)域的未來(lái)狀況。通過(guò)仔細(xì)分析模型在此類跨區(qū)域預(yù)測(cè)任務(wù)中的表現(xiàn)，團(tuán)隊(duì)發(fā)現(xiàn)UrbanGPT表現(xiàn)出了優(yōu)異的零樣本預(yù)測(cè)性能。 UrbanGPT通過(guò)時(shí)空和文本信息的精確對(duì)齊，以及時(shí)空指令微調(diào)技術(shù)與時(shí)空依賴編碼器的無(wú)縫集成，有效維護(hù)通用性和可轉(zhuǎn)移的時(shí)空知識(shí)，從而實(shí)現(xiàn)零樣本場(chǎng)景下的準(zhǔn)確預(yù)測(cè)。此外，UrbanGPT在處理數(shù)據(jù)稀疏問(wèn)題上也具有顯著優(yōu)勢(shì)。尤其是在犯罪預(yù)測(cè)任務(wù)中，傳統(tǒng)的基線模型往往由于數(shù)據(jù)稀疏而表現(xiàn)不佳，低召回率可能暗示過(guò)擬合問(wèn)題。 UrbanGPT通過(guò)集成文本中的語(yǔ)義信息來(lái)注入豐富的語(yǔ)義洞察，增強(qiáng)了模型捕獲稀疏數(shù)據(jù)中時(shí)空模式的能力，從而提高了預(yù)測(cè)精度。

表1：跨區(qū)域零樣本預(yù)測(cè)場(chǎng)景性能對(duì)比

跨城市預(yù)測(cè)任務(wù)

為了測(cè)試模型在跨城市預(yù)測(cè)方面的表現(xiàn)，團(tuán)隊(duì)選擇了CHI-taxi數(shù)據(jù)集進(jìn)行評(píng)估，該數(shù)據(jù)集在模型的訓(xùn)練階段并未使用。圖4的評(píng)估結(jié)果表明，在每個(gè)時(shí)間點(diǎn)，該模型的表現(xiàn)都優(yōu)于其他比較方法，這證實(shí)了UrbanGPT在跨城市知識(shí)轉(zhuǎn)移方面的有效性。該模型通過(guò)綜合考慮多種地理信息和時(shí)間要素，展示了將功能相似區(qū)域與同一歷史時(shí)期的時(shí)空格局關(guān)聯(lián)起來(lái)的能力，為跨城市場(chǎng)景下實(shí)現(xiàn)準(zhǔn)確的零樣本預(yù)測(cè)提供了有力支撐。

圖4：跨城市零樣本預(yù)測(cè)場(chǎng)景性能對(duì)比

典型的監(jiān)督預(yù)測(cè)任務(wù)團(tuán)隊(duì)也探索了UrbanGPT在監(jiān)督預(yù)測(cè)場(chǎng)景中的表現(xiàn)，特別是通過(guò)使用更大時(shí)間跨度的測(cè)試數(shù)據(jù)集來(lái)測(cè)試模型在長(zhǎng)期時(shí)空預(yù)測(cè)中的有效性。例如，團(tuán)隊(duì)使用2017 年的數(shù)據(jù)來(lái)訓(xùn)練模型，使用2021 年的數(shù)據(jù)進(jìn)行測(cè)試。測(cè)試結(jié)果表明，UrbanGPT在長(zhǎng)期時(shí)間跨度場(chǎng)景下較基線模型具有明顯優(yōu)勢(shì)，展現(xiàn)出其優(yōu)異的泛化能力。這一特性意味著模型不需要頻繁地重新訓(xùn)練或增量更新，使其更適合實(shí)際應(yīng)用場(chǎng)景。此外，實(shí)驗(yàn)還證明引入額外的文本信息不會(huì)對(duì)模型性能產(chǎn)生負(fù)面影響或引入噪聲，這進(jìn)一步支持了使用大語(yǔ)言模型增強(qiáng)時(shí)空預(yù)測(cè)任務(wù)的策略的可行性。

表2：有監(jiān)督環(huán)境下的預(yù)測(cè)性能評(píng)估

消融實(shí)驗(yàn)（1）時(shí)空背景的效用：-STC。當(dāng)從指導(dǎo)文本中刪除時(shí)空信息時(shí)，模型的性能會(huì)下降。這可能是由于缺乏時(shí)間維度數(shù)據(jù)，導(dǎo)致模型依賴時(shí)空編碼器來(lái)處理與時(shí)間相關(guān)的特征并進(jìn)行預(yù)測(cè)。同時(shí)，空間信息的缺乏也削弱了模型捕獲空間相關(guān)性的能力，這使得識(shí)別和分析不同區(qū)域獨(dú)特的時(shí)空模式變得更加困難。

(2) 使用多個(gè)數(shù)據(jù)集進(jìn)行指令微調(diào)的影響：-Multi。該模型僅在紐約出租車數(shù)據(jù)集上進(jìn)行訓(xùn)練。缺乏來(lái)自不同城市指標(biāo)的廣泛信息限制了模型深度表征城市時(shí)空動(dòng)態(tài)的能力，導(dǎo)致預(yù)測(cè)結(jié)果不理想。然而，通過(guò)融合多個(gè)來(lái)源的時(shí)空數(shù)據(jù)，模型可以更有效地捕捉不同地理位置的獨(dú)特屬性和隨時(shí)間演變的模式，從而加深對(duì)城市復(fù)雜性的洞察。

(3)時(shí)空編碼器的作用：-STE。時(shí)空編碼器的缺乏極大地限制了大型語(yǔ)言模型在時(shí)空預(yù)測(cè)任務(wù)中的性能。這凸顯了設(shè)計(jì)的時(shí)空編碼器在提高模型預(yù)測(cè)精度方面的重要性。

(4)指令微調(diào)中的回歸層：T2P。 UrbanGPT 被直接指示以文本形式輸出其預(yù)測(cè)結(jié)果。該模型的性能缺陷主要是由于其訓(xùn)練階段主要使用多類損失函數(shù)進(jìn)行優(yōu)化，導(dǎo)致模型的概率輸出與時(shí)空預(yù)測(cè)任務(wù)所需的連續(xù)數(shù)值分布不一致。為了解決這個(gè)問(wèn)題，團(tuán)隊(duì)將回歸預(yù)測(cè)模塊集成到模型架構(gòu)中。這一改進(jìn)顯著增強(qiáng)了模型在回歸任務(wù)中生成更準(zhǔn)確數(shù)值預(yù)測(cè)的能力。

圖5：UrbanGPT消融實(shí)驗(yàn)

模型魯棒性研究這部分評(píng)估UrbanGPT在處理不同時(shí)空模式場(chǎng)景時(shí)的穩(wěn)定性。該團(tuán)隊(duì)根據(jù)特定時(shí)間段內(nèi)該區(qū)域內(nèi)數(shù)值波動(dòng)的幅度來(lái)區(qū)分區(qū)域。方差較小的區(qū)域代表更恒定的時(shí)間模式，而方差較大的區(qū)域代表更可變的時(shí)間和空間模式，例如繁忙的商業(yè)區(qū)或人口稠密的區(qū)域。圖6中的評(píng)估結(jié)果表明，大多數(shù)模型在方差較低且時(shí)空模式相對(duì)穩(wěn)定的區(qū)域中表現(xiàn)更好。然而，基線模型在方差較高的區(qū)域表現(xiàn)不佳，尤其是方差在(0.75, 1.0]區(qū)間的區(qū)域，這可能是由于基線模型在推斷未見(jiàn)區(qū)域的復(fù)雜時(shí)空模式方面存在局限性。其中，人口密集或繁忙商業(yè)區(qū)域的準(zhǔn)確預(yù)測(cè)對(duì)于城市管理極為關(guān)鍵，包括交通信號(hào)控制和安全調(diào)度，UrbanGPT在方差在（0.75,1.0]區(qū)間的區(qū)域表現(xiàn)出顯著的性能提升。凸顯其出色的零樣本預(yù)測(cè)能力。

圖6：模型穩(wěn)健性研究

案例研究本實(shí)驗(yàn)旨在評(píng)估不同大型語(yǔ)言模型（LLM）在零樣本時(shí)空預(yù)測(cè)任務(wù)中的性能。根據(jù)表3的實(shí)驗(yàn)結(jié)果，團(tuán)隊(duì)可以看到各種類型的LLM都可以根據(jù)提供的指令生成預(yù)測(cè)結(jié)果，這證實(shí)了團(tuán)隊(duì)提示設(shè)計(jì)的有效性。

具體來(lái)說(shuō)，ChatGPT 在預(yù)測(cè)中傾向于依賴歷史平均值，而不是明確集成時(shí)間或空間數(shù)據(jù)。 Llama-2-70b能夠分析特定時(shí)間段和區(qū)域的信息，但在處理數(shù)值時(shí)間序列的依賴性時(shí)遇到困難，這影響了其預(yù)測(cè)的準(zhǔn)確性。相比之下，Claude-2.1可以有效地整合和分析歷史數(shù)據(jù)，并利用高峰時(shí)段模式以及興趣點(diǎn)（POI）信息來(lái)提高交通趨勢(shì)預(yù)測(cè)的準(zhǔn)確性。本研究提出的UrbanGPT模型通過(guò)時(shí)空指令微調(diào)，成功地將時(shí)空上下文信號(hào)與大語(yǔ)言模型的推理能力結(jié)合起來(lái)，顯著提高了預(yù)測(cè)數(shù)值和時(shí)空趨勢(shì)的準(zhǔn)確性。這些發(fā)現(xiàn)凸顯了UrbanGPT 框架在捕獲普遍時(shí)空模式方面的潛力，并證實(shí)了其在實(shí)現(xiàn)零樣本時(shí)空預(yù)測(cè)方面的有效性。

表3：不同LLM對(duì)紐約市自行車交通的零樣本預(yù)測(cè)案例

總結(jié)與展望本研究介紹了UrbanGPT，一種在不同城市場(chǎng)景中具有出色泛化性能的時(shí)空大規(guī)模語(yǔ)言模型。通過(guò)采用創(chuàng)新的時(shí)空指令微調(diào)策略，團(tuán)隊(duì)成功實(shí)現(xiàn)了時(shí)空上下文信息和大語(yǔ)言模型（LLM）的緊密集成，使UrbanGPT掌握了廣泛適用和可遷移的時(shí)空模式。實(shí)驗(yàn)數(shù)據(jù)充分證明了UrbanGPT模型架構(gòu)及其核心組件的有效性。

雖然目前的結(jié)果很有希望，但該團(tuán)隊(duì)認(rèn)識(shí)到未來(lái)的研究仍需克服挑戰(zhàn)。作為未來(lái)工作的一部分，團(tuán)隊(duì)計(jì)劃積極收集更加多樣化的城市數(shù)據(jù)，以強(qiáng)化和提升UrbanGPT在更廣泛的城市計(jì)算場(chǎng)景中的應(yīng)用能力。此外，對(duì)UrbanGPT決策機(jī)制的深入理解也極其關(guān)鍵。雖然模型在性能方面表現(xiàn)出色，但提供決策過(guò)程的透明度和可解釋性也同樣重要。未來(lái)的研究將致力于開發(fā)能夠解釋其預(yù)測(cè)結(jié)果的UrbanGPT 模型。

項(xiàng)目鏈接： https://urban-gpt.github.io/code 鏈接： https://github.com/HKUDS/UrbanGPT 論文鏈接： https://arxiv.org/abs/2403.00813 實(shí)驗(yàn)室主頁(yè)： https://sites.google.com/view/chaoh/home—完—Quantum Sign關(guān)注QbitAI·今日頭條，第一時(shí)間了解前沿技術(shù)動(dòng)態(tài)