跳到主要内容

00 全貌:研究在做什麼

導航:目錄 | 01 AUC →

每題的解答都收合在題目下方:先自己作答,再點開「看解答」核對。

先認識這些詞​

這一課第一次出現的詞如下,請先讀完再往下。完整列表見 術語表。

  • 題目:一個被拿來投票的問題,例如「要不要通過某個提案」。研究中也叫「提案」。程式中的欄位名稱是 q,我們舉例時也寫成 q。
  • 投票平台:讓人對題目投票的網站或應用程式。
  • 票:一個人對某一題投的一次選擇。
  • 灌票:為了改變結果,集中大量投票到某個方向。
  • AVP(不記名投票平台):研究的目標平台。每一票都附一個 vote_token(投票憑證),不是帳號;同一人在不同題目上的 vote_token 不同,無法跨題連結。
  • 帳號:平台用來辨認使用者的身分,可以跨多題追蹤同一個人。
  • n:參照題數,也就是冷啟動時用來學習的題數,例如 n = 10 表示只用 10 題參照。它不是實驗次數。
  • Polis:一個意見調查平台,參與者對各種意見表示同意或不同意,研究用它的公開資料(有帳號的來源域之一)。
  • Yelp(YelpNYC):美國的店家評論網站。YelpNYC 是紐約市的店家與評論資料,研究用它來做來源域(有帳號的來源域之一)。
  • 攻擊(S-B、S-L、S-W、C、S-M):研究設計的五種灌票模式的統稱。字母的全名是我們根據程式命名推定的,見下表。
  • 訓練:讓模型從有答案的資料學習規則。
  • 來源域:用來學習的平台。研究用了三個有帳號的平台:Decentraland(DAO 治理投票)、Polis(意見調查)、YelpNYC(紐約市的店家評論)。
  • 目標域:要應用學到的東西的平台。研究中是 AVP。
  • 參照題:用來學習「正常長什麼樣」的題目。訓練時可以看,也可以在上面製造假灌票。
  • 檢驗題:用來考試的題目。訓練時完全不能碰,只用來最後打分。
  • 注入:人工製造假的灌票資料。因為真實的灌票沒有被標記過,研究只能自己製造。
  • 特徵:從一題的票算出來的數字,例如選項比例、投票的時間分布。機器用特徵來判斷。
  • 字典:用正常的參照題記下「正常題目長什麼樣」的一組範本。
  • AUC:衡量「排序能力」的數字。隨機抓一題灌票和一題正常,模型把灌票排在前面的機率。0.5 是亂猜,1.0 是每次都正確。
  • 排序:依分數從大到小排列題目。
  • bootstrap(重抽樣):從手上的資料有放回地重新抽樣,重做很多次,看結果會怎麼變,藉此估計誤差範圍。注意:2,000 次是「重抽」的次數,不是實驗次數;它不會增加新的實驗。
  • 區間(95% 區間):一個數字可能的範圍。例如 [0.08, 0.14] 表示我們有相當把握,真正的數字在這個範圍內。
  • 差(d − e、借用 − 自造):兩個方法的 AUC 相減。大於 0 表示前者比較好。
  • 協定:預先登記的實驗計畫文件。
  • 對照(組):和主要方法放在一起比較、用來排除其他解釋的一組方法或設定。
  • 無監督(方法):不使用答案(哪題是灌票)來學習,只看資料本身的分布,找出與眾不同的題目。
  • 產生器:製造假灌票的程式。研究中的「注入產生器」負責把真票換成假票,造出各種攻擊。
  • 稽核(產生器稽核):檢查假資料有沒有留下不該有的痕跡。例如某個欄位只有假票才會出現,偵測器就可能學到這個痕跡,而不是灌票本身。
  • 欄位:資料表裡的一項資訊。例如每一票的選項、投票的時間,都是欄位。
  • 跨域:把在一個平台學到的模型,拿到另一個平台使用。
  • 自造假資料:AVP 用自己的參照題,人工製造假灌票來訓練(第 5 階段)。協定代號 (e)。
  • 自造假資料(R2 版):同上,但使用 R2 的特徵。協定代號 (e2)。
  • kNN、IF、LOF:三種最基本的「找出不一樣的題目」方法。kNN 看一題和最近幾題差多遠;IF(隔離森林)看一題多容易被單獨切出來;LOF 看一題的密度是否比鄰居低。
  • 圖神經網路(GNN):一種較複雜的模型,直接在圖上學習。研究的第一輪用的是它。
  • 真實標籤:真正知道答案(哪題是真的灌票)的標記。AVP 沒有真實標籤,所以研究只能用代理標籤近似。
  • 借用模型:只用其他來源域的資料訓練,直接拿到 AVP 上用。協定代號 (d)。
  • 模型:會從資料學規則,然後對新資料給出判斷的程式。
  • 替換式注入:把一些真票改成假票,總票數不變。
  • 加法式注入:在原有的票上多加假票,總票數會變多。

目標​

讀完這課,你能用三句話說出研究在做什麼,並說出每個數字是在哪一步產生的。

白話​

想像一個投票平台。有人會「灌票」:讓某個題目的結果朝特定方向翻盤。

問題是 AVP(不記名投票平台)沒有帳號,也沒有人標記過哪些是灌票。所以平台本身無法學會偵測灌票。

研究的做法是:

  1. 找三個有帳號的平台(Decentraland、Polis、YelpNYC),在它們的資料上人工製造灌票,因為這時我們知道哪些是假的。
  2. 用這些人工灌票的資料訓練一個偵測器。
  3. 把偵測器搬到 AVP 上試,看它能不能抓到 AVP 上的灌票。
  4. 再比較:如果讓 AVP 自己製造假灌票來訓練,會不會比直接用別的平台的偵測器更好。

有帳號的三個平台叫來源域,AVP 叫目標域。

資料怎麼流動​

有帳號的來源域(三個)          無帳號的目標域(AVP)
│ │
▼ │
載入、把帳號換成數字代碼 │
│ │
▼ │
切成「參照題」與「檢驗題」 │
│ │
▼ │
在參照題上人工灌票(注入) │
│ │
▼ │
算每題的特徵(投票型態、時間、字典) │
│ │
▼ ▼
訓練偵測器 ──────────────────▶ 在檢驗題上打分
│
▼
AUC(排序能力)+ bootstrap 區間
│
▼
論文中的數字

研究最重要的一個比較​

借用 − 自造(協定代號 d − e):同樣的偵測器,只差訓練資料來自哪裡。

  • 如果借用 − 自造 > 0:借來的資料比自己造的好。
  • 如果借用 − 自造 < 0:自己造的比較好。

論文的一個關鍵問題是:借用的優勢,有多少是因為「偵測器知道灌票長什麼樣」,有多少是真的來自跨平台。這個問題在 C 課(結果對照)與 D 課(統計與推論)會再回來。

看似簡單、實際困難的地方​

這份全貌把整個研究的問題說成一句話:借來的偵測器,是否比目標平台自己用無監督方法做的偵測器好? 要回答這個問題,有幾件事很難做對。讀的時候要知道這些地方,否則容易把結論看得太簡單。

困難一:假資料怎麼造才公平。 如果把假票加進去(加法式),總票數會變多,光看票數就能抓到不少假資料。所以研究改用替換式:把真票換成假票,總票數不變。 這還不夠。研究還要用「產生器稽核」檢查假票有沒有留下其他不該有的痕跡,例如某個欄位只有假票才會出現。這一步看起來瑣碎,但如果沒做,偵測器學到的可能是「假資料的痕跡」,而不是「灌票的樣子」。

困難二:比較要公平。 跨域偵測器與目標平台無監督方法的差距,有一部分只要目標平台用同一個產生器自己造假資料,就能得到。剩下的部分才是「跨平台」的功勞,而它的大小要看用哪一種區間(見 02 課)。研究為此加了一組對照(自造假資料),把這兩部分分開。

困難三:數字的誤差範圍怎麼算。 同一批結果,用不同的重抽方法(抽樣層級、兩層、交叉,見 02 課)算出的區間寬窄不同,結論可能跟著改變。同一組數字在不同區間下,可能一個不含 0、另一個含 0。讀結果時要看的是「用哪一種區間」。

困難四:比較的對手要夠強。 跨域方法的優勢,是拿它和目標平台的無監督方法比。如果無監督方法本來就很弱,差距會被放大。研究只測試了 kNN、IF、LOF 三種常見的無監督方法,沒有測試更強的對手。所以差距的大小有一部分取決於對手的強弱,目前還不能完全確定。

讀完這一節,應該記住:

  • 研究的結論有條件:只在模擬的灌票上成立,而且要看是哪一種區間、哪一種題數。
  • 負面結果(例如圖神經網路沒有勝出、真實標籤的測試失敗)也是研究的一部分,不是失敗的附帶品。

練習​

1. 用自己的話講一次「替換式注入」與「加法式注入」的差別。

看解答

加法式是在原本的票上多加假票,總票數變多;替換式是把真票改成假票,總票數不變。研究用替換式,因為只看票數就能抓到加法式的假票。

2. 圖中哪一步是「不讓偵測器看到答案」的關鍵?

看解答

切分(參照與檢驗分開),以及訓練時不得碰檢驗題。

檢核​

1. 來源域和目標域的差別是什麼?

看解答

來源域是有帳號、用來學習的平台(研究用三個);目標域是要應用學到東西的平台(這裡是 AVP),沒有帳號,也沒有標籤。

2. 「借用模型」和「自造假資料」分別用什麼資料訓練?

看解答

「借用模型」只用其他來源域的資料訓練;「自造假資料」用 AVP 自己的參照題,加上人工製造的假灌票來訓練。

3. 為什麼要比較「借用」和「自造」,而不是只看借用?

看解答

只看借用,無法分辨優勢是來自「跨平台」,還是來自「偵測器本來就知道灌票長什麼樣」。兩者一起比較,才能把這兩部分分開。

導航​

引用文獻​

  • 研究資料來源:Snapshot Labs (2026) [bib: snapshot_hub];Computational Democracy Project,Polis 公開資料 (2026) [bib: compdemocracy_polis_opendata];Rayana & Akoglu (2015),YelpNYC [bib: rayana2015collective]。
  • 投票操弄的背景:Tran et al. (2009) [bib: tran2009sumup];Chandola et al. (2009),異常偵測綜述 [bib: chandola2009anomaly]。
  • 本研究的定位與「跨域、零樣本」的相關工作:Zheng et al. (2026) [bib: zheng2026owleye]。