Bagaimana analisis rentang teks meningkatkan privasi data

Tabel tautan

Abstrak dan 1 Pendahuluan

2 latar belakang

2.1 Definisi

2.2 pendekatan NLP

2.3 Penerbitan data pemeliharaan privasi

2.4 Privasi diferensial

3 Dataset dan 3.1 Teks Anonimisasi Benchmark (Tab)

3.2 Biografi Wikipedia

4 pengenal entitas yang berorientasi privasi

4.1 Properti Wikidata

4.2 Silver Corpus dan Model Fine-tuning

4.3 Evaluasi

4.4 Label Ketidaksepakatan

4.5 Jenis Semantik MISC

5 Indikator Risiko Privasi

5.1 Probabilitas LLM

5.2 Klasifikasi Bentang

5.3 Gangguan

5.4 Labeling Urutan dan 5.5 Pencarian Web

6 Analisis Indikator Risiko Privasi dan 6.1 Metrik Evaluasi

6.2 Hasil Eksperimen dan 6.3 Diskusi

6.4 Kombinasi indikator risiko

7 Kesimpulan dan pekerjaan di masa depan

Deklarasi

Referensi

Lampiran

A. Sifat manusia dari wikidata

B. Parameter Pelatihan Pengenalan Entitas

C. Perjanjian Label

D. Probabilitas LLM: Model dasar

E. Ukuran dan kinerja pelatihan

F. Ambang batas gangguan

5.2 Klasifikasi Bentang

Pendekatan pada bagian sebelumnya memiliki manfaat menjadi relatif umum, karena hanya mempertimbangkan probabilitas LLM agregat dan memprediksi tipe PII. Namun, itu tidak memperhitungkan konten teks dari rentang itu sendiri. Kami sekarang menyajikan indikator yang mencakup informasi teks ini untuk memprediksi apakah rentang teks merupakan risiko privasi yang tinggi, dan karenanya harus ditutupi.

Secara konkret, kami memperkaya classifier dari bagian sebelumnya dengan menambahkan ke fitur representasi vektor dari rentang teks yang berasal dari model bahasa besar. Klasifikasi dengan demikian bergantung pada kombinasi fitur numerik (probabilitas LLM agregat yang dibahas di atas, yang kami tambahkan jumlah kata dan subword dari rentang), fitur kategori (pengkodean jenis PII), dan representasi vektor dari rentang teks. Yang terpenting, model bahasa berbasis transformator yang menghasilkan representasi vektor ini disesuaikan dengan tugas prediksi ini.

Arsitektur model yang dihasilkan diilustrasikan pada Gambar 2. Konkretnya, pelatihan model dilakukan dengan menggunakan prediktor multimodal autogluon (Shi et al., 2021), membuatnya lebih mudah untuk menggabungkan berbagai jenis fitur, termasuk konten tekstual yang diproses dengan model bahasa saraf. Kami menggunakan model diskriminator electra di sini karena kinerjanya yang baik (Clark et al., 2020; Shi et al., 2021). Fitur kategorikal dan numerik diproses oleh MLP standar. Setelah setiap model dilatih secara terpisah, outputnya dikumpulkan (gabungan) oleh model MLP menggunakan strategi sekering-akhir di dekat lapisan output. Tabel 4 memberikan beberapa contoh input.

Untuk eksperimen kami, kami kembali menyesuaikan classifier menggunakan set data pelatihan koleksi biografi Wikipedia yang beranotasi dan Corpus Tab.

5.3 Gangguan

Dua indikator risiko sebelumnya menggunakan fitur yang diekstraksi dari rentang teks untuk meniru keputusan masking dari annotator manusia. Namun, mereka tidak dapat mengukur berapa banyak informasi yang dapat dikontribusikan rentang PII untuk identifikasi ulang. Mereka juga mempertimbangkan setiap rentang PII secara terpisah, dengan demikian mengabaikan fakta bahwa pengidentifikasi semu merupakan risiko privasi justru karena kombinasi mereka satu sama lain. Kami sekarang beralih ke indikator risiko privasi yang berupaya mengatasi kedua tantangan itu.

Pendekatan ini terinspirasi oleh metode arti -penting (Li et al., 2016; Ding et al., 2019) digunakan untuk menjelaskan dan menafsirkan output model bahasa besar. Salah satu metode tersebut adalah I ketika seseorang mengubah input ke model dengan modifikasi atau penghapusan, dan mengamati bagaimana perubahan ini mempengaruhi prediksi hilir (Kindermans et al., 2019; Li et al., 2017; Serrano dan Smith, 2019). Dalam kasus kami, kami mengganggu Input dengan mengubah satu atau lebih rentang PII dan menganalisis konsekuensi dari perubahan ini pada probabilitas yang dihasilkan oleh model bahasa untuk rentang PII lain dalam teks.

Pertimbangkan teks berikut:

Untuk menilai span mana yang akan menutupi, kami menggunakan model Roberta Large (Liu et al., 2019) dan semua kombinasi PII yang mungkin dalam teks dalam pengaturan berbasis perturbasi. Kami mulai dengan menghitung probabilitas rentang target dengan sisa konteks yang tersedia dalam teks. Kami kemudian menutupi setiap rentang PII lainnya dalam dokumen dan menghitung ulang probabilitas rentang target untuk menentukan bagaimana tidak adanya rentang PII mempengaruhi probabilitas rentang target.

Untuk mendapatkan estimasi yang masuk akal, kita harus menutupi semua rentang yang merujuk pada entitas yang sama sambil menghitung probabilitas. Dalam Contoh 9, Michael Linder Dan Linder Lihat entitas yang sama. Kami menggunakan dalam percobaan kami, tautan co-referensi yang sudah dianotasi dalam Corpus Tab dan koleksi biografi Wikipedia.