Meningkatkan deteksi risiko privasi dengan pelabelan urutan dan pencarian web

Ttable tautan

Abstrak dan 1 Pendahuluan

2 latar belakang

2.1 Definisi

2.2 pendekatan NLP

2.3 Penerbitan data pemeliharaan privasi

2.4 Privasi diferensial

3 Dataset dan 3.1 Teks Anonimisasi Benchmark (Tab)

3.2 Biografi Wikipedia

4 pengenal entitas yang berorientasi privasi

4.1 Properti Wikidata

4.2 Silver Corpus dan Model Fine-tuning

4.3 Evaluasi

4.4 Label Ketidaksepakatan

4.5 Jenis Semantik MISC

5 Indikator Risiko Privasi

5.1 Probabilitas LLM

5.2 Klasifikasi Bentang

5.3 Gangguan

5.4 Labeling Urutan dan 5.5 Pencarian Web

6 Analisis Indikator Risiko Privasi dan 6.1 Metrik Evaluasi

6.2 Hasil Eksperimen dan 6.3 Diskusi

6.4 Kombinasi indikator risiko

7 Kesimpulan dan pekerjaan di masa depan

Deklarasi

Referensi

Lampiran

A. Sifat manusia dari wikidata

B. Parameter Pelatihan Pengenalan Entitas

C. Perjanjian Label

D. Probabilitas LLM: Model dasar

E. Ukuran dan kinerja pelatihan

F. Ambang batas gangguan

5.4 Labeling Urutan

Namun pendekatan lain untuk secara tidak langsung menilai risiko identifikasi ulang berdasarkan keputusan masking dari para ahli adalah untuk memperkirakan model pelabelan urutan. Dibandingkan dengan metode sebelumnya, metode ini adalah metode yang paling tergantung pada ketersediaan data pelatihan berlabel dalam domain.

Untuk pendekatan ini, kami menyempurnakan model bahasa tipe enkoder pada tujuan klasifikasi token, masing-masing token yang ditugaskan untuk topeng atau tidak ada topeng. Untuk biografi Wikipedia, kami mengandalkan model Roberta (Liu et al., 2019), sementara kami beralih ke model longformer (Beltagy et al., 2020) untuk tab mengingat panjang kasus pengadilan, seperti yang diusulkan dalam Pil'an et al. (2022). Karena perbedaan antara rentang berlabel manual atau terdeteksi oleh pengukur entitas yang berorientasi pada privasi, dan yang dibuat oleh model yang disesuaikan, kami beroperasi di bawah dua pengaturan yang mungkin:

• Pertandingan penuh: Kami mengasumsikan bahwa rentang merupakan risiko identifikasi ulang yang tinggi jika semua tokennya ditandai sebagai topeng oleh longformer/Roberta yang disempurnakan.

• Pencocokan parsial: Kami menganggap bahwa rentang tersebut memiliki risiko tinggi jika setidaknya satu token ditandai sebagai topeng oleh model Longformer/Roberta.

5.5 Pencarian Web

Kami menggunakan API Google untuk meminta setiap individu target dalam dokumen yang diberikan dan rentang teks unik yang terjadi dalam dokumen yang diberikan[7]. Google API menyediakan 10 hasil per halaman. Kami membatasi percobaan ke 20 hasil teratas (yaitu dua halaman pertama dari pencarian web). Untuk menghindari jumlah panggilan API yang sangat tinggi, kami juga membatasi pencarian untuk rentang teks individual, meskipun pendekatan yang sama pada prinsipnya dapat diperluas untuk kombinasi rentang PII.

Kami juga menggunakan jumlah total hit yang dilaporkan oleh Google Search API untuk setiap kueri PII Span. Asumsinya di sini adalah bahwa jika pencarian menghasilkan sejumlah besar tanggapan, ada kemungkinan lebih tinggi bahwa salah satu dari respons tersebut akan berisi informasi tentang individu target. Namun, pertanyaan pencarian umum juga cenderung mengembalikan banyak tanggapan. Oleh karena itu kami mempertimbangkan untuk menerapkan batas atas dan bawah pada jumlah total hit. Ambang batas ini diatur secara eksperimental untuk memaksimalkan skor TokenLevel F1 pada set pengembangan tab. Ini menghasilkan batas bawah 100 hit dan tidak ada batas atas. Metode ini dibatasi oleh sifat potensial yang tidak dapat diandalkan dari total respons yang dilaporkan oleh mesin pencari web, seperti yang ditunjukkan dalam S'anchez et al. (2018).

---

[7] Pencarian web berasal dari periode yang mencakup Juli 2023 hingga September 2023.