Tuesday, May 16, 2017

Klasifikasi Teks dengan Named Entity Recognition (NER) dan Menentukan Keterhubungan Teks

Posted by Martania Triana Dewi at Tuesday, May 16, 2017 0 comment
Seperti yang sering kita baca, klasifikasi teks merupakan proses yang dilakukan untuk menempatkan suatu teks ke dalam kategori atau kelas sesuai dengan karakteristik yang dimiliki oleh teks tersebut. Pada kasus kali ini, klasifikasi teks akan dilakukan dengan menggunakan Named Entity Recognition.
Named Entity Recognition atau NER adalah salah satu subtask terpenting pada Information Extraction (menemukan dan mengklasifikasikan nama-nama entitas dalam teks). [1]

Apa sajakah entitas yang dapat diklasifikasikan oleh NER ?
Entitas yang dapat diklasifikasikan oleh NER yaitu [2]:
- Person
- Organzations
- Times
- Date
- Money, etc.

Pada kasus kali ini, saya akan menjelaskan bagaimana suatu teks dapat diklasifikasikan sesuai dengan entitasnya dan menentukan keterhubungan antara teks tersebut. Entitas yang diklasifikasikan adalah person dan organizations dengan menggunakan bahasa pemrograman python.

Berikut langkah-langkah yang harus dikerjakan pada kasus ini :

  1. Mencari beberapa artikel yang sesuai , pada kasus kali ini saya menggunakan 10 artikel tentang Hilarry Clinton dan Donald Trump
  2. Preprocessing artikel yang sudah di dapat, dengan code seperti pada Gambar 1[3].
    Gambar 1 : Preprocessing Artikel
  3. Klasifikasi teks dengan Entitas person, setelah melakukan tahap preprocessing maka teks yang terdapat pada artikel sudah memiliki label. Untuk entitas names, teks yang digunakan atau diambil adalah teks dengan label 'PERSON'. Source code untuk label 'PERSON' dapat dilihat pada Gambar 2 [3], dan hasilnya dapat dilihat pada Gambar 3.
    Gambar 2 : Entitas Person


    Gambar 3 : Hasil Person
  4. Klasifikasi teks dengan Entitas organizations, setelah melakukan tahap preprocessing maka teks yang terdapat pada artikel sudah memiliki label. Untuk entitas organizations, teks yang digunakan atau diambil adalah teks dengan label 'ORGANIZATION' . Source code untuk label 'ORGANIZATION' dapat dilihat pada Gambar 4 [3], dan hasilnya dapat dilihat pada Gambar 5.
    Gambar 4 : Entitas Organizations



    Gambar 5 : Hasil Organizations
  5. Pembuatan graph, graph ini digunakan untuk merepresentasikan keterhubungan antara teks, baik antara teks dengan entitas person terhadap person, person terhadap organization, organization terhadap organization, maupun organization terhadap person. Untuk implementasi graph ini, code yang digunakan terdapat pada Gambar 6 [3]. 
    Gambar 6 : Pembuatan graph
  6. Setelah melakukan proses dari tahap 1 sampai 5, maka akan didapatkan graph yang merepresentasikan keterkaitan antara entitas person  dan organization  yang diperoleh dari 10 artikel tentang Hilarry Clinton dan Donald Trump. Berikut graph yang didapat :



Referensi :
[1] D. Nadeau and S. Sekine, "A survey of named entity recognition and classification," Nation Research Council Canada/
[2] J. R. Finkel, "jenny-ner-2007.ppt" 9 March 2007. [Online]. Available: https://nlp.stanford.edu/software/jenny-ner-2007.pdf.[Accesed 13 May 2017]
[3] https://github.com/martaniatd/DKE_Martania_1301140276