Commons:Structured data/Computer-aided tagging

This page is presently inactive and retained primarily for historical interest. This feature is disabled and will be removed in the future.

การแท็กโดยใช้คอมพิวเตอร์ช่วยเป็นเทคโนโลยีใหม่ บางครั้งแท็กที่แนะนำอาจผิดหรือไม่เหมาะสม นี่เป็นพฤติกรรมที่คาดหวัง

เครื่องมือ การติดแท็กโดยใช้คอมพิวเตอร์ช่วย เป็นคุณสมบัติในการพัฒนาโดยทีมข้อมูลที่มีโครงสร้างในคอมมอนส์ เพื่อช่วยเหลือสมาชิกชุมชนในการระบุและติดป้ายกำกับ มีไฟล์หลายหมื่นล้านไฟล์ที่ดูแลจัดการอย่างระมัดระวังในคอมมอนส์ แต่เครื่องมือข้อมูลที่มีโครงสร้างยังเป็นของใหม่ ด้วยคุณสมบัตินี้ ไฟล์ที่มีอยู่สามารถมีเนื้อหาได้อย่างง่ายดาย รวดเร็ว และ – หากใช้อย่างระมัดระวัง – อธิบายได้อย่างถูกต้อง ในการมีส่วนร่วม บรรณาธิการไม่จำเป็นต้องรู้ว่าวิกิสนเทศทำงานอย่างไรหรือพูดภาษาใดภาษาหนึ่ง คุณลักษณะใหม่นี้จะแจ้งให้ผู้ใช้ทราบคำแนะนำสำหรับ 'แท็ก' โดยใช้โมเดลการมองเห็นด้วยคอมพิวเตอร์สำหรับการตรวจสอบโดยมนุษย์ ผู้ใช้ทั่วไปจะสามารถไปที่หน้าพิเศษในคอมมอนส์และดูแท็กอธิบายที่แนะนำ ซึ่งสามารถเลือกได้ว่าจะยืนยันหรือละเว้น แท็กจะไม่ถูกเพิ่มโดยอัตโนมัติหากไม่มีมนุษย์เข้ามาเกี่ยวข้อง

การติดแท็กโดยใช้คอมพิวเตอร์ช่วยเติมไฟล์ด้วยข้อมูลที่มีโครงสร้าง ในทางกลับกัน คุณสามารถค้นหาไฟล์เหล่านี้ได้โดยใช้ข้อความค้นหาทั่วไปใน Special:MediaSearch ในลักษณะที่ไม่สามารถทำได้ก่อนหน้านี้ ซึ่งช่วยให้ผู้ใช้ค้นหาสื่อที่หาได้ยากโดยใช้การค้นหาแบบเก่า ซึ่งมักจะใช้ข้อมูลเฉพาะในคำอธิบายไฟล์หรือตำแหน่งหมวดหมู่เพื่อค้นหาไฟล์ หากขาดข้อมูลที่เฉพาะเจาะจง การค้นหาสื่อจำนวนมากใน Commons ผ่านการค้นหามาตรฐานอาจเป็นเรื่องยากถึงเป็นไปไม่ได้ ตัวอย่างเช่น Peter_iredale_sunset_edited1.jpg ปรากฏขึ้นในการค้นหา "ชายหาด" โดยใช้ Special:MediaSearch ต้องขอบคุณคำว่า "ชายหาด" ที่แสดงข้อความที่เพิ่มโดยการติดแท็กโดยใช้คอมพิวเตอร์ช่วย มันไม่ปรากฏขึ้นเลยในการค้นหา "ชายหาด" โดยใช้การค้นหาปกติ

การติดแท็กโดยใช้คอมพิวเตอร์ช่วยคือ ส่วนขยายมีเดียวิกิแบบสแตนด์อโลน และไม่ใช่ส่วนหลักของคอมมอนส์ และเชื่อมโยงกับคอมมอนส์โดยใช้ พิเศษ:แท็กที่แนะนำ ที่ส่วนหลัง เครื่องมือจะใช้ Google Cloud Vision เพื่ออธิบายคำแนะนำ วิกิมีเดียใช้บริการ Google Cloud Vision ใน Wikisource OCR อยู่แล้ว และจะทำงานในทำนองเดียวกัน เครื่องมือนี้เลือกใช้สำหรับผู้ใช้ที่ลงทะเบียนและได้รับการยืนยันอัตโนมัติ เครื่องมือนี้ไม่ได้เปิดใช้งานโดยค่าเริ่มต้นสำหรับกลุ่มผู้ใช้ใด ๆ และไม่สามารถใช้งานได้สำหรับผู้ใช้ใหม่และผู้ใช้ที่ไม่ได้ลงทะเบียน

อัปเดตการใช้งาน CAT/SuggestedTags กันยายน 2020

จนถึงปัจจุบัน (อัปเดตเมื่อ 14 กุมภาพันธ์ 2565):

1. ผู้ใช้ทั้งหมด 5,809 รายได้ทำการแก้ไขผ่านเครื่องมือการแท็กโดยใช้คอมพิวเตอร์ช่วย

   • 962 ของผู้ใช้เหล่านี้ทำผ่านเว็บบนมือถือ

2. 341,957 ไฟล์ทั้งหมดมีการแก้ไขโดยใช้การแท็กโดยใช้คอมพิวเตอร์ช่วย

   • 41,563 ไฟล์เหล่านั้นมีการแก้ไขการแท็กโดยใช้คอมพิวเตอร์ช่วยบนเว็บบนมือถือ

3. 72% ของไฟล์ที่มีการแก้ไข CAT มีการแก้ไขเหล่านั้นโดยผู้ใช้คนเดียวกับที่อัปโหลดไฟล์
4. ไฟล์ประมาณ 10,000 ไฟล์ที่แก้ไขโดย CAT จนถึงขณะนี้เป็นการแก้ไขด้วยตนเองเท่านั้น
5. ขณะนี้เรามีผู้ใช้ใหม่เฉลี่ยประมาณ 20 รายต่อสัปดาห์

แผนภูมิสำหรับข้อมูลนี้ได้รับการอัปเดตทุกวันจันทร์ใน หน้าการวิเคราะห์รายงานการใช้งาน CAT

ความเฉพาะของ CAT

เรากำลังพัฒนาเทคนิคที่เป็นไปได้ในการปรับปรุงความสามารถของเครื่องมือในการระบุองค์ประกอบเฉพาะของภาพถ่ายอย่างถูกต้อง แต่สิ่งสำคัญคือต้องระลึกไว้เสมอว่าอัลกอริทึมของ Google Vision ทำงานได้ดีพอสมควรในพื้นที่หัวข้อต่าง ๆ

การปรับแต่งที่กำลังจะมาถึงในคิวสำหรับภาพทั่วไป

แม้ว่าการใช้งานระบบการแท็กโดยใช้คอมพิวเตอร์ช่วยส่วนใหญ่จะมาจากการที่ผู้ใช้แก้ไขการอัปโหลดของตนเอง (72%) แต่ก็มีคิวแยกต่างหากสำหรับภาพที่ 'เป็นที่นิยม' แอพ Android ยังใช้คิวนี้สำหรับคุณสมบัติที่แสดงรูปภาพสำหรับการเพิ่มคำสั่งบรรยายด้วยตนเองอย่างเคร่งครัด จากคำติชมล่าสุดจากชุมชนคอมมอนส์ เรากำลังสำรวจวิธีจัดลำดับความสำคัญของคิวนี้ให้แตกต่างออกไป โดยเฉพาะอย่างยิ่ง เรากำลังพิจารณาระบบที่จะให้ความสำคัญกับไฟล์ที่ยังไม่ได้จัดหมวดหมู่ นอกจากนี้ ทีมงาน Android จะสำรวจการปรับแต่ง UI เพิ่มเติมเพื่อช่วยในการแก้ความกำกวมของรายการ Wikidata สำหรับการแก้ไขด้วยตนเอง

วิสัยทัศน์ Google Cloud

ข้อมูลทั้งหมดที่ผ่าน Google Cloud Vision จะเป็นข้อมูลสาธารณะด้วย ดัมพ์จะมีข้อมูลที่ไม่ระบุชื่อโดยสมบูรณ์ซึ่งแสดงรายการไฟล์ Commons แท็กที่แนะนำ และแท็กที่ได้รับการยอมรับ Google Cloud Vision แยกออกจาก Wikimedia Commons โดยสิ้นเชิง คุณลักษณะนี้แยกจากประสบการณ์หลักของ Commons

แม้ว่าจะมีแพลตฟอร์มการมองเห็นด้วยคอมพิวเตอร์แบบโอเพ่นซอร์สให้เริ่มต้นใช้งาน แต่แพ็คเกจใดๆ ดังกล่าวก็ต้องการทรัพยากรหรือความเชี่ยวชาญเฉพาะทางเพื่อมอบประสบการณ์มาตรฐานอุตสาหกรรมด้วยการมองเห็นด้วยคอมพิวเตอร์ที่มูลนิธิวิกิมีเดียไม่สามารถจัดหาได้เองในขณะนี้ ทีมงานทราบดีว่า Google Cloud Vision ไม่ใช่ซอฟต์แวร์โอเพ่นซอร์ส จะไม่มีรหัสที่ไม่ฟรีหรือเป็นกรรมสิทธิ์ที่เขียนโดยมูลนิธิสำหรับโครงการนี้ ผลงานทั้งหมดจะยังคงเป็นโอเพ่นซอร์ส^{[clarification needed]} Google จะไม่สามารถเข้าถึงข้อมูลส่วนบุคคลใดๆ ที่ไม่เป็นสาธารณะ จะไม่มีการสื่อสารโดยตรงระหว่างผู้ใช้และบริการของ Google

Architecture and workflow

Design of information flow in computer-assisted image tagging. The "machine vision" provider on the far right requests and sends potential tags for images; there is no personal information exchanged and the provider is isolated from the rest of the system and Commons.

Registered, auto-confirmed users will be able to opt-in through their preferences or uploading files. After some time has passed, the user will be contacted through their notifications that their uploads are ready for tagging at Special:SuggestedTags. Users who have opted-in can visit Special:SuggestedTags at any time to view files ready for tag processing. Anonymous users, new users, and users who have not opted-in will not be able to access Special:SuggestedTags.

The concepts that are available for tagging are ones that translate from Google Knowledge Graph IDs to Wikidata IDs. At 2.1 million triplets, the list is too long to catalog here, but is available for download as freebase-wikidata mappings.

Development stage

All originally planned features for the tool are now deployed and available for use. The development team will continue with tweaks, and possible new features in the future.

• Usability study
• Tracking task for building the tool

Implementation and usage notes

• No personal information is sent to the computer vision platform provider. At launch, this new feature will only use the Google Cloud Vision system, which will be accessed via a middleware layer that hides all user data. Commons images are sent to Google servers from Wikimedia Foundation servers. There will be no direct communication between the user and external services. No personal information (IP, username, etc.) is sent to Google servers. The middleware that contacts Google servers is a Wikimedia project and is open source. No part of Google's service or code will be part of Wikimedia infrastructure.
• Suggestions from the computer vision will not be added to an image file’s structured data until a user has verified them: This service is provided as a means to augment human activity, not replace it. All suggestions from the computer vision service are stored in a separate, specialized database. Suggestions are not saved as structured data on the Commons file until a human user confirms them.
• Users can opt in to receive notifications alerting them that their recent uploads have suggested tags. In the last step of the UploadWizard upload process, users have an option to enable notifications that will inform them when recently uploaded files have passed the waiting period and have tags available for confirmation. This option can also be found in User Preferences under Notifications.
• User contributions that confirm suggested depicts tags are licensed as CC0. This data is equivalent to adding Wikidata to an image, and as such must be contributed under the same CC0 license that Wikidata uses. Clear license notices will inform users that all contributions made via the computer vision tool will be licensed under CC0.
• Analysis of images on Commons: The feature will analyze only images, and provide suggested “depicts” tags based on the content of those images.
• Certain types of images will be excluded: Some types of imagery on Commons are not well-suited for this type of system. Small images (less than 100px wide), artworks (identified via the Artwork template), book page scans, and other files will not be included.
• Newly uploaded files will be analyzed, but not during upload: Commons users continuously monitor new files for vandalism, copyright violations, and relevance to the project. Files that don’t meet the criteria are marked for deletion. The new computer vision feature will only analyze new files after a waiting period has passed, and will not analyze files marked for deletion.
• All tag confirmations show up as regular structured data edits with an edit summary tag that identifies their origin from the computer vision tool: This enables all the usual curation and moderation workflows so changes can be improved, edited, or reverted. It also helps us measure the revert rate and ensure that edits made using CAT are not more frequently reverted than the average edit.
• Problematic tags can be blocked from being suggested: There is a blocklist of tags that will not be suggested by the tagging tool. The official blocklist currently exists within the configuration file for Commons and cannot be edited directly by the community, but suggestions can be made on the blocklist talk page.

กล่องผู้ใช้

คุณสามารถใช้ กล่องผู้ใช้ ในหน้าผู้ใช้ของคุณ

{{User Computer-aided tagging}} links talk view

This user uses Computer-aided tagging tool for tagging images.

This was a failed project

As early as 13 February 2020, experienced Commons users were complaining that the bulk of tags added using this tool were, as one put it, "way too vague, irrelevant or even detrimental". After numerous such complaints over the next several years, on 16 June 2023 the Sr. Director in the WMF Product department acknowledged that "We understand that the accuracy and utility of the tags generated by this tool have been called into question." After some study, on 14 September 2023 they announced, "we will be deactivating the tool on September 20, 2023, after completing the necessary code changes."