Data science
தரவு அறிவியல் என்பது புள்ளியியல், அறிவியல் கணினி, அறிவியல் முறைகள், செயல்முறைகள், வழிமுறைகள் மற்றும் அமைப்புகளைப் பயன்படுத்தி சத்தம், கட்டமைக்கப்பட்ட மற்றும் கட்டமைக்கப்படாத தரவுகளிலிருந்து அறிவையும் நுண்ணறிவுகளையும் பிரித்தெடுக்க அல்லது விரிவுபடுத்தும் ஒரு இடைநிலை கல்வித் துறையாகும். தரவு அறிவியல் அடிப்படை பயன்பாட்டு களத்திலிருந்து (எ. கா., இயற்கை அறிவியல், தகவல் தொழில்நுட்பம் மற்றும் மருத்துவம்) கள அறிவையும் ஒருங்கிணைக்கிறது. தரவு அறிவியல் பன்முகத்தன்மை கொண்டது மற்றும் ஒரு அறிவியல், ஒரு ஆராய்ச்சி முன்னுதாரணம், ஒரு ஆராய்ச்சி முறை, ஒரு துறை, ஒரு பணிப்பாய்வு மற்றும் ஒரு தொழில் என விவரிக்கப்படலாம். தரவு அறிவியல் என்பது தரவுகளுடன் "உண்மையான நிகழ்வுகளைப் புரிந்துகொள்வதற்கும் பகுப்பாய்வு செய்வதற்கும்" "புள்ளிவிவரங்கள், தரவு பகுப்பாய்வு, தகவலியல் மற்றும் அவற்றின் தொடர்புடைய முறைகளை ஒன்றிணைப்பதற்கான ஒரு கருத்தாகும். இது கணிதம், புள்ளியியல், கணினி அறிவியல், தகவல் அறிவியல் மற்றும் கள அறிவு ஆகியவற்றின் பின்னணியில் பல துறைகளிலிருந்து பெறப்பட்ட நுட்பங்கள் மற்றும் கோட்பாடுகளைப் பயன்படுத்துகிறது. இருப்பினும், தரவு அறிவியல் கணினி அறிவியல் மற்றும் தகவல் அறிவியலில் இருந்து வேறுபட்டது. டூரிங் விருது வென்ற ஜிம் கிரே தரவு அறிவியலை அறிவியலின் "நான்காவது முன்னுதாரணம்" (அனுபவபூர்வமான, கோட்பாட்டு, கணக்கீட்டு மற்றும் இப்போது தரவு சார்ந்த) என்று கற்பனை செய்து, "தகவல் தொழில்நுட்பத்தின் தாக்கம் மற்றும் தரவு வெள்ளம் காரணமாக அறிவியலைப் பற்றிய அனைத்தும் மாறி வருகின்றன" என்று வலியுறுத்தினார். தரவு விஞ்ஞானி என்பது நிரலாக்கக் குறியீட்டை உருவாக்கி, தரவுகளிலிருந்து நுண்ணறிவுகளை உருவாக்க புள்ளிவிவர அறிவுடன் இணைக்கும் ஒரு நிபுணர் ஆவார். அடித்தளங்கள் தரவு அறிவியல் என்பது பொதுவாக பெரிய தரவுத் தொகுப்புகளிலிருந்து அறிவைப் பெறுவதிலும், பரந்த அளவிலான பயன்பாட்டு களங்களில் உள்ள சிக்கல்களைத் தீர்க்க அந்த தரவுகளிலிருந்து அறிவு மற்றும் நுண்ணறிவுகளைப் பயன்படுத்துவதிலும் கவனம் செலுத்தும் ஒரு இடைநிலைத் துறையாகும். பகுப்பாய்வுக்கான தரவைத் தயாரித்தல், தரவு அறிவியல் சிக்கல்களை உருவாக்குதல், தரவை பகுப்பாய்வு செய்தல், தரவு சார்ந்த தீர்வுகளை உருவாக்குதல் மற்றும் பரந்த அளவிலான பயன்பாட்டு களங்களில் உயர் மட்ட முடிவுகளைத் தெரிவிக்க கண்டுபிடிப்புகளை வழங்குதல் ஆகியவை இந்தத் துறையில் அடங்கும். எனவே, இது கணினி அறிவியல், புள்ளியியல், தகவல் அறிவியல், கணிதம், தரவு காட்சிப்படுத்தல், தகவல் காட்சிப்படுத்தல், தரவு சோனிஃபிகேஷன், தரவு ஒருங்கிணைப்பு, கிராஃபிக் வடிவமைப்பு, சிக்கலான அமைப்புகள், தகவல் தொடர்பு மற்றும் வணிகம் ஆகியவற்றிலிருந்து திறன்களை உள்ளடக்கியது. புள்ளிவிவர நிபுணர் நாதன் யாவ், பென் ஃப்ரைவை வரைந்து, தரவு அறிவியலை மனித-கணினி தொடர்புடன் இணைக்கிறார்ஃ பயனர்கள் உள்ளுணர்வுடன் தரவைக் கட்டுப்படுத்தவும் ஆராயவும் முடியும். 2015 ஆம் ஆண்டில், அமெரிக்க புள்ளியியல் சங்கம் தரவுத்தள மேலாண்மை, புள்ளிவிவரங்கள் மற்றும் இயந்திர கற்றல் மற்றும் விநியோகிக்கப்பட்ட மற்றும் இணையான அமைப்புகளை மூன்று வளர்ந்து வரும் அடித்தள தொழில்முறை சமூகங்களாக அடையாளம் கண்டது. நேட் சில்வர் உட்பட பல புள்ளியியல் வல்லுநர்கள், தரவு அறிவியல் ஒரு புதிய துறை அல்ல, மாறாக புள்ளியியலுக்கான மற்றொரு பெயர் என்று வாதிட்டனர். தரவு அறிவியல் புள்ளிவிவரங்களிலிருந்து வேறுபட்டது என்று மற்றவர்கள் வாதிடுகின்றனர், ஏனெனில் இது டிஜிட்டல் தரவுகளுக்கு தனித்துவமான சிக்கல்கள் மற்றும் நுட்பங்களில் கவனம் செலுத்துகிறது. புள்ளிவிவரங்கள் அளவு தரவு மற்றும் விளக்கத்தை வலியுறுத்துகின்றன என்று வசந்த் தார் எழுதுகிறார். இதற்கு மாறாக, தரவு அறிவியல் அளவு மற்றும் தரமான தரவைக் கையாள்கிறது (எ. கா., படங்கள், உரை, சென்சார்கள், பரிவர்த்தனைகள், வாடிக்கையாளர் தகவல் போன்றவை) மேலும் முன்கணிப்பு மற்றும் செயலை வலியுறுத்துகிறது. கொலம்பியா பல்கலைக்கழகத்தின் ஆண்ட்ரூ கெல்மேன் புள்ளிவிவரங்களை தரவு அறிவியலின் அத்தியாவசியமற்ற பகுதி என்று விவரித்துள்ளார். ஸ்டான்போர்ட் பேராசிரியர் டேவிட் டோனோஹோ, தரவு அறிவியல் புள்ளிவிவரங்களிலிருந்து தரவுத்தொகுப்புகளின் அளவு அல்லது கணினியின் பயன்பாட்டின் மூலம் வேறுபடுத்தப்படவில்லை என்றும், பல பட்டதாரி திட்டங்கள் தங்கள் பகுப்பாய்வு மற்றும் புள்ளிவிவரப் பயிற்சியை தரவு அறிவியல் திட்டத்தின் சாராம்சமாக தவறாக விளம்பரப்படுத்துகின்றன என்றும் எழுதுகிறார். தரவு அறிவியலை பாரம்பரிய புள்ளிவிவரங்களிலிருந்து வளர்ந்து வரும் ஒரு பயன்பாட்டுத் துறை என்று அவர் விவரிக்கிறார். 1962 ஆம் ஆண்டில், ஜான் டுகி நவீன தரவு அறிவியலை ஒத்திருக்கும் "தரவு பகுப்பாய்வு" என்று அவர் அழைத்த ஒரு துறையை விவரித்தார். 1985 ஆம் ஆண்டில், பெய்ஜிங்கில் உள்ள சீன அறிவியல் அகாடமியில் ஒரு சொற்பொழிவில், சி. எஃப். ஜெஃப் வு முதன்முறையாக "தரவு அறிவியல்" என்ற வார்த்தையை புள்ளிவிவரங்களுக்கான மாற்று பெயராகப் பயன்படுத்தினார். பின்னர், மாண்ட்பெல்லியர் II பல்கலைக்கழகத்தில் 1992 ஆம் ஆண்டு புள்ளிவிவர சிம்போசியத்தில் கலந்து கொண்டவர்கள், பல்வேறு தோற்றங்கள் மற்றும் வடிவங்களின் தரவுகளில் கவனம் செலுத்தும் ஒரு புதிய துறையின் தோற்றத்தை ஒப்புக் கொண்டனர், இது நிறுவப்பட்ட கருத்துக்கள் மற்றும் புள்ளிவிவரங்களின் கொள்கைகள் மற்றும் தரவு பகுப்பாய்வு ஆகியவற்றை கணினியுடன் இணைத்தது. "தரவு அறிவியல்" என்ற சொல் 1974 ஆம் ஆண்டிலிருந்து கண்டுபிடிக்கப்பட்டுள்ளது, பீட்டர் நௌர் இதை கணினி அறிவியலுக்கு மாற்று பெயராக முன்மொழிந்தார். 1996 ஆம் ஆண்டில், தரவு அறிவியலை ஒரு தலைப்பாக குறிப்பாக முன்வைத்த முதல் மாநாடு இன்டர்நேஷனல் ஃபெடரேஷன் ஆஃப் கிளாஸிஃபிகேஷன் சொசைட்டிஸ் ஆகும். இருப்பினும், வரையறை இன்னும் மாறிக்கொண்டே இருந்தது. பெய்ஜிங்கில் உள்ள சீன அறிவியல் அகாடமியில் 1985 ஆம் ஆண்டு சொற்பொழிவுக்குப் பிறகு, 1997 ஆம் ஆண்டில் சி. எஃப். ஜெஃப் வு மீண்டும் புள்ளிவிவரங்களை தரவு அறிவியல் என்று மறுபெயரிட வேண்டும் என்று பரிந்துரைத்தார். கணக்கியலுக்கு ஒத்ததாகவோ அல்லது தரவை விவரிப்பதற்கு மட்டுப்படுத்தப்பட்டதாகவோ இருப்பது போன்ற தவறான ஸ்டீரியோடைப்களை அகற்ற ஒரு புதிய பெயர் புள்ளிவிவரங்களுக்கு உதவும் என்று அவர் நியாயப்படுத்தினார். 1998 ஆம் ஆண்டில், ஹயாஷி சிக்கியோ தரவு அறிவியலை ஒரு புதிய, இடைநிலைக் கருத்தாக வாதிட்டார், இதில் மூன்று அம்சங்கள் உள்ளனஃ தரவு வடிவமைப்பு, சேகரிப்பு மற்றும் பகுப்பாய்வு. 1990 களில், தரவுத்தொகுப்புகளில் வடிவங்களைக் கண்டுபிடிப்பதற்கான செயல்முறைக்கான பிரபலமான சொற்கள் (அவை பெருகிய முறையில் பெரியதாக இருந்தன) "அறிவு கண்டுபிடிப்பு" மற்றும் "தரவு சுரங்கம்" ஆகியவை அடங்கும். நவீன பயன்பாடு 2012 ஆம் ஆண்டில், தொழில்நுட்ப வல்லுநர்கள் தாமஸ் எச். டேவன்போர்ட் மற்றும் டி. ஜே. பாட்டீல் ஆகியோர் "தரவு விஞ்ஞானிஃ 21 ஆம் நூற்றாண்டின் கவர்ச்சியான வேலை" என்று அறிவித்தனர், இது நியூயார்க் டைம்ஸ் மற்றும் பாஸ்டன் குளோப் போன்ற முக்கிய நகர செய்தித்தாள்களால் கூட எடுக்கப்பட்டது. ஒரு தசாப்தத்திற்குப் பிறகு, அவர்கள் அதை மீண்டும் உறுதிப்படுத்தினர், "முதலாளிகளுக்கு முன்னெப்போதையும் விட இந்த வேலைக்கு அதிக தேவை உள்ளது" என்று கூறினர். தரவு அறிவியல் ஒரு சுயாதீனமான துறையாக நவீன கருத்தாக்கம் சில நேரங்களில் வில்லியம் எஸ். கிளீவ்லேண்டிற்குக் காரணம். 2001 ஆம் ஆண்டு ஒரு கட்டுரையில், அவர் கோட்பாட்டிற்கு அப்பாற்பட்ட புள்ளிவிவரங்களை தொழில்நுட்பப் பகுதிகளாக விரிவுபடுத்துவதை ஆதரித்தார்; ஏனெனில் இது புலத்தை கணிசமாக மாற்றும், இது ஒரு புதிய பெயரை உத்தரவாதம் செய்தது. அடுத்த சில ஆண்டுகளில் "டேட்டா சயின்ஸ்" மிகவும் பரவலாகப் பயன்படுத்தப்பட்டதுஃ 2002 ஆம் ஆண்டில், அறிவியல் மற்றும் தொழில்நுட்பத்திற்கான டேட்டா கமிட்டி டேட்டா சயின்ஸ் ஜர்னலைத் தொடங்கியது. 2003 ஆம் ஆண்டில், கொலம்பியா பல்கலைக்கழகம் தி ஜர்னல் ஆஃப் டேட்டா சயின்ஸை அறிமுகப்படுத்தியது. 2014 ஆம் ஆண்டில், அமெரிக்க புள்ளியியல் சங்கத்தின் புள்ளியியல் கற்றல் மற்றும் தரவு சுரங்கப் பிரிவு அதன் பெயரை புள்ளியியல் கற்றல் மற்றும் தரவு அறிவியல் பிரிவு என்று மாற்றியது, இது தரவு அறிவியலின் உயரும் பிரபலத்தை பிரதிபலிக்கிறது. 2008 ஆம் ஆண்டில் டி. ஜே. பாட்டீல் மற்றும் ஜெஃப் ஹாமர்பாச்சர் ஆகியோருக்கு "தரவு விஞ்ஞானி" என்ற தொழில்முறை பட்டம் வழங்கப்பட்டது. தேசிய அறிவியல் வாரியம் 2005 ஆம் ஆண்டு "நீண்டகால டிஜிட்டல் தரவு சேகரிப்புகள்ஃ 21 ஆம் நூற்றாண்டில் ஆராய்ச்சி மற்றும் கல்வியை செயல்படுத்துதல்" என்ற அறிக்கையில் இதைப் பயன்படுத்தியிருந்தாலும், டிஜிட்டல் தரவு சேகரிப்பை நிர்வகிப்பதில் எந்தவொரு முக்கிய பங்கையும் இது பரவலாக குறிப்பிடுகிறது. தரவு அறிவியலின் வரையறை குறித்து இன்னும் ஒருமித்த கருத்து இல்லை, மேலும் இது ஒரு சலசலப்பான வார்த்தையாக சிலரால் கருதப்படுகிறது. பெரிய தரவு என்பது ஒரு தொடர்புடைய சந்தைப்படுத்தல் சொல். தரவு விஞ்ஞானிகள் பெரிய தரவைப் பயன்படுத்தக்கூடிய தகவல்களாக உடைப்பதற்கும், நிறுவனங்கள் மற்றும் நிறுவனங்களுக்கு உகந்த செயல்பாடுகளைத் தீர்மானிக்க உதவும் மென்பொருள் மற்றும் வழிமுறைகளை உருவாக்குவதற்கும் பொறுப்பு. தரவு அறிவியல் மற்றும் தரவு பகுப்பாய்வு தரவு அறிவியல் மற்றும் தரவு பகுப்பாய்வு ஆகிய இரண்டும் தரவு மேலாண்மை மற்றும் பகுப்பாய்வு துறையில் முக்கியமான துறைகளாகும், ஆனால் அவை பல முக்கிய வழிகளில் வேறுபடுகின்றன. இரண்டு துறைகளும் தரவுகளுடன் பணிபுரிவதை உள்ளடக்கியிருந்தாலும், தரவு அறிவியல் என்பது தரவுகளிலிருந்து நுண்ணறிவுகளைப் பெறுவதற்கும் கணிப்புகளைச் செய்வதற்கும் புள்ளிவிவர, கணக்கீட்டு மற்றும் இயந்திர கற்றல் முறைகளைப் பயன்படுத்துவதை உள்ளடக்கிய ஒரு இடைநிலைத் துறையாகும், அதே நேரத்தில் தரவு பகுப்பாய்வு வடிவங்கள் மற்றும் போக்குகளைக் கண்டறிய தரவின் பரிசோதனை மற்றும் விளக்கத்தில் அதிக கவனம் செலுத்துகிறது. தரவு பகுப்பாய்வு பொதுவாக குறிப்பிட்ட கேள்விகளுக்கு பதிலளிக்க அல்லது குறிப்பிட்ட சிக்கல்களைத் தீர்க்க சிறிய, கட்டமைக்கப்பட்ட தரவுத்தொகுப்புகளுடன் வேலை செய்வதை உள்ளடக்கியது. தரவைப் பற்றிய நுண்ணறிவுகளைப் பெறுவதற்கும், மாறிகளுக்கு இடையிலான உறவுகளைப் பற்றிய கருதுகோள்களை உருவாக்குவதற்கும் தரவு சுத்தம், தரவு காட்சிப்படுத்தல் மற்றும் ஆய்வு தரவு பகுப்பாய்வு போன்ற பணிகளை இது உள்ளடக்கும். தரவு ஆய்வாளர்கள் பொதுவாக இந்த கருதுகோள்களைச் சோதிக்கவும் தரவுகளிலிருந்து முடிவுகளை எடுக்கவும் புள்ளிவிவர முறைகளைப் பயன்படுத்துகின்றனர். எடுத்துக்காட்டாக, ஒரு தரவு ஆய்வாளர் வாடிக்கையாளர் நடத்தையில் உள்ள போக்குகளைக் கண்டறிந்து சந்தைப்படுத்தல் உத்திகளுக்கான பரிந்துரைகளைச் செய்ய விற்பனைத் தரவை பகுப்பாய்வு செய்யலாம். மறுபுறம், தரவு அறிவியல் என்பது மிகவும் சிக்கலான மற்றும் மறு செய்கை செயல்முறையாகும், இது பெரிய, மிகவும் சிக்கலான தரவுத்தொகுப்புகளுடன் பணிபுரிவதை உள்ளடக்கியது, அவை பெரும்பாலும் பகுப்பாய்வு செய்ய மேம்பட்ட கணக்கீட்டு மற்றும் புள்ளிவிவர முறைகள் தேவைப்படுகின்றன. தரவு விஞ்ஞானிகள் பெரும்பாலும் உரை அல்லது படங்கள் போன்ற கட்டமைக்கப்படாத தரவுகளுடன் வேலை செய்கிறார்கள் மற்றும் கணிப்பு மாதிரிகளை உருவாக்க இயந்திர கற்றல் வழிமுறைகளைப் பயன்படுத்துகிறார்கள் மற்றும் தரவு சார்ந்த முடிவுகளை எடுக்கிறார்கள். புள்ளிவிவர பகுப்பாய்விற்கு கூடுதலாக, தரவு அறிவியல் பெரும்பாலும் தரவு முன் செயலாக்கம், அம்ச பொறியியல் மற்றும் மாதிரி தேர்வு போன்ற பணிகளை உள்ளடக்கியது. உதாரணமாக, ஒரு தரவு விஞ்ஞானி பயனர் நடத்தை முறைகளை பகுப்பாய்வு செய்வதன் மூலமும், பயனர் விருப்பங்களை கணிக்க இயந்திர கற்றல் வழிமுறைகளைப் பயன்படுத்துவதன் மூலமும் ஒரு இ-காமர்ஸ் தளத்திற்கான பரிந்துரை முறையை உருவாக்கலாம். தரவு பகுப்பாய்வு தற்போதுள்ள தரவுகளிலிருந்து நுண்ணறிவுகளைப் பெறுவதில் கவனம் செலுத்துகையில், தரவு அறிவியல் தகவலறிந்த முடிவுகளை எடுக்க முன்கணிப்பு மாதிரிகளின் வளர்ச்சி மற்றும் செயல்படுத்தலை இணைப்பதன் மூலம் அதற்கு அப்பால் செல்கிறது. தரவு விஞ்ஞானிகள் பெரும்பாலும் தரவைச் சேகரித்து சுத்தம் செய்வதற்கும், பொருத்தமான பகுப்பாய்வு நுட்பங்களைத் தேர்ந்தெடுப்பதற்கும், நிஜ உலக சூழ்நிலைகளில் மாதிரிகளைப் பயன்படுத்துவதற்கும் பொறுப்பாக உள்ளனர். சிக்கலான சிக்கல்களைத் தீர்ப்பதற்கும், பெரிய தரவுத்தொகுப்புகளில் மறைக்கப்பட்ட வடிவங்களைக் கண்டுபிடிப்பதற்கும் கணிதம், கணினி அறிவியல் மற்றும் கள நிபுணத்துவம் ஆகியவற்றின் குறுக்குவெட்டில் அவர்கள் வேலை செய்கிறார்கள். இந்த வேறுபாடுகள் இருந்தபோதிலும், தரவு அறிவியல் மற்றும் தரவு பகுப்பாய்வு ஆகியவை நெருக்கமாக தொடர்புடைய துறைகள் மற்றும் பெரும்பாலும் ஒத்த திறன் தொகுப்புகள் தேவைப்படுகின்றன. இரண்டு துறைகளுக்கும் புள்ளிவிவரங்கள், நிரலாக்கம் மற்றும் தரவு காட்சிப்படுத்தல் ஆகியவற்றில் ஒரு திடமான அடித்தளம் தேவைப்படுகிறது, அத்துடன் தொழில்நுட்ப மற்றும் தொழில்நுட்பமற்ற பார்வையாளர்களுக்கு திறம்பட கண்டுபிடிப்புகளைத் தொடர்புகொள்வதற்கான திறனும் தேவைப்படுகிறது. மேலும், துல்லியமான பகுப்பாய்வு மற்றும் மாதிரியாக்கத்திற்கு தரவுகளின் சூழல் மற்றும் நுணுக்கங்களைப் புரிந்துகொள்வது அவசியம் என்பதால், விமர்சன சிந்தனை மற்றும் கள அறிவிலிருந்து இரு துறைகளும் பயனடைகின்றன. சுருக்கமாக, தரவு பகுப்பாய்வு மற்றும் தரவு அறிவியல் ஆகியவை தரவு மேலாண்மை மற்றும் பகுப்பாய்வின் பரந்த துறைக்குள் தனித்துவமான ஆனால் ஒன்றோடொன்று இணைக்கப்பட்ட துறைகளாகும். தரவு பகுப்பாய்வு கட்டமைக்கப்பட்ட தரவுகளிலிருந்து நுண்ணறிவுகளைப் பெறுவதிலும் முடிவுகளை எடுப்பதிலும் கவனம் செலுத்துகிறது, அதே நேரத்தில் தரவு அறிவியல் என்பது புள்ளிவிவர பகுப்பாய்வு, கணக்கீட்டு முறைகள் மற்றும் இயந்திர கற்றல் ஆகியவற்றை ஒருங்கிணைத்து நுண்ணறிவுகளைப் பெறுவதற்கும், முன்கணிப்பு மாதிரிகளை உருவாக்குவதற்கும், தரவு சார்ந்த முடிவெடுப்பதை இயக்குவதற்கும் மிகவும் விரிவான அணுகுமுறையை உள்ளடக்கியது. வடிவங்களைப் புரிந்துகொள்வதற்கும், தகவலறிந்த முடிவுகளை எடுப்பதற்கும், பல்வேறு களங்களில் உள்ள சிக்கலான சிக்கல்களைத் தீர்ப்பதற்கும் தரவுகளின் சக்தியைப் பயன்படுத்துவதில் இரண்டு துறைகளும் முக்கிய பங்கு வகிக்கின்றன. வரலாறு மேலும் காண்க திறந்த தரவு அறிவியல் மாநாடு தரவு பைத்தானில் அறிவியல் தரவு பெண்கள் (நிரலாக்க மொழி) ஆர் (நிரலாக்க மொழி) தரவு பொறியியல் பெரிய தரவு இயந்திர கற்றல் குறிப்புகள் தகவல் அறிவியல் கணினி தொழில்கள் ஆய்வின் கணக்கீட்டு துறைகள் தரவு பகுப்பாய்வு