<jupyter_start><jupyter_text>Kuna me peamiselt andmetöötlust praegu teeme TECAN-i lutsiferaasi mõõtmistele siis näitan siin vihikus enamvähem kuidas eksportida TECAN-ist andmeid koos wellide tähistusega.  TECAN-ist andmete eksportTavaliselt on harjutud TECAN-ist eksportima andmeid kujul:|         |         |         |         |     || --------|---------|---------|---------|-----|| well A1 | well A2 | well A3 | well A4 | ... || well B1 | well B2 | well B3 | well B4 | ... || well C1 | well C2 | well C3 | well c4 | ... ||   ...   |   ...   |   ...   |   ...   | ... |Probleem selliste andmete ekspordiga on see et tulevikus kellelgi andmetest aru saada on keeruline. Selle vastu aitab küll hilisem andmete ümber paigutamine Excelis ning töötluste ja teiste tähistuste lisamine kuid see võtab aega ja tihti käsitsi tehes pole ühtne üle erinevate failide.TECAN-i tarkvara laseb samas igale mõõdetud plaadile lisada igale well-ile kuni kolm ID-d millega koos on siis võimalik eksportida andmeid. Nendeks ID-deks võivad olla siis mõõdetud well-i kohta käiv info. Juhul kui andmeid welli kohta oleks rohkem on võimalik panna ID-ks lihtsalt proovi nimi ja hiljem lisa andmed lisada (vt allpool andmete ühte kokku panemist erinevatest tabelitest).  Sample ID-de faili loomine![fig02/01.png](fig02/01.png)![fig02/02.png](fig02/02.png)![fig02/03.png](fig02/03.png)![fig02/04.png](fig02/04.png)![fig02/05.png](fig02/05.png)  Sample ID-de faili lisamine mõõtmiseleHakates tulemusi mõõtma saab lisada Sample ID listi mõõtmise aknast. ![fig02/06.png](fig02/06.png) Tehtud Sample ID nimekirja saab lisada juba mõõdetud tulemustele menüüst `Edit->Insert Sample ID list` ![fig02/07.png](fig02/07.png)  Mõõtmise tulemuste ekspordi määramine Kui mõõtmistele on sample ID-d lisatud siis nende exporti Excelisse saab sättida menüüst `Method->Data Export` ![fig02/08.png](fig02/08.png) Avanevast aknast saab valida mida antud katsest tahetakse eksportida. Siinkohal "Raw Data" on mõõdetud lutsiferaasi signaal. Sample ID-d meie varasemalt lisatud ID. ![fig02/09.png](fig02/09.png) Et mõõtmised eksporditakse rea kaupa tuleb veel lisaks `Export Options..`-itest natuke asju sättida.. ![fig02/10.png](fig02/10.png) Esiteks tuleks panna et `Direction` on `Horizontal` ning et `Result` oleks `Table (well data in rows)`. Selliste setingutega ekspordib TECAN igas wellis tehtud mõõtmise eraldi reale. ![fig02/11.png](fig02/11.png) Et nüüd andmeid excelisse eksportida tuleb valida `File->Excel Export` ![fig02/12.png](fig02/12.png)  Edasine andmetöötlusPeale andmete eksporti Exceli faili on tulemuseks katse andmetega exceli fail kus on kõik andmed eksporditud nii et eri well-ide kohta käiv informatsioon on eri ridadel. Tulpade pealkirjad on praegu lihtsalt näidiseks, TECAN ise tulpade pealkirju ei pane (kahjuks).| ID 1    | ID 2    | ID 3    | mõõtmine || --------|---------|---------|----------|| plasm1  | treat1  | ... | 123      || plasm1  | treat1  | ... | 4124     || plasm1  | treat1  | ... | 4214     ||   ...   |   ...   |   ...   |   ...    |Sellise lehega edasi andmete analüüs on nii Excelis kui Pandases lihtsam ja selgem kuna osaliselt sunnib andmeid ka edasi hoidma selliselt organiseeritult. *Näidis TECAN-ist eksporditud fail.*<jupyter_code>df = pd.read_excel("examples02/exported-luc2p.xlsx", header=None)
df<jupyter_output><empty_output><jupyter_text>Exceli fail kus on mõõtmised eksporditud kahele eri lehele (näiteks luc2P ja hrluc-i mõõtmised eraldi) saab need laadida samast failist kasutades parameetrit `sheetname` nagu eelmine kord nähtud.<jupyter_code>df_ffluc = pd.read_excel("examples02/exported-ffluc-hrluc.xlsx", sheetname="ffluc",header=None)
df_ffluc
df_hrluc = pd.read_excel("examples02/exported-ffluc-hrluc.xlsx", sheetname="hrluc",header=None)
df_hrluc<jupyter_output><empty_output><jupyter_text>Edasine puhastus Edasi tuleb hakata tegema laetud dataframe-ides puhastust vastavalt eelmises vihikus näidatule. Näitan seda kõigepealt esimese laetud luc2P andmetel.Kõigepealt nimetan tulbad ümber vastavalt andmetele, seejärel eemaldan `NaN` väärtused ja lõpuks nimetan ümber tausta proovid et saada ühtlasemat tausta mõõtmist.<jupyter_code>df_ffluc.head()
df_ffluc.columns = ["Construct", "Treatment", "luc2p"]
df_ffluc2 = df_ffluc.dropna()
df_ffluc2
df_ffluc2.replace(to_replace="untransf", value="blank")
df_ffluc2.replace(to_replace= {"untransf":"blank", "untreated":"blank"} )<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.11158798283261803, 'fraction_numerical': 0.03207589789925457, 'mean_word_length': 4.203290246768508, 'pattern_counts': {'":': 2, '<': 13, '<?xml version=': 0, '>': 16, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 6, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '3', 'dir': 'jupyter-structured-clean-dedup', 'id': '169965', 'license': 'CC-BY-4.0', 'n_tokens_mistral': 1892, 'n_tokens_neox': 1760, 'n_words': 450, 'path': '04-tecanist-excel-export-id-dega.ipynb', 'repo_name': 'kjaanson/jupyter-workshop-ttu', 'size': '4427'}