You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-07-13 - 21:50
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2.osadl.org (updated Sun Jul 13, 2025 12:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
112202304267,25sleep10-21swapper/11
112852289252,24sleep00-21swapper/00
112772289254,22sleep20-21swapper/22
110442283245,24sleep30-21swapper/33
1146299262257,3cyclictest17293-21kworker/1:21
1145799211206,3cyclictest24213-21awk0
1146599201196,3cyclictest24206-21sendmail2
1147099126121,3cyclictest24204-21sendmail3
73652460,1sleep20-21swapper/22
292312440,2sleep11146299cyclictest1
324542410,1sleep30-21swapper/33
309022400,2sleep30-21swapper/33
262282370,1sleep30-21swapper/33
1146599333,23cyclictest28352-21apt-get2
257802300,6sleep11146299cyclictest1
1147099296,9cyclictest10881-21cat3
1147099293,10cyclictest27159-21dpkg3
1147099292,10cyclictest7863-21sed3
1147099285,9cyclictest8606-21aten2_r9power_v3
1147099280,7cyclictest0-21swapper/33
138302270,4sleep3341rcuc/33
1147099273,9cyclictest26699-21cut3
1147099270,16cyclictest0-21swapper/33
72022250,1sleep30-21swapper/33
1147099252,9cyclictest3461-21ntp_kernel_pll_3
1147099250,9cyclictest0-21swapper/33
11465992514,9cyclictest9220-21cut2
1146599251,21cyclictest24842-21cron2
1146599251,20cyclictest22701-21munin-run2
11465992416,5cyclictest18102-21apt2
1146599234,17cyclictest8981-21cat2
1146599233,17cyclictest26531-21cat2
11465992315,5cyclictest25371-21apt-get2
1146599231,19cyclictest2363-21perf2
11465992311,7cyclictest21294-21apt-get2
11462992318,3cyclictest15208-21grep1
11470992215,4cyclictest31628-21df3
1146599222,18cyclictest6188-21awk2
11465992215,4cyclictest25473-21wc2
11465992215,4cyclictest18649-21munin-run2
11465992215,4cyclictest18649-21munin-run2
1146599221,18cyclictest28406-1kworker/2:1H2
11465992211,6cyclictest29189-21apt-get2
1146599220,19cyclictest16041-21ntpq2
1146299229,11cyclictest505-21dbus-daemon1
1146299221,18cyclictest2082-21systemd-journal1
1146299221,18cyclictest2082-21systemd-journal1
1145799226,3cyclictest111rcu_preempt0
83922210,2sleep10-21swapper/11
1147099212,6cyclictest35-21ksoftirqd/33
1147099211,7cyclictest0-21swapper/33
11470992115,4cyclictest505-21dbus-daemon3
1147099211,18cyclictest2348-21turbostat3
1146599212,17cyclictest16091-21sendmail-mta2
1146599212,16cyclictest14556-21latency_hist2
1146599212,15cyclictest16656-21apt-get2
11465992115,4cyclictest26453-21seq2
1146599211,3cyclictest30949-1kworker/2:0H2
1146599211,3cyclictest28691-21munin-run2
11465992113,5cyclictest14817-21apt-get2
1146599211,18cyclictest24611-21latency_hist2
1146599211,18cyclictest14345-21perf2
1146599211,17cyclictest28954-21apt-get2
1146599211,17cyclictest28527-21apt-key2
11465992111,6cyclictest31560-21apt-get2
1146599210,19cyclictest4558-21kworker/2:12
1146599210,18cyclictest31174-21cron2
11462992116,3cyclictest1205-21cut1
11462992116,3cyclictest1205-21cut1
11462992114,4cyclictest9524-21which1
11462992114,4cyclictest7496-21grep1
11462992114,4cyclictest28332-21awk1
11457992116,3cyclictest4386-21/usr/sbin/munin0
11457992116,3cyclictest30717-21sh0
11457992116,3cyclictest26331-21turbostat.cron0
11457992114,4cyclictest32735-21cron0
1147099202,6cyclictest35-21ksoftirqd/33
1147099202,6cyclictest35-21ksoftirqd/33
1147099202,6cyclictest35-21ksoftirqd/33
11470992015,3cyclictest6082-21ntpq3
11470992015,3cyclictest30542-21awk3
11470992015,3cyclictest13219-21aten2_r9power_p3
11470992014,4cyclictest23447-21cat3
11470992014,4cyclictest19116-21cat3
11470992014,4cyclictest15735-21sed3
1147099200,8cyclictest0-21swapper/33
1146599201,5cyclictest12891-21grep2
11465992015,3cyclictest20838-21sed2
11465992015,3cyclictest12435-21switchtime2
11465992014,4cyclictest9942-21ntpq2
1146599201,3cyclictest17270-21sendmail2
1146599201,3cyclictest17270-21sendmail2
1146599201,17cyclictest16364-21latency_hist2
1146599201,17cyclictest0-21swapper/22
1146599200,18cyclictest13637-21processes2
11462992018,1cyclictest0-21swapper/11
11462992015,3cyclictest25579-21ps1
11462992015,3cyclictest21-21ksoftirqd/11
11462992015,3cyclictest21-21ksoftirqd/11
11462992015,3cyclictest15449-21/usr/sbin/munin1
11462992015,3cyclictest15449-21/usr/sbin/munin1
11462992014,4cyclictest32512-21munin-run1
11462992013,4cyclictest6231-21sed1
11462992013,4cyclictest2795-21df_inode1
11457992015,3cyclictest29411-21ls0
11457992015,3cyclictest18318-21seq0
11457992015,3cyclictest18318-21seq0
11457992015,3cyclictest16112-21grep0
11457992015,3cyclictest13131-21/usr/sbin/munin0
11457992015,3cyclictest12543-21/usr/sbin/munin0
11457992014,4cyclictest5599-21expr0
11457992014,4cyclictest24788-21seq0
11457992014,4cyclictest19961-21tr0
1145799201,17cyclictest894-21sendmail0
1145799201,17cyclictest8420-21cron0
301682190,1sleep10-21swapper/11
1147099195,11cyclictest5095-21grep3
1147099194,12cyclictest25416-21gltestperf3
1147099192,6cyclictest35-21ksoftirqd/33
1147099192,6cyclictest35-21ksoftirqd/33
1147099192,5cyclictest35-21ksoftirqd/33
1147099192,5cyclictest35-21ksoftirqd/33
1147099192,5cyclictest35-21ksoftirqd/33
1147099192,5cyclictest35-21ksoftirqd/33
1147099192,5cyclictest35-21ksoftirqd/33
1147099192,5cyclictest35-21ksoftirqd/33
11470991917,1cyclictest0-21swapper/33
1147099191,5cyclictest0-21swapper/33
11470991914,3cyclictest7259-21cut3
11470991914,3cyclictest31754-21ls3
11470991914,3cyclictest25459-21open_inodes3
11470991914,3cyclictest24490-21seq3
11470991914,3cyclictest1513-21cat3
11470991914,3cyclictest1513-21cat3
11470991914,3cyclictest14799-21/usr/sbin/munin3
11470991914,3cyclictest13587-21munin-node3
11470991914,3cyclictest11875-21sed3
11470991913,4cyclictest26894-21cron3
11470991913,3cyclictest20460-21aten2_r9power_p3
11470991912,4cyclictest10977-21grep3
11465991914,3cyclictest665-21runrttasks2
11465991914,3cyclictest5912-21unixbench-2d2
11465991914,3cyclictest3801-21nfs4_client2
11465991914,3cyclictest3419-21cat2
11465991914,3cyclictest2875-21date2
11465991914,3cyclictest2875-21date2
11465991914,3cyclictest24179-21ntp_offset2
11465991914,3cyclictest10277-21which2
11465991913,4cyclictest6191-21sed2
11465991913,4cyclictest28042-21open_files2
11465991913,4cyclictest12121-21grep2
11465991913,4cyclictest11189-21wc2
11465991913,3cyclictest32183-21timerwakeupswit2
11465991912,4cyclictest2082-21systemd-journal2
1146599191,16cyclictest8990-21tr2
1146599191,16cyclictest2111-21latency_hist2
1146599191,16cyclictest2111-21latency_hist2
11465991910,6cyclictest18343-21apt-get2
1146599190,17cyclictest20441-21munin-run2
11462991914,3cyclictest6409-21/usr/sbin/munin1
11462991914,3cyclictest31566-21aten2_r9power_c1
11462991914,3cyclictest30957-21/usr/sbin/munin1
11462991914,3cyclictest27959-21needreboot1
11462991914,3cyclictest22544-21apt-key1
11462991914,3cyclictest11624-21acpi1
11462991914,3cyclictest1147-21/usr/sbin/munin1
11462991913,4cyclictest505-21dbus-daemon1
11462991913,4cyclictest25891-21sed1
11462991913,4cyclictest20173-21awk1
11462991913,4cyclictest18589-21grep1
11462991913,4cyclictest17854-21sed1
11462991913,4cyclictest11065-21date1
11462991912,4cyclictest665-21runrttasks1
11462991912,4cyclictest5094-21sh1
11462991912,4cyclictest20498-21hostname1
11462991911,5cyclictest21746-21grep1
11457991916,2cyclictest0-21swapper/00
11457991916,2cyclictest0-21swapper/00
11457991916,2cyclictest0-21swapper/00
11457991915,2cyclictest1235-21aten2_r9power_p0
11457991915,2cyclictest11617-21/usr/sbin/munin0
11457991914,3cyclictest3569-21if_err_enp2s00
11457991914,3cyclictest23205-21ls0
11457991914,3cyclictest20920-21cpuspeed0
11457991914,3cyclictest20361-21/usr/sbin/munin0
11457991914,3cyclictest1926-21seq0
11457991914,3cyclictest1926-21seq0
11457991914,3cyclictest15730-21expr0
11457991914,3cyclictest15730-21expr0
11457991914,3cyclictest15592-21seq0
11457991914,3cyclictest13991-21cat0
11457991914,3cyclictest12310-21latency_hist0
11457991914,3cyclictest10426-21cat0
11457991913,4cyclictest21655-21expr0
11457991913,4cyclictest20180-21grep0
11457991913,4cyclictest19082-21cat0
11457991913,4cyclictest17527-21ntp_states0
11457991913,4cyclictest17192-21grep0
11457991913,4cyclictest11647-21ntpq0
1147099182,6cyclictest35-21ksoftirqd/33
1147099182,5cyclictest35-21ksoftirqd/33
1147099182,5cyclictest35-21ksoftirqd/33
1147099182,5cyclictest35-21ksoftirqd/33
1147099182,5cyclictest35-21ksoftirqd/33
1147099182,5cyclictest35-21ksoftirqd/33
1147099182,5cyclictest35-21ksoftirqd/33
11470991816,1cyclictest0-21swapper/33
11470991816,1cyclictest0-21swapper/33
11470991813,3cyclictest4386-21/usr/sbin/munin3
11470991813,3cyclictest15981-21cat3
11470991813,3cyclictest12829-21aten2.4-expect3
11470991812,4cyclictest17082-21diskstats3
11470991812,3cyclictest17312-21entropy3
11470991812,3cyclictest17312-21entropy3
1146599183,9cyclictest27390-21apt-get2
11465991815,2cyclictest0-21swapper/22
11465991814,2cyclictest0-21swapper/22
11465991813,3cyclictest2819-21fw_packets2
11465991811,4cyclictest7247-21apt-get2
11465991811,4cyclictest31217-21apt-get2
1146599180,1cyclictest20379-21apt-get2
1146299183,9cyclictest5225-21apt-get1
11462991816,1cyclictest0-21swapper/11
11462991816,1cyclictest0-21swapper/11
11462991814,2cyclictest26903-21/usr/sbin/munin1
11462991814,2cyclictest18343-21apt-get1
11462991814,2cyclictest14572-21/usr/sbin/munin1
11462991814,2cyclictest10494-21/usr/sbin/munin1
11462991813,3cyclictest9497-21sed1
11462991813,3cyclictest28332-21cron1
11462991813,3cyclictest24723-21vmstat1
11462991813,3cyclictest19652-21wc1
11462991813,3cyclictest18656-21/usr/sbin/munin1
11462991813,3cyclictest17392-21swap1
11462991813,3cyclictest1673-21cat1
11462991812,4cyclictest4968-21ls1
11462991812,4cyclictest3745-21cat1
11462991812,4cyclictest29765-21which1
11462991812,4cyclictest16113-21grep1
11462991812,4cyclictest11073-21ls1
11462991811,4cyclictest6396-21cron1
1146299180,16cyclictest0-21swapper/11
1145799183,9cyclictest4997-21apt-get0
1145799183,8cyclictest17238-21apt-get0
11457991816,1cyclictest0-21swapper/00
11457991814,2cyclictest8424-21latency_hist0
11457991814,2cyclictest27573-21df0
11457991814,2cyclictest14677-21df_inode0
11457991814,2cyclictest13587-21munin-node0
11457991813,3cyclictest665-21runrttasks0
11457991813,3cyclictest4620-21/usr/sbin/munin0
11457991813,3cyclictest31907-21cat0
11457991813,3cyclictest29391-21seq0
11457991813,3cyclictest29029-21expr0
11457991813,3cyclictest26002-21ntp_offset0
11457991813,3cyclictest14447-21seq0
11457991812,4cyclictest954-21ls0
11457991812,4cyclictest8275-21cut0
11457991812,4cyclictest27261-21cat0
11457991812,4cyclictest16270-21seq0
11457991811,5cyclictest11924-21cat0
1145799180,16cyclictest10223-21cut0
1147099171,4cyclictest341rcuc/33
11465991713,2cyclictest30867-21aten2.4-expect2
11465991711,4cyclictest13386-21apt-get2
1146299172,4cyclictest0-21swapper/11
11462991715,1cyclictest0-21swapper/11
11462991715,1cyclictest0-21swapper/11
11462991713,2cyclictest20920-21/usr/sbin/munin1
11462991713,2cyclictest12543-21/usr/sbin/munin1
11462991712,3cyclictest665-21runrttasks1
11462991712,3cyclictest31340-21sed1
11462991712,3cyclictest23831-21cat1
1146299170,1cyclictest0-21swapper/11
1145799172,13cyclictest19162-21sed0
11457991715,1cyclictest0-21swapper/00
11457991712,3cyclictest8093-21ntpq0
11457991712,3cyclictest6998-21/usr/sbin/munin0
11457991712,3cyclictest26847-21cut0
11457991712,3cyclictest2359-21/usr/sbin/munin0
11457991712,3cyclictest23299-21/usr/sbin/munin0
1145799160,14cyclictest1235-21cut0
1145799160,14cyclictest1235-21cut0
1145799160,13cyclictest786-21cut0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional