You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-08-30 - 14:41
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Sat Aug 30, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
206562257198,46sleep20-21swapper/22
209222253183,25sleep30-21swapper/33
2114099245239,4cyclictest23068-21latency_hist0
209042229192,24sleep00-21swapper/00
208802229191,25sleep10-21swapper/11
2114299226221,3cyclictest0-21swapper/11
2114599215211,2cyclictest0-21swapper/22
2115099202196,3cyclictest23145-21munin-node3
1506121700,2sleep02114099cyclictest0
948521560,1sleep20-21swapper/22
259952560,4sleep22114599cyclictest2
212972530,2sleep10-21swapper/11
212972530,2sleep10-21swapper/11
291212510,3sleep121-21ksoftirqd/11
242822480,1sleep10-21swapper/11
21150992621,3cyclictest11905-21/usr/sbin/munin3
259322250,2sleep20-21swapper/22
2114599256,4cyclictest2082-21systemd-journal2
275802240,2sleep00-21swapper/00
21150992418,4cyclictest11053-40ogrotate3
21145992416,5cyclictest11128-21sendmail-mta2
2114599241,5cyclictest2082-21systemd-journal2
2114599241,5cyclictest1376-21munin-run2
21145992411,11cyclictest28-21ksoftirqd/22
21140992418,3cyclictest2082-21systemd-journal0
21140992411,8cyclictest23438-21runrttasks0
2114599233,17cyclictest462-21latency_hist2
2114599231,19cyclictest6972-21munin-run2
2114599231,19cyclictest30738-1kworker/2:0H2
2114599231,19cyclictest30738-1kworker/2:0H2
2114299230,3cyclictest111rcu_preempt1
2114299230,3cyclictest111rcu_preempt1
2114099233,9cyclictest9-21ksoftirqd/00
2114099233,9cyclictest9-21ksoftirqd/00
2114099233,14cyclictest29052-21apt-get0
21140992315,6cyclictest665-21runrttasks0
116172230,4sleep20-21swapper/22
21150992213,6cyclictest25578-21apt-get3
2114599223,17cyclictest23431-21sendmail-mta2
2114599223,17cyclictest0-21swapper/22
2114599222,18cyclictest23168-21latency_hist2
2114599222,18cyclictest17152-21cat2
2114599221,6cyclictest24499-21head2
2114599221,4cyclictest2082-21systemd-journal2
2114599221,17cyclictest5457-21munin-run2
2114599220,19cyclictest14633-1kworker/2:2H2
2114599220,19cyclictest14633-1kworker/2:2H2
21142992217,3cyclictest21-21ksoftirqd/11
21142992215,4cyclictest30139-21cat1
21142992210,7cyclictest4731-21apt-get1
21140992214,4cyclictest7717-21acpi0
15052220,3sleep32115099cyclictest3
2115099213,8cyclictest111rcu_preempt3
21150992116,3cyclictest3686-21aten2_r9power_c3
21150992115,4cyclictest20580-21seq3
2114599213,17cyclictest24130-21awk2
2114599213,16cyclictest370-21latency_hist2
2114599213,16cyclictest22087-21latency_hist2
2114599213,16cyclictest22087-21latency_hist2
2114599212,6cyclictest0-21swapper/22
2114599212,17cyclictest3570-21cat2
2114599212,17cyclictest12822-21cat2
2114599211,6cyclictest15243-21cat2
21145992115,3cyclictest29278-21idleruntime-cro2
21145992115,3cyclictest12195-21ntp_kernel_err2
21145992114,4cyclictest28-21ksoftirqd/22
2114599211,18cyclictest6586-21munin-run2
2114599211,17cyclictest2564-21sendmail-msp2
2114599211,16cyclictest9499-21cron2
2114599211,11cyclictest0-21swapper/22
2114599210,4cyclictest27419-21sed2
2114599210,18cyclictest2082-21systemd-journal2
2114299218,4cyclictest94882wc1
21142992114,4cyclictest30092-21which1
21142992114,4cyclictest20606-21seq1
2114299210,9cyclictest15072cat1
21140992116,3cyclictest9-21ksoftirqd/00
21140992115,3cyclictest17197-21grep0
21140992115,3cyclictest17197-21grep0
2114099211,3cyclictest13280-21df0
21140992113,4cyclictest22101-21sendmail0
21140992113,4cyclictest22101-21sendmail0
21140992111,5cyclictest2451-21readlink0
21150992015,3cyclictest9222-21date3
21150992015,3cyclictest26817-21ntp_kernel_err3
21150992015,3cyclictest24636-21switchtime3
21150992014,4cyclictest6795-21cut3
21150992014,4cyclictest18326-21users3
21150992012,5cyclictest31207-21cut3
2114599202,16cyclictest9011-21latency_hist2
2114599201,9cyclictest0-21swapper/22
21145992015,3cyclictest5893-21sed2
21145992014,4cyclictest18058-21sendmail-mta2
21145992014,3cyclictest16674-21sh2
21145992012,4cyclictest32593-21mailstats2
2114599201,17cyclictest12344-1kworker/2:1H2
2114599201,17cyclictest0-21swapper/22
2114599200,3cyclictest12344-1kworker/2:1H2
2114599200,18cyclictest2901-21munin-run2
2114599200,18cyclictest2901-21munin-run2
2114599200,17cyclictest31282-21cron2
21142992018,1cyclictest0-21swapper/11
21142992015,3cyclictest7218-21/usr/sbin/munin1
21142992015,3cyclictest6480-21seq1
21142992015,3cyclictest19547-21aten2_r9power_e1
21142992015,3cyclictest15010-21seq1
21142992015,3cyclictest12847-21seq1
21142992014,4cyclictest9473-21cat1
21142992014,4cyclictest6834-21/usr/sbin/munin1
21142992014,4cyclictest31557-21expr1
21142992014,4cyclictest23653-21ls1
21142992013,4cyclictest20078-21cat1
21142992013,4cyclictest20078-21cat1
21142992010,6cyclictest16241-21apt-get1
2114099209,9cyclictest9-21ksoftirqd/00
2114099208,10cyclictest1594-21grep0
2114099208,10cyclictest1594-21grep0
21140992015,3cyclictest31979-21sed0
21140992015,3cyclictest3166-21/usr/sbin/munin0
21140992015,3cyclictest22878-21sed0
21140992015,3cyclictest12097-21sed0
21140992015,3cyclictest10592-21sed0
21140992014,4cyclictest31168-21apt-get0
21140992014,4cyclictest28292-21wc0
21140992014,4cyclictest15790-21ntp_states0
21140992014,4cyclictest14516-21expr0
21140992014,4cyclictest13347-21sed0
21140992014,3cyclictest25471-21grep0
21140992013,4cyclictest28566-21apt-key0
21140992012,5cyclictest21584-21cut0
21140992010,4cyclictest5328-21cut0
2115099199,5cyclictest23048-21apt-get3
21150991915,2cyclictest9789-21pmu-power3
21150991915,2cyclictest27729-21cpuspeed_turbos3
21150991915,2cyclictest21654-21irqstats3
21150991915,2cyclictest15534-21cpuspeed_turbos3
21150991914,3cyclictest9442-21seq3
21150991914,3cyclictest7832-21processes3
21150991914,3cyclictest5996-21cat3
21150991914,3cyclictest4206-21processes3
21150991914,3cyclictest31918-21ntpq3
21150991914,3cyclictest3136-21expr3
21150991914,3cyclictest3136-21expr3
21150991914,3cyclictest27108-21seq3
21150991914,3cyclictest24525-21if_err_enp2s03
21150991914,3cyclictest22370-21aten2_r9power_c3
21150991914,3cyclictest22009-21expr3
21150991914,3cyclictest20472-21switchtime3
21150991914,3cyclictest20472-21switchtime3
21150991914,3cyclictest20373-21sh3
21150991914,3cyclictest17882-21fw_packets3
21150991914,3cyclictest15764-21seq3
21150991914,3cyclictest15764-21seq3
21150991914,3cyclictest13598-21cut3
21150991914,3cyclictest12921-21uname3
21150991913,4cyclictest919-21expr3
21150991913,4cyclictest505-21dbus-daemon3
21150991913,4cyclictest16651-21df3
21150991913,4cyclictest15344-21fw_packets3
21150991913,4cyclictest12210-21ntp_kernel_pll_3
2114599192,5cyclictest26728-21apt-get2
21145991916,2cyclictest0-21swapper/22
21145991915,2cyclictest20744-21latency_hist2
21145991914,3cyclictest14732-21idleruntime-cro2
21145991914,3cyclictest14175-21awk2
21145991913,4cyclictest24245-21sed2
21145991913,4cyclictest12883-21date2
2114599191,17cyclictest0-21swapper/22
2114599191,17cyclictest0-21swapper/22
2114599190,17cyclictest26519-21cat2
21142991915,2cyclictest5184-21/usr/sbin/munin1
21142991914,3cyclictest8607-21ntp_states1
21142991914,3cyclictest7183-21seq1
21142991914,3cyclictest3663-21/usr/sbin/munin1
21142991914,3cyclictest3166-21/usr/sbin/munin1
21142991914,3cyclictest2776-21/usr/sbin/munin1
21142991914,3cyclictest2776-21/usr/sbin/munin1
21142991914,3cyclictest27493-21/usr/sbin/munin1
21142991914,3cyclictest26484-21pmu-power1
21142991914,3cyclictest2619-21proc_pri1
21142991914,3cyclictest2439-21ls1
21142991914,3cyclictest23253-21munin-node1
21142991914,3cyclictest14130-21/usr/sbin/munin1
21142991914,3cyclictest12937-21/usr/sbin/munin1
2114299191,3cyclictest12871-21apt-get1
21142991913,4cyclictest26323-21sh1
21142991913,4cyclictest25947-21date1
21142991913,4cyclictest23089-21seq1
21142991913,4cyclictest21955-21df1
21142991913,4cyclictest2082-21systemd-journal1
21142991913,4cyclictest19492-21cat1
21142991913,4cyclictest11353-21expr1
21142991913,3cyclictest25716-21mailstats1
21142991913,3cyclictest10919-21acpi1
21142991912,5cyclictest15165-21readlink1
21142991912,4cyclictest2082-21systemd-journal1
21142991912,4cyclictest17340-21aten2_r9power_c1
2114299191,16cyclictest0-21swapper/11
2114299191,15cyclictest23703-21uname1
2114099192,12cyclictest0-21swapper/00
21140991916,2cyclictest31059-21/usr/sbin/munin0
21140991914,3cyclictest5984-21sed0
21140991914,3cyclictest31536-21/usr/sbin/munin0
21140991914,3cyclictest23908-21/usr/sbin/munin0
21140991914,3cyclictest18855-21sed0
21140991913,4cyclictest6631-21cut0
21140991913,4cyclictest2521-21ntpq0
21140991913,4cyclictest21883-21ntpq0
21140991913,4cyclictest21343-21wc0
21140991913,3cyclictest21159-21idleruntime-cro0
21140991913,3cyclictest21159-21idleruntime-cro0
21140991912,4cyclictest2082-21systemd-journal0
21140991910,5cyclictest0-21swapper/00
21150991814,2cyclictest5231-21aten2.4-expect3
21150991814,2cyclictest31236-21timerwakeupswit3
21150991814,2cyclictest20881-21if_enp3s03
21150991814,2cyclictest20881-21if_enp3s03
21150991814,2cyclictest15649-21apt-config3
21150991813,3cyclictest8968-21cpuspeed3
21150991813,3cyclictest5700-21/usr/sbin/munin3
21150991813,3cyclictest3544-21cat3
21150991813,3cyclictest3059-21expr3
21150991813,3cyclictest3059-21expr3
21150991813,3cyclictest25652-21if_err_enp2s03
21150991813,3cyclictest21580-21cpu3
21150991813,3cyclictest18528-21timerwakeupswit3
21150991813,3cyclictest1804-21ls3
21150991813,3cyclictest1804-21ls3
21150991813,3cyclictest14127-21missed_timers3
21150991813,3cyclictest13364-21expr3
21150991812,4cyclictest30319-21cat3
21150991812,3cyclictest10862-21mailstats3
2114599183,13cyclictest32013-21cat2
2114599182,2cyclictest28-21ksoftirqd/22
2114599180,1cyclictest0-21swapper/22
2114599180,1cyclictest0-21swapper/22
2114599180,16cyclictest30738-1kworker/2:0H2
2114599180,16cyclictest30738-1kworker/2:0H2
2114599180,16cyclictest29990-21cat2
21142991814,2cyclictest27099-21/usr/sbin/munin1
21142991814,2cyclictest14886-21/usr/sbin/munin1
21142991813,3cyclictest9757-21seq1
21142991813,3cyclictest27981-21/usr/sbin/munin1
21142991813,3cyclictest23226-21awk1
21142991813,3cyclictest16966-21aten2.4-expect1
21142991813,3cyclictest12069-21cat1
21142991812,4cyclictest31498-21df_inode1
21142991811,5cyclictest21639-21cat1
2114099182,1cyclictest0-21swapper/00
21140991816,1cyclictest0-21swapper/00
21140991816,1cyclictest0-21swapper/00
21140991816,1cyclictest0-21swapper/00
21140991815,2cyclictest0-21swapper/00
21140991814,2cyclictest18273-21/usr/sbin/munin0
21140991814,2cyclictest16222-21/usr/sbin/munin0
21140991813,3cyclictest9-21ksoftirqd/00
21140991813,3cyclictest718-21/usr/sbin/munin0
21140991813,3cyclictest665-21runrttasks0
21140991813,3cyclictest665-21runrttasks0
21140991813,3cyclictest665-21runrttasks0
21140991813,3cyclictest665-21runrttasks0
21140991813,3cyclictest4165-21gltestperf0
21140991813,3cyclictest29917-21sed0
21140991813,3cyclictest25599-21basename0
21140991813,3cyclictest19488-21sed0
21140991812,3cyclictest665-21runrttasks0
21140991812,3cyclictest21673-21grep0
21140991811,5cyclictest17073-21dump-pmu-power0
2114099181,14cyclictest29657-21gltestperf0
21140991810,5cyclictest7654-21needreboot0
21150991713,2cyclictest29183-21cpu3
21150991712,3cyclictest25909-21timerwakeupswit3
21150991712,3cyclictest11283-21entropy3
21150991711,4cyclictest7203-21fw_packets3
21150991711,4cyclictest31914-21expr3
2115099170,14cyclictest29546-21basename3
21145991712,3cyclictest665-21runrttasks2
21145991712,3cyclictest28878-21latency_hist2
21145991712,3cyclictest17897-21grep2
21142991713,2cyclictest1110-21/usr/sbin/munin1
21142991713,2cyclictest1110-21/usr/sbin/munin1
21142991712,3cyclictest25189-21sh1
21142991711,4cyclictest15980-21basename1
21142991711,4cyclictest15980-21basename1
2114299170,16cyclictest0-21swapper/11
2114299170,15cyclictest0-21swapper/11
2114099175,10cyclictest9-21ksoftirqd/00
2114099175,10cyclictest9-21ksoftirqd/00
21150991614,1cyclictest0-21swapper/33
21150991612,2cyclictest26744-21aten2_r9power_c3
21150991611,3cyclictest665-21runrttasks3
21150991611,3cyclictest23427-21cat3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional