You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-25 - 21:54
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Tue Nov 25, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
126942302272,17sleep10-21swapper/11
116902299203,57sleep20-21swapper/22
127482295265,17sleep00-21swapper/00
1314999263259,2cyclictest0-21swapper/22
127712258221,24sleep30-21swapper/33
1313799193188,3cyclictest27823-21strings0
1315199155151,2cyclictest0-21swapper/33
2549521480,3sleep30-21swapper/33
2549521480,3sleep30-21swapper/33
131459910095,3cyclictest0-21swapper/11
301792590,2sleep10-21swapper/11
65612560,1sleep20-21swapper/22
100772420,1sleep20-21swapper/22
100772420,1sleep20-21swapper/22
133762380,1sleep10-21swapper/11
13151993713,4cyclictest28212-21sed3
13151993613,4cyclictest3101-21sed3
13151993513,3cyclictest24627-21idleruntime3
13151993513,3cyclictest24627-21idleruntime3
13151993513,3cyclictest14305-21sed3
13151993513,3cyclictest13845-21grep3
13151993412,3cyclictest32139-21cut3
13151993311,4cyclictest8655-21seq3
13151993310,4cyclictest17965-21awk3
13151993211,4cyclictest2408-21sendmail3
231962310,9sleep335-21ksoftirqd/33
13151993111,3cyclictest665-21runrttasks3
13137992822,4cyclictest8851-21/usr/sbin/munin0
1315199275,4cyclictest0-21swapper/33
1314999250,23cyclictest26451-21kworker/2:22
130772250,4sleep31315199cyclictest3
13149992318,3cyclictest19970-21cut2
13149992312,9cyclictest2758-21which2
13145992314,3cyclictest21-21ksoftirqd/11
13145992314,3cyclictest21-21ksoftirqd/11
255042220,1sleep10-21swapper/11
220242220,2sleep335-21ksoftirqd/33
1315199220,19cyclictest15430-21date3
1314999221,3cyclictest5735-21grep2
1314999221,3cyclictest4506-21latency_hist2
1314999221,18cyclictest5853-21perf2
13149992210,9cyclictest21280-21timerwakeupswit2
1314999220,9cyclictest17373-21perf2
1314999220,19cyclictest2477-21cron2
13145992215,4cyclictest18760-21cat1
13137992215,4cyclictest505-21dbus-daemon0
13137992215,4cyclictest2498-21sendmail0
13137992214,5cyclictest25600-21sed0
13137992214,5cyclictest25600-21sed0
13151992114,4cyclictest25891-21date3
13149992116,3cyclictest9274-21timerandwakeup2
13149992116,3cyclictest31836-21latency2
13149992116,3cyclictest31349-21cut2
13149992116,3cyclictest30705-21df2
13149992115,4cyclictest7177-21gltestperf2
13149992115,4cyclictest2424-21plymouth2
13149992115,4cyclictest22866-21sed2
13149992115,4cyclictest14924-21seq2
13149992115,4cyclictest13058-21cat2
13149992114,4cyclictest19299-21seq2
1314999211,18cyclictest505-21dbus-daemon2
1314999211,18cyclictest19410-21perf2
1314999211,15cyclictest5099-21apt-get2
1314999210,3cyclictest11929-21munin-run2
1314999210,20cyclictest0-21swapper/22
1314599218,3cyclictest111rcu_preempt1
13145992115,4cyclictest24926-21awk1
13145992115,4cyclictest13748-21seq1
13145992114,5cyclictest6979-21ntpq1
13145992114,4cyclictest22514-21seq1
13137992115,4cyclictest23514-21seq0
114122210,4sleep09-21ksoftirqd/00
13151992016,2cyclictest29040-21aten2_r9power_c3
13151992015,3cyclictest8853-21cat3
13151992015,3cyclictest24420-21vmstat3
13151992015,3cyclictest18817-21date3
13151992015,3cyclictest14660-21hostname3
13151992014,4cyclictest7021-21memory3
13151992014,4cyclictest6065-21grep3
13151992014,4cyclictest4760-21sed3
13151992014,4cyclictest16984-21uptime3
13151992014,4cyclictest12328-21sed3
1315199200,17cyclictest15360-21ntpq3
1314999202,16cyclictest8907-21apt2
1314999202,16cyclictest22751-21latency_hist2
13149992015,3cyclictest6094-21uptime2
13149992015,3cyclictest505-21dbus-daemon2
13149992015,3cyclictest21859-21proc_pri2
13149992015,3cyclictest16872-21aten2_r9power_e2
13149992015,3cyclictest11377-21if_enp2s02
13149992014,4cyclictest1660-21sendmail2
13149992014,3cyclictest26097-21grep2
1314999201,2cyclictest9135-21/usr/sbin/munin2
1314999201,17cyclictest30887-21turbostat2
1314999201,17cyclictest26749-1kworker/2:2H2
1314999201,17cyclictest26749-1kworker/2:2H2
1314999200,4cyclictest16293-21perf2
1314999200,1cyclictest0-21swapper/22
1314999200,18cyclictest0-21swapper/22
1314999200,17cyclictest2147-21/usr/sbin/munin2
13145992016,3cyclictest21-21ksoftirqd/11
13145992016,2cyclictest9190-21aten2_r9power_e1
13145992016,2cyclictest5878-21timerandwakeup1
13145992016,2cyclictest3696-21sh1
13145992015,3cyclictest6715-21/usr/sbin/munin1
13145992015,3cyclictest4437-21grep1
13145992015,3cyclictest2296-21seq1
13145992015,3cyclictest22885-21open_files1
13145992015,3cyclictest18030-21sh1
13145992015,3cyclictest17708-21sh1
13145992015,3cyclictest15260-21munin-node1
13145992014,4cyclictest929-21wc1
13145992014,4cyclictest6800-21seq1
13145992014,3cyclictest16541-21cut1
13145992014,3cyclictest13691-21awk1
13145992013,4cyclictest10333-21gdbus1
13145992012,5cyclictest15439-21cut1
13145992010,6cyclictest13553-21apt-get1
13137992015,3cyclictest27787-21sed0
13137992015,3cyclictest24999-21cut0
13137992015,3cyclictest24145-21aten2.4-expect0
13137992015,3cyclictest13176-21seq0
13137992015,3cyclictest12441-21find0
13137992014,4cyclictest4378-21diskstats0
13137992014,4cyclictest30866-21cron0
13137992014,4cyclictest28249-21/usr/sbin/munin0
13137992014,4cyclictest22805-21sed0
1313799200,19cyclictest0-21swapper/00
1315199198,3cyclictest199872processes3
1315199192,15cyclictest19356-21head3
13151991915,2cyclictest18214-21if_err_enp2s03
13151991914,3cyclictest8677-21date3
13151991914,3cyclictest32119-21/usr/sbin/munin3
13151991914,3cyclictest30902-21idleruntime-cro3
13151991914,3cyclictest19946-21cat3
13151991914,3cyclictest10282-21cpu3
13151991913,4cyclictest23987-21date3
13151991913,4cyclictest23537-21if_err_enp3s03
13151991913,4cyclictest10333-21gdbus3
13151991912,4cyclictest4856-21basename3
13151991912,4cyclictest10527-21cron3
13151991912,4cyclictest10527-21cron3
1315199191,15cyclictest15166-21cut3
1314999192,15cyclictest24775-21latency_hist2
1314999192,12cyclictest24098-21apt-get2
1314999192,12cyclictest24098-21apt-get2
13149991915,2cyclictest30031-21latency_hist2
13149991915,2cyclictest18988-21aten2_r9power_c2
13149991915,2cyclictest18263-21cpuspeed_turbos2
13149991914,3cyclictest30836-21cat2
13149991914,3cyclictest30537-21entropy2
13149991914,3cyclictest28-21ksoftirqd/22
13149991914,3cyclictest27512-21cat2
13149991914,3cyclictest15841-21unixbench-2d2
13149991914,3cyclictest13962-21switchtime2
13149991913,4cyclictest11298-21readlink2
13149991912,4cyclictest16454-21grep2
1314999191,17cyclictest28-21ksoftirqd/22
1314999190,3cyclictest1303-1kworker/2:0H2
1314999190,17cyclictest28-21ksoftirqd/22
1314999190,17cyclictest27833-21systemctl2
1314999190,17cyclictest14055-21latency_hist2
1314599193,13cyclictest21833-21grep1
13145991916,2cyclictest0-21swapper/11
13145991915,2cyclictest32527-21uptime1
13145991915,2cyclictest10411-21/usr/sbin/munin1
1314599191,4cyclictest0-21swapper/11
13145991914,3cyclictest9985-21seq1
13145991914,3cyclictest6266-21/usr/sbin/munin1
13145991914,3cyclictest31032-21acpi1
13145991914,3cyclictest24284-21sed1
13145991914,3cyclictest21-21ksoftirqd/11
13145991914,3cyclictest1693-21/usr/sbin/munin1
13145991913,4cyclictest24632-21basename1
13145991913,4cyclictest24632-21basename1
13145991913,4cyclictest1156-21awk1
13145991912,4cyclictest7716-21cat1
13145991912,4cyclictest20990-21awk1
13145991912,4cyclictest2082-21systemd-journal1
13145991912,4cyclictest15257-21expr1
13145991910,5cyclictest10818-21apt-get1
13137991915,2cyclictest595-21/usr/sbin/munin0
13137991915,2cyclictest24511-21df0
13137991915,2cyclictest24511-21df0
13137991914,3cyclictest5054-21sed0
13137991914,3cyclictest2663-21/usr/sbin/munin0
13137991914,3cyclictest26608-21expr0
13137991914,3cyclictest17937-21ls0
13137991914,3cyclictest13973-21df0
13137991914,3cyclictest13390-21cut0
13137991914,3cyclictest10800-21/usr/sbin/munin0
13137991913,4cyclictest665-21runrttasks0
13137991913,4cyclictest5087-21expr0
13137991913,4cyclictest32515-21seq0
13137991913,4cyclictest32371-21cut0
13137991913,4cyclictest29421-21expr0
13137991913,4cyclictest26913-21sed0
13137991913,4cyclictest20079-21seq0
13137991913,4cyclictest18439-21sh0
13137991913,3cyclictest24718-21basename0
13137991912,4cyclictest6936-21ntp_kernel_err0
13137991912,4cyclictest16009-21sh0
1313799190,16cyclictest16282-21apt-get0
13151991814,2cyclictest32296-21/usr/sbin/munin3
13151991814,2cyclictest26456-21df3
13151991813,3cyclictest31609-21gltestperf3
13151991813,3cyclictest31149-21aten2_r9power_v3
13151991813,3cyclictest29449-21cat3
13151991813,3cyclictest21351-21expr3
13151991813,3cyclictest20298-21cut3
13151991811,4cyclictest8864-21basename3
1314999182,12cyclictest3077-21apt-get2
13149991814,2cyclictest29853-21munin-run2
1314999180,16cyclictest0-21swapper/22
1314599182,2cyclictest111rcu_preempt1
13145991814,2cyclictest3937-21/usr/sbin/munin1
13145991814,2cyclictest22999-21/usr/sbin/munin1
13145991813,3cyclictest665-21runrttasks1
13145991813,3cyclictest29089-21/usr/sbin/munin1
13145991813,3cyclictest28697-21if_err_enp3s01
13145991813,3cyclictest26705-21seq1
13145991813,3cyclictest26705-21seq1
13145991813,3cyclictest26231-21/usr/sbin/munin1
13145991813,3cyclictest20015-21readlink1
13145991813,3cyclictest18940-21cat1
13145991812,4cyclictest20241-21cat1
1314599181,15cyclictest16952-21sed1
13145991811,4cyclictest11396-21readlink1
13145991810,5cyclictest14269-21grep1
13137991816,1cyclictest0-21swapper/00
13137991816,1cyclictest0-21swapper/00
13137991814,2cyclictest28073-21/usr/sbin/munin0
13137991814,2cyclictest18868-21/usr/sbin/munin0
13137991814,2cyclictest14474-21/usr/sbin/munin0
13137991813,3cyclictest7618-21awk0
13137991813,3cyclictest7076-21cat0
13137991813,3cyclictest665-21runrttasks0
13137991813,3cyclictest4316-21cpuspeed_turbos0
13137991813,3cyclictest32737-21seq0
13137991813,3cyclictest30911-21needreboot0
13137991813,3cyclictest23673-21seq0
13137991813,3cyclictest21185-21threads0
13137991813,3cyclictest2064-21expr0
13137991813,3cyclictest10424-21cat0
13137991812,4cyclictest30587-21expr0
1313799181,16cyclictest0-21swapper/00
1313799181,16cyclictest0-21swapper/00
1315199178,7cyclictest0-21swapper/33
13151991715,1cyclictest0-21swapper/33
13151991713,2cyclictest9635-21gltestperf3
13151991713,2cyclictest5932-21nfs4_client3
13151991713,2cyclictest19651-21/usr/sbin/munin3
13151991712,3cyclictest7174-21switchtime3
13151991712,3cyclictest4054-21aten2_r9power_v3
13151991712,3cyclictest3097-21df3
13151991712,3cyclictest26665-21df3
13151991712,3cyclictest16369-21expr3
13151991712,3cyclictest1088-21expr3
1315199171,1cyclictest0-21swapper/33
1314999171,3cyclictest27961-21ntp_states2
13149991712,3cyclictest14947-21users2
1314599177,2cyclictest111rcu_preempt1
1314599172,9cyclictest26042-21apt-get1
13145991713,2cyclictest4059-21/usr/sbin/munin1
13145991712,3cyclictest2665-21acpi1
1314599170,16cyclictest0-21swapper/11
1313799176,8cyclictest0-21swapper/00
13137991713,2cyclictest8112-21/usr/sbin/munin0
13137991713,2cyclictest15345-21grep0
13137991712,3cyclictest26818-21ls0
13137991712,3cyclictest20023-21expr0
13137991712,3cyclictest19371-21expr0
13137991712,3cyclictest18071-21seq0
13137991712,3cyclictest17756-21ntpq0
13137991711,4cyclictest10518-21expr0
1313799170,15cyclictest12514-21tr0
1315199161,13cyclictest26945-21wc3
13151991611,3cyclictest14034-21latency3
13137991612,2cyclictest13188-21cstates0
1315199153,7cyclictest11516-21apt-get3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional