You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-12 - 12:40
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Wed Nov 12, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
53922307202,66sleep10-21swapper/11
62432269232,24sleep20-21swapper/22
59632265197,55sleep00-21swapper/00
62642251179,24sleep30-21swapper/33
642199250246,2cyclictest0-21swapper/11
641799195190,3cyclictest16178-21strings0
6429999692,2cyclictest0-21swapper/22
6431998987,1cyclictest0-21swapper/33
91072520,1sleep20-21swapper/22
75242500,2sleep00-21swapper/00
13852470,1sleep30-21swapper/33
64122350,1sleep20-21swapper/22
641799331,10cyclictest8048-21munin-run0
253672270,3sleep1642199cyclictest1
215582270,2sleep30-21swapper/33
115172260,1sleep10-21swapper/11
642199250,16cyclictest0-21swapper/11
641799240,22cyclictest24668-21kworker/0:10
642999234,17cyclictest19321-21cat2
642999233,18cyclictest10663-21cat2
642999233,17cyclictest6408-21latency_hist2
642999232,18cyclictest10333-21gdbus2
642999231,5cyclictest29284-21latency_hist2
642999231,5cyclictest24730-21apt-get2
642999231,4cyclictest29626-21munin-run2
642999231,4cyclictest24241-21apt2
642999231,4cyclictest10333-21gdbus2
641799231,6cyclictest29428-21seq0
641799231,6cyclictest17950-21seq0
232972230,1sleep30-21swapper/33
175722230,2sleep20-21swapper/22
64722220,2sleep30-21swapper/33
642999224,16cyclictest505-21dbus-daemon2
642999223,17cyclictest15082-21latency_hist2
642999223,17cyclictest14219-21cat2
642999223,17cyclictest1227-21latency_hist2
6429992217,3cyclictest505-21dbus-daemon2
6429992216,3cyclictest2082-21systemd-journal2
642999221,5cyclictest10333-21gdbus2
642999221,5cyclictest0-21swapper/22
6429992215,4cyclictest27291-21sed2
642999221,19cyclictest7353-21sendmail2
642999221,19cyclictest7353-21sendmail2
642999221,19cyclictest505-21dbus-daemon2
6421992216,4cyclictest30755-21ntp_states1
6421992215,4cyclictest20254-21dump-pmu-power1
641799222,6cyclictest9852-21seq0
641799221,7cyclictest31200-21if_err_enp3s00
641799220,6cyclictest0-21swapper/00
139682220,2sleep10-21swapper/11
642999213,16cyclictest11229-21idleruntime-cro2
642999211,5cyclictest505-21dbus-daemon2
6429992115,4cyclictest505-21dbus-daemon2
642999211,3cyclictest21206-21munin-run2
642999211,3cyclictest16475-1kworker/2:2H2
642999211,18cyclictest8096-21procmail2
642999211,18cyclictest23251-21sleep2
642999211,18cyclictest17831-21dump-pmu-power2
642999211,18cyclictest13235-21cron2
642999210,20cyclictest0-21swapper/22
6421992115,4cyclictest26945-21seq1
6421992115,3cyclictest5238-21if_err_enp2s01
641799217,4cyclictest215602grep0
641799212,6cyclictest9-21ksoftirqd/00
641799212,6cyclictest9-21ksoftirqd/00
6417992115,4cyclictest16387-21seq0
6417992114,4cyclictest11694-21ls0
315352210,2sleep00-21swapper/00
6431992015,3cyclictest8191-21switchtime3
6431992015,3cyclictest32748-21ntpq3
6431992015,3cyclictest25882-21vmstat3
6431992015,3cyclictest2178-21acpi3
6431992015,3cyclictest1927-21fw_packets3
6431992015,3cyclictest14144-21cron3
6431992014,4cyclictest9686-21date3
6431992014,4cyclictest505-21dbus-daemon3
6431992014,4cyclictest3964-21df_inode3
6431992014,4cyclictest29467-21pluginstate3
6431992014,4cyclictest25921-21df_inode3
6431992014,4cyclictest24644-21aten2_r9power_p3
6431992014,4cyclictest23490-21ls3
6431992014,4cyclictest20337-21seq3
6431992014,4cyclictest20337-21seq3
6431992014,4cyclictest19313-21ntp_kernel_pll_3
6431992014,4cyclictest19117-21memory3
6431992014,4cyclictest17956-21cat3
643199201,16cyclictest21746-21sed3
642999202,17cyclictest0-21swapper/22
6429992015,3cyclictest9659-21grep2
6429992015,3cyclictest505-21dbus-daemon2
6429992015,3cyclictest4122-21sed2
642999201,4cyclictest27333-21sendmail-mta2
6429992014,4cyclictest665-21runrttasks2
642999201,3cyclictest14558-21munin-run2
642999201,17cyclictest26242-21latency_hist2
642999201,17cyclictest15808-21latency_hist2
642999201,17cyclictest13754-21cron2
642999201,17cyclictest12578-21sendmail-mta2
642999200,3cyclictest15823-1kworker/2:2H2
642999200,17cyclictest25246-21munin-run2
642999200,17cyclictest25246-21munin-run2
642999200,17cyclictest20644-21latency_hist2
642999200,17cyclictest20644-21latency_hist2
642199203,10cyclictest29391-21apt-get1
6421992015,3cyclictest8851-21seq1
6421992015,3cyclictest29266-21ls1
6421992015,3cyclictest16336-21seq1
6421992015,3cyclictest13663-21grep1
6421992014,4cyclictest9830-21cat1
6421992014,4cyclictest32312-21expr1
6421992014,4cyclictest1803-21seq1
6421992013,4cyclictest5552-21grep1
6421992013,4cyclictest5552-21grep1
6421992013,4cyclictest3156-21ntp_states1
6421992013,4cyclictest12519-21sh1
642199201,16cyclictest2873-21wc1
642199200,17cyclictest4284-21sed1
641799202,6cyclictest9-21ksoftirqd/00
641799202,5cyclictest9-21ksoftirqd/00
6417992017,2cyclictest101rcuc/00
6417992017,2cyclictest101rcuc/00
6417992017,2cyclictest101rcuc/00
6417992017,2cyclictest0-21swapper/00
641799201,6cyclictest9-21ksoftirqd/00
6417992014,4cyclictest9226-21seq0
6417992014,4cyclictest7149-21seq0
6417992014,4cyclictest7149-21seq0
6417992014,4cyclictest25887-21expr0
6417992014,4cyclictest12503-21cron0
6417992014,4cyclictest10438-21seq0
6417992013,4cyclictest27047-21awk0
6417992013,4cyclictest13036-21ls0
641799200,7cyclictest9-21ksoftirqd/00
641799200,6cyclictest9-21ksoftirqd/00
643199197,3cyclictest278522idleruntime3
6431991915,2cyclictest32687-21/usr/sbin/munin3
6431991914,3cyclictest4859-21if_err_enp3s03
6431991914,3cyclictest4859-21if_err_enp3s03
6431991914,3cyclictest28844-21processes3
6431991914,3cyclictest27435-21pmu-power3
6431991914,3cyclictest25809-21idleruntime3
6431991914,3cyclictest20413-21processes3
6431991914,3cyclictest16518-21aten2_r9power_p3
6431991914,3cyclictest15482-21swap3
6431991914,3cyclictest14437-21df3
6431991914,3cyclictest1414-21df3
6431991914,3cyclictest12449-21grep3
6431991914,3cyclictest10686-21missed_timers3
6431991913,4cyclictest6301-21load3
6431991913,4cyclictest6301-21load3
6431991913,4cyclictest29813-21df3
6431991913,4cyclictest24970-21seq3
6431991913,4cyclictest24970-21seq3
6431991913,4cyclictest17171-21wc3
6431991913,4cyclictest13985-21latency3
6431991913,4cyclictest11844-21cat3
643199191,16cyclictest11041-21awk3
6431991911,5cyclictest23010-21seq3
6429991914,3cyclictest8537-21munin-node2
6429991914,3cyclictest4778-21sed2
6429991914,3cyclictest3138-21cut2
642999191,16cyclictest26338-21cron2
6429991910,5cyclictest505-21dbus-daemon2
642999190,3cyclictest32244-1kworker/2:0H2
642999190,3cyclictest29677-1kworker/2:1H2
6421991915,2cyclictest30662-21/usr/sbin/munin1
6421991915,2cyclictest24709-21cat1
6421991915,2cyclictest22439-21/usr/sbin/munin1
6421991915,2cyclictest1468-21/usr/sbin/munin1
6421991914,3cyclictest9967-21seq1
6421991914,3cyclictest9756-21sed1
6421991914,3cyclictest7232-21interrupts1
6421991914,3cyclictest20040-21seq1
6421991914,3cyclictest15349-21awk1
6421991914,3cyclictest11457-21/usr/sbin/munin1
6421991913,4cyclictest7645-21which1
6421991913,4cyclictest7535-21cat1
6421991913,4cyclictest505-21dbus-daemon1
6421991913,4cyclictest3949-21seq1
6421991913,4cyclictest29736-21wc1
6421991913,4cyclictest23943-21grep1
6421991913,4cyclictest23943-21grep1
6421991913,4cyclictest23071-21expr1
6421991913,4cyclictest22560-21seq1
6421991913,4cyclictest22255-21cat1
6421991913,4cyclictest21219-21cat1
6421991912,4cyclictest505-21dbus-daemon1
6421991912,4cyclictest3684-21grep1
641799199,2cyclictest111rcu_preempt0
641799193,8cyclictest9-21ksoftirqd/00
641799192,6cyclictest9-21ksoftirqd/00
641799192,5cyclictest9-21ksoftirqd/00
641799191,7cyclictest9-21ksoftirqd/00
641799191,6cyclictest9-21ksoftirqd/00
641799191,6cyclictest9-21ksoftirqd/00
6417991916,2cyclictest101rcuc/00
6417991916,2cyclictest101rcuc/00
6417991916,2cyclictest101rcuc/00
641799191,5cyclictest9-21ksoftirqd/00
6417991915,3cyclictest101rcuc/00
6417991914,3cyclictest2347-21sh0
6417991914,3cyclictest22847-21expr0
6417991914,3cyclictest22141-21ls0
6417991914,3cyclictest2082-21systemd-journal0
6417991914,3cyclictest18812-21entropy0
6417991913,4cyclictest7017-21expr0
6417991913,4cyclictest13664-21grep0
6417991913,4cyclictest11886-21cat0
6417991912,4cyclictest5865-21cat0
641799190,5cyclictest0-21swapper/00
641799190,5cyclictest0-21swapper/00
6431991814,2cyclictest8731-21df_inode3
6431991814,2cyclictest5075-21apt-get3
6431991814,2cyclictest30473-21if_enp3s03
6431991814,2cyclictest27588-21processes3
6431991814,2cyclictest12688-21uptime3
6431991813,3cyclictest31802-21expr3
6431991813,3cyclictest29052-21expr3
6431991813,3cyclictest22611-21sh3
6431991813,3cyclictest21781-21ntpq3
6431991813,3cyclictest15620-21needreboot3
6431991813,3cyclictest10562-21wc3
6431991812,4cyclictest6314-21hostname3
6431991812,4cyclictest4093-21basename3
6431991812,4cyclictest18107-21cat3
642999184,1cyclictest0-21swapper/22
6429991816,1cyclictest0-21swapper/22
6429991816,1cyclictest0-21swapper/22
6429991816,1cyclictest0-21swapper/22
6429991815,2cyclictest0-21swapper/22
642999181,4cyclictest4120-21gpgv2
6429991813,3cyclictest6408-21latency_hist2
6429991812,4cyclictest7425-21grep2
6429991812,4cyclictest654-21expr2
642999180,3cyclictest15823-1kworker/2:2H2
642199183,9cyclictest7609-21apt-get1
642199182,10cyclictest24730-21apt-get1
6421991814,2cyclictest9428-21/usr/sbin/munin1
6421991814,2cyclictest26483-21/usr/sbin/munin1
6421991814,2cyclictest20508-21/usr/sbin/munin1
6421991814,2cyclictest16838-21/usr/sbin/munin1
6421991813,3cyclictest665-21runrttasks1
6421991813,3cyclictest5708-21seq1
6421991813,3cyclictest31784-21expr1
6421991813,3cyclictest28650-21basename1
6421991813,3cyclictest28250-21seq1
6421991813,3cyclictest18860-21/usr/sbin/munin1
6421991813,3cyclictest18860-21/usr/sbin/munin1
6421991812,3cyclictest14119-21uname1
6421991812,3cyclictest12422-21sh1
6421991811,5cyclictest16504-21cut1
642199180,16cyclictest11782-21seq1
642199180,16cyclictest0-21swapper/11
641799188,7cyclictest30708-21aten2.4-expect0
641799182,5cyclictest9-21ksoftirqd/00
641799182,5cyclictest9-21ksoftirqd/00
641799181,5cyclictest9-21ksoftirqd/00
641799181,5cyclictest9-21ksoftirqd/00
6417991815,2cyclictest101rcuc/00
6417991814,2cyclictest11987-21/usr/sbin/munin0
6417991813,3cyclictest28772-21seq0
6417991813,3cyclictest25079-21if_err_enp2s00
6417991812,4cyclictest3072-21cut0
6417991812,4cyclictest20411-21seq0
641799180,7cyclictest9-21ksoftirqd/00
641799180,6cyclictest9-21ksoftirqd/00
641799180,6cyclictest9-21ksoftirqd/00
643199173,8cyclictest30680-21apt-get3
6431991713,2cyclictest604-21sendmail-mta3
6431991712,3cyclictest4576-21seq3
6431991712,3cyclictest30589-21aten2_r9power_c3
6431991712,3cyclictest11146-21expr3
6431991712,3cyclictest10703-21expr3
643199170,15cyclictest0-21swapper/33
642199172,9cyclictest17389-21apt-get1
642199172,12cyclictest6067-21gltestperf1
642199172,12cyclictest6067-21gltestperf1
6421991714,2cyclictest0-21swapper/11
6421991710,4cyclictest460-21cpuspeed_turbos1
6417991715,1cyclictest101rcuc/00
6431991611,3cyclictest13749-21proc_pri3
642999162,12cyclictest5155-21sed2
642999162,12cyclictest5155-21sed2
6421991612,2cyclictest16044-21/usr/sbin/munin1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional