You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-18 - 04:51
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Tue Nov 18, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
133452340254,76sleep10-21swapper/11
142502291219,59sleep30-21swapper/33
15280992891,284cyclictest8312-21munin-run2
1528299285281,2cyclictest8335-21awk3
137082285219,56sleep00-21swapper/00
147932253216,24sleep20-21swapper/22
1527099164158,4cyclictest8331-21perf0
1527499117110,5cyclictest8324-21sendmail1
37712590,1sleep30-21swapper/33
37712590,1sleep30-21swapper/33
202402570,4sleep01527099cyclictest0
76722540,1sleep00-21swapper/00
314732510,1sleep30-21swapper/33
314732510,1sleep30-21swapper/33
1527099340,10cyclictest22190-21sed0
1527099330,10cyclictest12891-21date0
1527099321,9cyclictest2212-21munin-plugin-st0
1527099302,9cyclictest5259-21latency_hist0
1527099281,10cyclictest26612-21unixbench_singl0
1527099273,6cyclictest6208-21hostname0
1527099272,6cyclictest9170-21tr0
1527099267,7cyclictest9-21ksoftirqd/00
1527099263,6cyclictest24626-21expr0
15270992621,3cyclictest20920-21cron0
15280992510,7cyclictest3771-21idleruntime-cro2
1527099253,6cyclictest9-21ksoftirqd/00
1527099252,7cyclictest2006-21sed0
1527099252,6cyclictest20363-21cut0
1527099251,16cyclictest665-21runrttasks0
1527099250,16cyclictest665-21runrttasks0
15282992416,5cyclictest9872-21cron3
1528099244,18cyclictest18061-21cat2
1528099242,19cyclictest5076-21munin-run2
15280992411,11cyclictest3326-21ntpq2
15280992411,11cyclictest3326-21ntpq2
1527099242,6cyclictest27792-21seq0
1527099241,9cyclictest19128-21awk0
313462230,1sleep30-21swapper/33
1528099231,19cyclictest24198-21munin-run2
1527499239,11cyclictest14812-21sh1
1527099236,6cyclictest9-21ksoftirqd/00
1527099236,5cyclictest9-21ksoftirqd/00
1527099233,6cyclictest2110-21ntpq0
1527099231,6cyclictest8397-21processes0
1527099231,6cyclictest4320-21seq0
1527099231,6cyclictest27515-21cpuspeed_turbos0
1527099231,6cyclictest10907-21seq0
1527099230,6cyclictest9-21ksoftirqd/00
15282992215,4cyclictest17932-21idleruntime-cro3
1528299221,17cyclictest2082-21systemd-journal3
1528099222,18cyclictest20810-21cat2
15280992216,4cyclictest21369-21proc_pri2
15280992216,3cyclictest21985-21sendmail2
1528099221,4cyclictest27043-21runrttasks2
1528099221,3cyclictest28947-21munin-run2
1528099221,3cyclictest24900-21munin-run2
1528099221,3cyclictest12765-21munin-run2
1528099221,19cyclictest28255-21munin-run2
15274992216,4cyclictest5801-21sendmail1
15274992212,7cyclictest5161-21sort1
1527099223,6cyclictest101rcuc/00
15270992219,2cyclictest101rcuc/00
15270992219,2cyclictest101rcuc/00
15270992219,2cyclictest101rcuc/00
1527099221,7cyclictest9-21ksoftirqd/00
1527099221,7cyclictest13063-21open_files0
1527099221,7cyclictest13063-21open_files0
1527099221,6cyclictest9-21ksoftirqd/00
1527099221,6cyclictest11772-21seq0
1527099220,9cyclictest665-21runrttasks0
1527099220,8cyclictest9-21ksoftirqd/00
1527099220,8cyclictest9-21ksoftirqd/00
1527099220,8cyclictest9-21ksoftirqd/00
1527099220,7cyclictest9-21ksoftirqd/00
1527099220,7cyclictest522-21taskset0
1527099220,6cyclictest9-21ksoftirqd/00
1527099220,6cyclictest9-21ksoftirqd/00
1527099220,6cyclictest9-21ksoftirqd/00
1527099220,6cyclictest9-21ksoftirqd/00
1527099220,6cyclictest9-21ksoftirqd/00
1527099220,6cyclictest9-21ksoftirqd/00
1527099220,6cyclictest9-21ksoftirqd/00
1527099220,6cyclictest29300-21seq0
1527099220,6cyclictest26148-21seq0
15282992115,3cyclictest22880-21sh3
15282992114,4cyclictest505-21dbus-daemon3
1528299210,5cyclictest0-21swapper/33
1528299210,5cyclictest0-21swapper/33
1528099219,9cyclictest10741-21cpu2
15280992117,2cyclictest28-21ksoftirqd/22
15280992116,3cyclictest29678-21ntpq2
15280992116,3cyclictest23544-21cstates2
15280992115,4cyclictest31755-21df2
15280992114,4cyclictest17339-21seq2
1528099211,3cyclictest19943-21munin-run2
1528099211,18cyclictest29229-21/usr/sbin/munin2
1528099211,18cyclictest29042-21munin-run2
1528099211,18cyclictest16897-21sendmail-mta2
1528099211,13cyclictest0-21swapper/22
1528099210,3cyclictest8461-21expr2
1528099210,19cyclictest10340-21munin-run2
15274992115,4cyclictest19950-21sh1
15274992115,3cyclictest4828-21nm-online1
15274992115,3cyclictest16624-21aten2_r9power_e1
15274992114,5cyclictest31342-21awk1
15274992114,5cyclictest14209-21/usr/sbin/munin1
15274992114,4cyclictest22067-21seq1
15274992114,4cyclictest13856-21seq1
15274992114,4cyclictest11912-21cron1
15274992114,4cyclictest10513-21seq1
1527499210,2cyclictest111rcu_preempt1
1527099212,6cyclictest101rcuc/00
1527099212,11cyclictest604-21sendmail-mta0
15270992118,2cyclictest101rcuc/00
1527099210,8cyclictest9-21ksoftirqd/00
1527099210,8cyclictest9-21ksoftirqd/00
1527099210,7cyclictest9-21ksoftirqd/00
1527099210,7cyclictest9-21ksoftirqd/00
1527099210,6cyclictest9-21ksoftirqd/00
1527099210,6cyclictest9-21ksoftirqd/00
1527099210,6cyclictest15509-21seq0
15282992016,2cyclictest16799-21dump-pmu-power3
15282992015,3cyclictest31236-21ntp_offset3
15282992015,3cyclictest28313-21acpi3
15282992014,4cyclictest4166-21pluginstate3
15282992014,4cyclictest2404-21sed3
15282992014,4cyclictest21362-21memory3
15282992014,4cyclictest21252-21tr3
15282992012,6cyclictest5858-40invoke-rc.d3
1528099209,10cyclictest28-21ksoftirqd/22
1528099203,16cyclictest10768-21awk2
1528099202,17cyclictest9177-21awk2
1528099202,16cyclictest292-21jbd2/mmcblk0p2-2
1528099202,16cyclictest292-21jbd2/mmcblk0p2-2
1528099202,14cyclictest16577-21apt-get2
15280992015,3cyclictest6096-21aten2_r9power_c2
15280992015,3cyclictest32112-21ntp_offset2
15280992015,3cyclictest32112-21ntp_offset2
15280992015,3cyclictest31013-21kernelversion2
15280992015,3cyclictest30974-21aten2_r9power_v2
15280992015,3cyclictest2598-21latency_hist2
15280992015,3cyclictest17869-21memory2
15280992014,4cyclictest22847-21seq2
15280992014,4cyclictest1989-21seq2
15280992014,4cyclictest19832-21seq2
15280992014,4cyclictest1897-21latency2
15280992014,3cyclictest9836-21diskstats2
1528099201,3cyclictest15078-1kworker/2:2H2
15280992013,5cyclictest18657-21seq2
15280992013,5cyclictest18657-21seq2
1528099201,17cyclictest16027-21apt2
1528099200,3cyclictest15755-21apt-config2
15274992016,2cyclictest16217-21aten2_r9power_p1
15274992015,3cyclictest29215-21/usr/sbin/munin1
15274992015,3cyclictest15586-21sh1
15274992015,3cyclictest12820-21kernelversion1
15274992015,3cyclictest12820-21kernelversion1
15274992015,2cyclictest19048-21/usr/sbin/munin1
15274992014,4cyclictest24034-21seq1
15274992014,4cyclictest17209-21seq1
15274992014,3cyclictest28146-21sh1
15274992013,4cyclictest5788-21diskstats1
15274992013,4cyclictest29873-21basename1
15274992012,4cyclictest6938-21apt-get1
1527099205,5cyclictest9-21ksoftirqd/00
1527099202,6cyclictest9-21ksoftirqd/00
1527099202,6cyclictest9-21ksoftirqd/00
15270992013,4cyclictest21763-21sed0
15270992013,4cyclictest11453-21ntpq0
1527099200,6cyclictest9-21ksoftirqd/00
15282991914,3cyclictest9777-21sed3
15282991914,3cyclictest32563-21sed3
15282991914,3cyclictest27441-21xargs3
15282991914,3cyclictest24775-21expr3
15282991914,3cyclictest1104-21sort3
15282991913,4cyclictest505-21dbus-daemon3
15282991913,4cyclictest12665-21sed3
15282991912,4cyclictest31020-21basename3
15282991911,5cyclictest505-21dbus-daemon3
15282991911,4cyclictest16878-21turbostat3
1528099192,15cyclictest26938-21basename2
15280991915,2cyclictest685-21missed_timers2
15280991914,3cyclictest5152-21irqstats2
15280991914,3cyclictest30625-21vmstat2
15280991914,3cyclictest24542-21aten2_r9power_p2
15280991914,3cyclictest22977-21load2
15280991914,3cyclictest14440-21uptime2
15280991914,3cyclictest10756-21cat2
15280991914,3cyclictest0-21swapper/22
15280991913,4cyclictest20528-21cut2
1528099191,17cyclictest22416-21sendmail2
1528099191,16cyclictest7432-21head2
15280991910,5cyclictest26298-21apt-get2
1528099190,2cyclictest5345-21/usr/sbin/munin2
1528099190,17cyclictest15187-21cat2
1527499192,15cyclictest3761-21dump-pmu-power1
15274991916,2cyclictest0-21swapper/11
15274991915,2cyclictest27625-21threads1
15274991914,3cyclictest9638-21cat1
15274991914,3cyclictest7365-21/usr/sbin/munin1
15274991914,3cyclictest551-21hostname1
15274991914,3cyclictest3703-21kworker/u8:21
15274991914,3cyclictest31578-21expr1
15274991914,3cyclictest31578-21expr1
15274991914,3cyclictest27169-21/usr/sbin/munin1
15274991914,3cyclictest27010-21cron1
15274991914,3cyclictest26248-21ls1
15274991914,3cyclictest24635-21seq1
15274991914,3cyclictest2453-21/usr/sbin/munin1
15274991914,3cyclictest2453-21/usr/sbin/munin1
15274991914,3cyclictest21785-21seq1
15274991914,3cyclictest20933-21load1
15274991914,3cyclictest17023-21/usr/sbin/munin1
15274991914,3cyclictest17023-21/usr/sbin/munin1
15274991914,3cyclictest15307-21expr1
15274991914,3cyclictest15051-21/usr/sbin/munin1
15274991914,3cyclictest1212-21/usr/sbin/munin1
15274991914,3cyclictest11134-21seq1
15274991913,4cyclictest23704-21seq1
15274991913,4cyclictest21-21ksoftirqd/11
15274991913,4cyclictest18757-21seq1
15274991913,4cyclictest18702-21expr1
15274991913,4cyclictest1198-21expr1
15274991913,3cyclictest11426-21/usr/sbin/munin1
15274991911,5cyclictest32133-21grep1
15270991915,2cyclictest26467-21/usr/sbin/munin0
1528299189,5cyclictest26115-21wc3
15282991814,2cyclictest10142-21apt3
15282991813,3cyclictest9164-21apt3
15282991813,3cyclictest3550-21sed3
15282991813,3cyclictest24485-21grep3
15282991813,3cyclictest24147-21sed3
15282991813,3cyclictest22074-21ntp_states3
15282991813,3cyclictest19199-21cut3
15282991813,3cyclictest17484-21expr3
15282991813,3cyclictest14202-21grep3
15282991812,4cyclictest29233-21ls3
15282991812,4cyclictest24067-21ntp_kernel_pll_3
15282991812,4cyclictest21160-21grep3
15282991812,4cyclictest18834-21cut3
15282991812,3cyclictest2071-21aten2.4-expect3
1528299180,4cyclictest0-21swapper/33
15280991815,2cyclictest26049-21sendmail2
15280991813,3cyclictest21807-21sed2
15280991813,3cyclictest2043-21timerwakeupswit2
15274991813,3cyclictest29697-21ntpq1
15274991813,3cyclictest29358-21gzip1
15274991813,3cyclictest21150-21aten2_r9power_e1
15274991812,4cyclictest28094-21basename1
15274991812,4cyclictest24335-21sh1
15274991812,4cyclictest22389-21latency_hist1
15274991812,3cyclictest24849-21cat1
15270991815,2cyclictest101rcuc/00
1528299179,4cyclictest2082-21systemd-journal3
1528299177,7cyclictest0-21swapper/33
1528299172,8cyclictest29323-21apt-get3
1528299172,13cyclictest26195-21grep3
1528299171,6cyclictest0-21swapper/33
15282991712,3cyclictest6740-21awk3
15282991712,3cyclictest1250-21df3
15282991712,3cyclictest10181-21wc3
15282991712,3cyclictest10139-21timerandwakeup3
1528299171,1cyclictest0-21swapper/33
1528299171,1cyclictest0-21swapper/33
15282991711,4cyclictest7193-21grep3
15282991711,3cyclictest27484-21grep3
15282991710,6cyclictest24194-21cron3
15282991710,4cyclictest25252-21aten2_r9power_p3
15282991710,3cyclictest18466-21cut3
1528299170,16cyclictest0-21swapper/33
1528299170,16cyclictest0-21swapper/33
1528299170,16cyclictest0-21swapper/33
15280991711,4cyclictest5179-21expr2
15274991713,2cyclictest19134-21/usr/sbin/munin1
15274991712,3cyclictest665-21runrttasks1
15274991712,3cyclictest320-21cat1
15274991711,3cyclictest23313-21cpuspeed1
15274991710,4cyclictest18985-21expr1
15282991612,2cyclictest665-21runrttasks3
15282991611,3cyclictest19022-21df3
15282991610,3cyclictest6551-21tail3
15274991611,3cyclictest9316-21cat1
15274991610,4cyclictest11214-21cpuspeed1
1528299158,5cyclictest2082-21systemd-journal3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional