You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-17 - 21:06
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Mon Nov 17, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
42112314278,24sleep30-21swapper/33
42882305267,26sleep00-21swapper/00
26892248199,36sleep20-21swapper/22
42592244187,37sleep10-21swapper/11
455699231223,5cyclictest25807-21munin-run1
456199165159,4cyclictest25816-21sendmail2
663821500,2sleep00-21swapper/00
456499149142,4cyclictest1-21systemd3
1778921260,2sleep0455399cyclictest0
1778921260,2sleep0455399cyclictest0
2806621200,4sleep2456199cyclictest2
455399119109,8cyclictest25820-21perf0
90332970,3sleep3456499cyclictest3
287522590,1sleep30-21swapper/33
287522590,1sleep30-21swapper/33
162382570,2sleep20-21swapper/22
241522530,6sleep2456199cyclictest2
456499520,21cyclictest14352-21ls3
456499370,20cyclictest10689-21chrt3
456499350,20cyclictest24057-21systemctl3
4561993512,20cyclictest22170-21sed2
456199347,7cyclictest31198-21sendmail2
456499330,20cyclictest5161-21awk3
456499330,18cyclictest16988-21file3
456199333,27cyclictest14309-21latency_hist2
4561993312,18cyclictest25046-21which2
456199330,31cyclictest0-21swapper/22
4564993214,16cyclictest27536-21sed3
4561993211,18cyclictest20643-21kernelversion2
456199320,4cyclictest2077-21grep2
4564993115,14cyclictest571-21gltestperf3
4564993114,14cyclictest7700-21cat3
456499310,14cyclictest0-21swapper/33
456199318,5cyclictest505-21dbus-daemon2
4564993014,14cyclictest17147-21date3
4564993014,13cyclictest13877-21interrupts3
4564993013,14cyclictest11366-21grep3
456499300,16cyclictest0-21swapper/33
456199308,4cyclictest9895-21cron2
456199303,6cyclictest17398-21apt-get2
456199302,6cyclictest0-21swapper/22
456199302,4cyclictest0-21swapper/22
456199302,4cyclictest0-21swapper/22
456199301,8cyclictest11205-21apt2
456199301,5cyclictest27401-21unixbench_singl2
4561993015,13cyclictest12273-21cat2
4561993010,3cyclictest2082-21systemd-journal2
4561993010,3cyclictest12135-21sendmail-msp2
4564992914,12cyclictest10272-21ntp_offset3
4564992912,14cyclictest16700-21expr3
456499290,26cyclictest22266-21grep3
456199293,6cyclictest11226-21apt-get2
456199291,9cyclictest30242-21munin-run2
456199291,9cyclictest30242-21munin-run2
456199291,8cyclictest8023-21munin-run2
4561992911,3cyclictest32479-21mailstats2
4561992910,3cyclictest7050-21timerwakeupswit2
456499282,23cyclictest6540-21munin-node3
4564992812,13cyclictest31021-21open_files3
4564992812,13cyclictest21710-21aten2.4-expect3
4564992811,14cyclictest6828-21cat3
456499280,14cyclictest0-21swapper/33
456199287,3cyclictest1914-21idleruntime-cro2
456199283,6cyclictest22132-21perf2
456199282,6cyclictest28194-21munin-run2
456199282,23cyclictest0-21swapper/22
456199282,20cyclictest17310-21apt-get2
4561992811,3cyclictest3898-21cut2
4561992811,14cyclictest26168-21latency_hist2
4561992810,4cyclictest17048-21latency_hist2
456499279,15cyclictest27031-21cut3
4564992714,11cyclictest35-21ksoftirqd/33
4564992711,13cyclictest506-21idleruntime3
4564992711,13cyclictest506-21idleruntime3
4564992711,13cyclictest12458-21timerwakeupswit3
456199279,3cyclictest6479-21sed2
456199278,16cyclictest0-21swapper/22
456199276,2cyclictest0-21swapper/22
456199275,5cyclictest0-21swapper/22
456199271,7cyclictest505-21dbus-daemon2
456199271,7cyclictest505-21dbus-daemon2
456199271,6cyclictest6641-21munin-node2
456199271,6cyclictest15020-21perf2
4561992712,13cyclictest665-21runrttasks2
4561992710,2cyclictest7471-21cstates2
4553992718,3cyclictest9-21ksoftirqd/00
456499268,15cyclictest20759-21expr3
456499261,22cyclictest31194-21perf3
456499261,20cyclictest18964-21apt-get3
4564992611,12cyclictest31963-21gltestperf3
456199269,3cyclictest198132chrt2
456199268,3cyclictest2155-21acpi2
456199267,2cyclictest0-21swapper/22
456199262,6cyclictest30506-21apt-get2
456199262,6cyclictest16294-21apt-get2
456199261,4cyclictest0-21swapper/22
296462260,2sleep10-21swapper/11
456499259,14cyclictest10541-21expr3
456499258,14cyclictest2082-21systemd-journal3
456499257,15cyclictest5505-21cat3
456499257,15cyclictest28555-21/usr/sbin/munin3
456499251,21cyclictest3951-21apt3
456499251,21cyclictest2788-21munin-run3
456499251,21cyclictest20949-21grep3
456499251,21cyclictest2082-21systemd-journal3
4564992512,11cyclictest13998-21tail3
456499251,19cyclictest14247-21apt-get3
456499251,19cyclictest14247-21apt-get3
456499250,22cyclictest6042-21cat3
456499250,22cyclictest27920-21sed3
456499250,22cyclictest26887-21needreboot3
456499250,22cyclictest25324-21sed3
456499250,22cyclictest24149-21cron3
456499250,22cyclictest11233-21/usr/sbin/munin3
456199257,3cyclictest6989-21gltestperf2
456199254,4cyclictest32740-21cpuspeed_turbos2
456199254,4cyclictest32740-21cpuspeed_turbos2
456199252,5cyclictest10166-21apt-get2
456199251,6cyclictest32194-21basename2
456199251,6cyclictest15901-21unixbench_multi2
456199250,1cyclictest0-21swapper/22
455399251,17cyclictest1773-21chrt0
456499249,12cyclictest3522-21gltestperf3
456499248,13cyclictest590-21sh3
456499248,13cyclictest590-21sh3
456499247,14cyclictest23408-21users3
456499241,20cyclictest3295-21grep3
456499241,20cyclictest30151-21munin-run3
456499241,20cyclictest19167-21/usr/sbin/munin3
456499241,20cyclictest11412-21date3
456499241,19cyclictest16912-21apt-get3
456499241,19cyclictest16912-21apt-get3
456499240,21cyclictest31687-21grep3
456499240,21cyclictest20040-21/usr/sbin/munin3
456499240,21cyclictest19088-21sendmail3
456499240,21cyclictest15431-21ntpq3
456499240,21cyclictest12525-21cut3
456199241,5cyclictest3787-21munin-plugin-st2
456199241,5cyclictest21982-21cpuspeed_turbos2
456199241,5cyclictest13216-21sh2
4561992411,2cyclictest665-21runrttasks2
456199240,3cyclictest31682-21chrt2
4553992415,3cyclictest9-21ksoftirqd/00
456499231,19cyclictest9167-21/usr/sbin/munin3
456499231,19cyclictest1750-21munin-node3
456499230,21cyclictest27847-21tr3
456499230,20cyclictest8450-21grep3
456499230,20cyclictest25242-21/usr/sbin/munin3
456199230,2cyclictest5994-21munin-run2
456199230,10cyclictest16024-21munin-run2
456199230,10cyclictest16024-21munin-run2
4556992317,4cyclictest22136-21sh1
4553992318,3cyclictest9-21ksoftirqd/00
4553992315,6cyclictest23189-21timerandwakeup0
4556992215,4cyclictest20099-21sendmail1
4556992212,2cyclictest6789-21head1
455399222,4cyclictest9-21ksoftirqd/00
4553992217,3cyclictest9160-21awk0
4553992215,4cyclictest30307-21cat0
257462220,1sleep10-21swapper/11
456199212,17cyclictest4851-21latency_hist2
455699212,16cyclictest31325-21needreboot1
4556992115,4cyclictest26070-21/usr/sbin/munin1
4556992114,4cyclictest8825-21seq1
4556992110,8cyclictest14524-21cut1
4556992110,8cyclictest14524-21cut1
455399219,2cyclictest111rcu_preempt0
4553992116,3cyclictest9-21ksoftirqd/00
4553992116,3cyclictest9-21ksoftirqd/00
4553992116,3cyclictest9-21ksoftirqd/00
4553992116,3cyclictest9-21ksoftirqd/00
4553992115,4cyclictest15935-21diskstats0
4553992114,4cyclictest19380-21df0
4553992110,9cyclictest665-21runrttasks0
455399210,1cyclictest111rcu_preempt0
91242200,3sleep00-21swapper/00
4561992015,3cyclictest10131-21cat2
4556992017,2cyclictest0-21swapper/11
4556992016,2cyclictest26414-21/usr/sbin/munin1
4556992015,3cyclictest6236-21/usr/sbin/munin1
4556992015,3cyclictest4057-21acpi1
4556992015,3cyclictest28095-21/usr/sbin/munin1
4556992015,3cyclictest25305-21open_inodes1
4556992014,4cyclictest940-21sed1
4556992014,4cyclictest6833-21seq1
4556992014,4cyclictest4711-21seq1
4556992014,4cyclictest22181-21sed1
4556992014,4cyclictest16486-21cat1
4556992014,3cyclictest11637-21sh1
4556992013,4cyclictest27776-21expr1
455399204,5cyclictest9-21ksoftirqd/00
455399201,6cyclictest0-21swapper/00
4553992016,2cyclictest9-21ksoftirqd/00
4553992015,3cyclictest9-21ksoftirqd/00
4553992015,3cyclictest9149-21/usr/sbin/munin0
4553992015,3cyclictest8121-21/usr/sbin/munin0
4553992015,3cyclictest5629-21seq0
4553992015,3cyclictest27269-21timerwakeupswit0
4553992014,4cyclictest4818-21seq0
4553992014,4cyclictest25503-21seq0
4553992014,4cyclictest20073-21sh0
4553992014,3cyclictest11496-21proc_pri0
4553992013,4cyclictest10333-21gdbus0
4553992011,2cyclictest111rcu_preempt0
455399201,11cyclictest17973-21chrt0
4553992010,3cyclictest9-21ksoftirqd/00
455399200,16cyclictest0-21swapper/00
4561991913,3cyclictest13944-21grep2
4556991916,2cyclictest0-21swapper/11
4556991916,2cyclictest0-21swapper/11
4556991915,2cyclictest1750-21/usr/sbin/munin1
4556991915,2cyclictest13459-21/usr/sbin/munin1
4556991914,3cyclictest7847-21seq1
4556991914,3cyclictest4207-21/usr/sbin/munin1
4556991914,3cyclictest29090-21wc1
4556991914,3cyclictest24354-21expr1
4556991914,3cyclictest2145-21/usr/sbin/munin1
4556991914,3cyclictest19454-21seq1
4556991914,3cyclictest16790-21apt-config1
4556991914,3cyclictest16790-21apt-config1
4556991914,3cyclictest15258-21/usr/sbin/munin1
4556991914,3cyclictest14017-21wc1
4556991914,3cyclictest13228-21/usr/sbin/munin1
4556991914,3cyclictest13083-21basename1
4556991914,3cyclictest10298-21/usr/sbin/munin1
4556991912,4cyclictest10949-21diskstats1
4556991912,4cyclictest10585-21df1
4553991915,3cyclictest9-21ksoftirqd/00
4553991915,2cyclictest9-21ksoftirqd/00
4553991915,2cyclictest9-21ksoftirqd/00
4553991914,3cyclictest5094-21/usr/sbin/munin0
4553991914,3cyclictest28463-21/usr/sbin/munin0
4553991914,3cyclictest28463-21/usr/sbin/munin0
4553991914,3cyclictest24836-21entropy0
4553991914,3cyclictest23231-21ls0
4553991914,3cyclictest1616-21date0
4553991914,3cyclictest1616-21date0
4553991914,3cyclictest12537-21acpi0
4553991913,4cyclictest13086-21ntpq0
455399190,2cyclictest111rcu_preempt0
10252190,2sleep10-21swapper/11
10022191,15sleep00-21swapper/00
10022191,15sleep00-21swapper/00
455699186,10cyclictest13214-21cron1
4556991816,1cyclictest0-21swapper/11
4556991816,1cyclictest0-21swapper/11
4556991815,2cyclictest0-21swapper/11
4556991813,3cyclictest3777-21/usr/sbin/munin1
4556991813,3cyclictest32564-21/usr/sbin/munin1
4556991813,3cyclictest30551-21sh1
4556991813,3cyclictest29356-21ntp_states1
4556991813,3cyclictest29356-21ntp_states1
4556991813,3cyclictest22707-21rt-features1
4556991813,3cyclictest20692-21rt-features1
4556991813,3cyclictest17291-21/usr/sbin/munin1
4556991813,3cyclictest10961-21seq1
4556991812,4cyclictest9894-21cron1
4556991812,4cyclictest9140-21sh1
4556991812,4cyclictest588-21cat1
4556991812,4cyclictest588-21cat1
4556991812,4cyclictest23581-21cat1
4556991812,4cyclictest20185-21cat1
4556991812,4cyclictest15823-21cut1
4556991812,3cyclictest8546-21expr1
455699180,16cyclictest0-21swapper/11
455699180,16cyclictest0-21swapper/11
455399188,7cyclictest0-21swapper/00
455399186,3cyclictest111rcu_preempt0
455399182,10cyclictest15281-21taskset0
4553991816,1cyclictest0-21swapper/00
4553991814,2cyclictest7122-21/usr/sbin/munin0
4553991813,3cyclictest9-21ksoftirqd/00
4553991813,3cyclictest4409-21sort0
4553991813,3cyclictest28879-21missed_timers0
4553991813,3cyclictest26711-21seq0
4553991813,3cyclictest2145-21/usr/sbin/munin0
4561991711,4cyclictest5454-21head2
455699173,9cyclictest30411-21apt-get1
4556991713,2cyclictest3973-21open_inodes1
4556991713,2cyclictest22365-21/usr/sbin/munin1
4556991712,3cyclictest1994-21/usr/sbin/munin1
455399177,2cyclictest111rcu_preempt0
4553991713,2cyclictest21662-21/usr/sbin/munin0
4553991713,2cyclictest11274-21aten2_r9power_e0
4553991712,3cyclictest9052-21open_files0
4553991712,3cyclictest5212-21expr0
4553991711,4cyclictest6439-21cstates0
4553991711,3cyclictest20463-21expr0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional