You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-20 - 08:29
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Thu Nov 20, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
296832273236,24sleep20-21swapper/22
282002260192,25sleep30-21swapper/33
297212248175,25sleep00-21swapper/00
298052246176,40sleep10-21swapper/11
3012799229226,2cyclictest0-21swapper/33
3010999229225,2cyclictest0-21swapper/00
3011699224218,4cyclictest2374-21strings1
3012199166163,2cyclictest0-21swapper/22
2365021630,3sleep23012199cyclictest2
2365021630,3sleep23012199cyclictest2
3098521520,2sleep03010999cyclictest0
7192630,3sleep0714-21perf0
310332440,1sleep10-21swapper/11
74392350,1sleep20-21swapper/22
74392350,1sleep20-21swapper/22
87932270,4sleep03010999cyclictest0
3012799260,13cyclictest92812basename3
180162260,4sleep30-21swapper/33
3012199233,17cyclictest13298-21sendmail-mta2
3012199231,5cyclictest10158-1kworker/2:1H2
30121992312,9cyclictest27655-21expr2
30121992312,9cyclictest27655-21expr2
30121992311,9cyclictest8212-21cut2
30109992316,4cyclictest505-21dbus-daemon0
200882230,1sleep20-21swapper/22
30127992215,4cyclictest15115-21sh3
30127992214,5cyclictest28019-21cron3
3012199223,17cyclictest7369-21latency_hist2
3012199221,4cyclictest13289-1kworker/2:2H2
3012199221,3cyclictest7047-21munin-run2
30121992211,9cyclictest1291-21latency_hist2
30121992211,9cyclictest1291-21latency_hist2
30116992215,4cyclictest9643-21seq1
30109992216,4cyclictest22620-21forks0
30109992216,4cyclictest2076-21ntpq0
92792210,2sleep00-21swapper/00
61792210,1sleep10-21swapper/11
3012799212,17cyclictest6312-21gunzip3
30127992116,2cyclictest19897-21latency_hist3
30127992115,4cyclictest7811-21basename3
30127992115,4cyclictest21236-21idleruntime-cro3
30127992115,4cyclictest16827-21sed3
30127992115,3cyclictest21074-21ls3
30127992114,4cyclictest882-21grep3
30127992114,4cyclictest882-21grep3
30127992114,4cyclictest35-21ksoftirqd/33
3012199213,16cyclictest0-21swapper/22
30121992116,3cyclictest9302-21irqstats2
30121992116,3cyclictest21032-21cpu2
30121992116,3cyclictest20955-21cat2
30121992115,4cyclictest9025-21swap2
3012199211,3cyclictest6978-21munin-run2
3012199211,3cyclictest31361-21munin-run2
3012199211,3cyclictest25997-21munin-run2
3012199211,3cyclictest25825-1kworker/2:1H2
3012199211,18cyclictest27650-21perf2
3012199211,18cyclictest18882-1kworker/2:1H2
3012199211,17cyclictest19205-21munin-run2
3012199211,17cyclictest15136-21sendmail2
3012199210,4cyclictest26711-21perf2
30116992116,3cyclictest21-21ksoftirqd/11
30116992114,4cyclictest8667-21apt-get1
30116992114,4cyclictest26127-21expr1
30116992114,4cyclictest1805-21cat1
30116992114,4cyclictest16810-21apt-get1
30116992113,6cyclictest30983-21users1
30109992115,4cyclictest13359-21cut0
3010999210,18cyclictest22000-21df_inode0
145822210,2sleep20-21swapper/22
3012799202,15cyclictest20637-21wc3
30127992015,3cyclictest7369-21latency_hist3
30127992015,3cyclictest30129-21wc3
30127992014,4cyclictest6138-21pluginstate3
30127992014,4cyclictest15389-21date3
30127992014,4cyclictest11943-21cat3
30127992012,5cyclictest8182-21apt-key3
3012199203,15cyclictest5861-21cat2
30121992016,2cyclictest3321-21aten2_r9power_p2
30121992015,3cyclictest16987-21ntp_states2
30121992015,3cyclictest14782-21missed_timers2
30121992015,3cyclictest14782-21missed_timers2
30121992014,4cyclictest665-21runrttasks2
30121992014,4cyclictest32083-21cron2
30121992014,4cyclictest28884-21if_err_enp3s02
30121992014,4cyclictest22287-21uname2
30121992014,3cyclictest2082-21systemd-journal2
3012199201,3cyclictest17201-21expr2
3012199201,17cyclictest32698-21cat2
3012199201,17cyclictest24017-21sed2
3012199200,17cyclictest25609-21apt-config2
30116992015,3cyclictest5378-21cpu1
30116992015,3cyclictest3490-21seq1
30116992015,3cyclictest27262-21aten2_r9power_c1
30116992015,3cyclictest27262-21aten2_r9power_c1
30116992015,3cyclictest18813-21/usr/sbin/munin1
30116992015,3cyclictest11305-21seq1
30116992014,4cyclictest7659-21cat1
30116992014,4cyclictest4160-21ls1
30116992014,4cyclictest22770-21cat1
30116992014,4cyclictest18118-21cat1
30116992014,4cyclictest16686-21grep1
30116992014,4cyclictest14502-21sed1
30116992014,4cyclictest12182-21seq1
30116992013,4cyclictest28510-21cat1
30116992013,4cyclictest19699-21cat1
3011699201,16cyclictest7384-21apt-get1
30109992015,3cyclictest28225-21ls0
30109992015,3cyclictest21921-21cron0
30109992014,4cyclictest6898-21grep0
30109992014,4cyclictest665-21runrttasks0
30109992012,5cyclictest25672-21grep0
3010999200,18cyclictest12647-21sed0
30127991916,2cyclictest0-21swapper/33
30127991915,2cyclictest23580-21/usr/sbin/munin3
30127991915,2cyclictest23580-21/usr/sbin/munin3
30127991915,2cyclictest21683-21aten2_r9power_v3
30127991914,3cyclictest4309-21tr3
30127991914,3cyclictest30844-21sed3
30127991914,3cyclictest30432-21cut3
30127991914,3cyclictest22277-21sh3
30127991914,3cyclictest13142-21sh3
30127991913,4cyclictest16241-21sed3
30127991913,3cyclictest11166-21turbostat.cron3
3012799191,15cyclictest15220-21tail3
30127991910,5cyclictest665-21runrttasks3
3012199197,11cyclictest0-21swapper/22
3012199192,16cyclictest11088-21awk2
30121991915,2cyclictest12194-21ntp_states2
30121991914,3cyclictest4322-21missed_timers2
30121991914,3cyclictest3895-21hostname2
30121991914,3cyclictest22139-21if_enp2s02
30121991914,3cyclictest20056-21cat2
30121991914,3cyclictest11288-21if_err_enp2s02
30121991913,4cyclictest27644-21users2
30121991913,3cyclictest16189-21missed_timers2
30121991912,4cyclictest32028-21df2
3012199191,16cyclictest3719-21latency_hist2
3012199191,16cyclictest15230-21turbostat2
3012199191,16cyclictest1299-21cat2
30121991910,5cyclictest22877-21apt-get2
3012199190,3cyclictest10842-21ntpq2
3012199190,2cyclictest745-21cat2
3012199190,17cyclictest17249-21latency_hist2
3011699194,9cyclictest9388-21apt-get1
30116991914,3cyclictest4337-21cat1
30116991914,3cyclictest32602-21cat1
30116991914,3cyclictest3150-21seq1
30116991914,3cyclictest29233-21unixbench_singl1
30116991914,3cyclictest27771-21seq1
30116991914,3cyclictest25729-21seq1
30116991914,3cyclictest21373-21expr1
30116991914,3cyclictest19586-21sh1
30116991914,3cyclictest15496-21cut1
30116991914,3cyclictest13433-21/usr/sbin/munin1
30116991914,3cyclictest13328-21awk1
30116991914,3cyclictest12690-21date1
30116991914,3cyclictest10168-21awk1
30116991913,4cyclictest25436-21cut1
30116991913,4cyclictest25436-21cut1
30116991913,4cyclictest24069-21cat1
30116991913,4cyclictest23114-21seq1
30116991913,4cyclictest11826-21date1
3011699190,2cyclictest111rcu_preempt1
3010999198,9cyclictest30050-21cron0
3010999194,9cyclictest27256-21apt-get0
3010999194,9cyclictest27256-21apt-get0
30109991915,3cyclictest9-21ksoftirqd/00
30109991915,3cyclictest9-21ksoftirqd/00
30109991915,2cyclictest22708-21sed0
30109991914,3cyclictest5253-21aten2_r9power_e0
30109991914,3cyclictest24871-21kernelversion0
30109991914,3cyclictest1889-21sed0
30109991914,3cyclictest17916-21grep0
30109991914,3cyclictest17249-21latency_hist0
30109991914,3cyclictest10333-21gdbus0
30109991913,4cyclictest9-21ksoftirqd/00
30109991913,4cyclictest32257-21cut0
30109991913,4cyclictest10625-21sed0
30109991912,5cyclictest505-21dbus-daemon0
3012799189,6cyclictest505-21dbus-daemon3
3012799189,6cyclictest505-21dbus-daemon3
3012799188,6cyclictest24929-21apt-get3
30127991815,2cyclictest0-21swapper/33
30127991814,2cyclictest27238-21/usr/sbin/munin3
30127991814,2cyclictest27238-21/usr/sbin/munin3
30127991814,2cyclictest23508-21irqstats3
30127991813,3cyclictest665-21runrttasks3
30127991813,3cyclictest665-21runrttasks3
30127991813,3cyclictest665-21runrttasks3
30127991813,3cyclictest665-21runrttasks3
30127991813,3cyclictest550-21users3
30127991813,3cyclictest5365-21basename3
30127991813,3cyclictest32589-21cpuspeed_turbos3
30127991813,3cyclictest23657-21cut3
30127991813,3cyclictest20842-21find3
30127991813,3cyclictest20082-21sed3
30127991813,3cyclictest17532-21apt-get3
30127991812,4cyclictest9092-21diskstats3
30127991812,4cyclictest7950-21sort3
30127991812,4cyclictest4340-21expr3
30127991812,4cyclictest31214-21cut3
30127991812,4cyclictest12402-21cat3
30127991812,3cyclictest2348-21expr3
30121991815,2cyclictest0-21swapper/22
30121991813,3cyclictest2237-21/usr/sbin/munin2
30121991813,3cyclictest19978-21entropy2
30121991813,3cyclictest13099-21swap2
30121991812,4cyclictest29909-21seq2
30121991812,4cyclictest2616-21vmstat2
3011699188,7cyclictest0-21swapper/11
30116991815,2cyclictest16636-21grep1
30116991814,2cyclictest31598-21/usr/sbin/munin1
30116991814,2cyclictest20145-21/usr/sbin/munin1
30116991813,3cyclictest7369-21sh1
30116991813,3cyclictest7369-21sh1
30116991813,3cyclictest5850-21cat1
30116991813,3cyclictest3576-21find1
30116991813,3cyclictest30442-21expr1
30116991813,3cyclictest18486-21cat1
30116991813,3cyclictest17819-21cat1
30116991813,3cyclictest14936-21cat1
30116991813,3cyclictest14046-21apt-get1
30116991813,3cyclictest14046-21apt-get1
30116991813,3cyclictest11406-21/usr/sbin/munin1
30116991812,4cyclictest32029-21hostname1
30116991812,4cyclictest32029-21hostname1
30116991812,4cyclictest21843-21expr1
30116991812,3cyclictest2713-21seq1
30116991811,4cyclictest23623-21hostname1
3010999182,3cyclictest9-21ksoftirqd/00
30109991814,2cyclictest16792-21/usr/sbin/munin0
30109991813,3cyclictest7583-21grep0
30109991813,3cyclictest32085-21cron0
30109991813,3cyclictest25357-21cron0
30109991813,3cyclictest25357-21cron0
30109991813,3cyclictest2249-21sh0
30109991812,4cyclictest27225-21awk0
30109991812,4cyclictest26895-21cut0
30109991812,4cyclictest23697-21needreboot0
30109991811,4cyclictest32516-21cron0
30109991811,4cyclictest14401-21pmu-power0
270292180,2sleep30-21swapper/33
253782180,1sleep30-21swapper/33
30127991712,3cyclictest665-21runrttasks3
30127991712,3cyclictest2883-21idleruntime-cro3
30127991712,3cyclictest28198-21expr3
30127991712,3cyclictest15934-21cut3
30127991711,4cyclictest3795-21cut3
30121991712,3cyclictest7821-21basename2
30116991712,3cyclictest665-21runrttasks1
30116991712,3cyclictest3344-21aten2.4-expect1
30116991712,3cyclictest25728-21needreboot1
30116991712,3cyclictest1290-21seq1
30109991714,2cyclictest0-21swapper/00
30109991714,2cyclictest0-21swapper/00
30109991713,3cyclictest11406-21/usr/sbin/munin0
30109991713,2cyclictest9970-21/usr/sbin/munin0
30109991712,3cyclictest665-21runrttasks0
30109991712,3cyclictest2082-21systemd-journal0
30109991712,3cyclictest20035-21gltestperf0
30109991712,3cyclictest16459-21systemctl0
30109991712,3cyclictest12812-21sed0
30109991712,2cyclictest10002-21grep0
30109991711,4cyclictest7553-21grep0
30109991711,4cyclictest7553-21grep0
30109991711,4cyclictest6652-21grep0
30109991711,4cyclictest19480-21cut0
3010999171,13cyclictest30207-21grep0
30109991711,3cyclictest2082-21systemd-journal0
30109991711,3cyclictest2082-21systemd-journal0
30109991711,3cyclictest19279-21grep0
30109991710,5cyclictest505-21dbus-daemon0
30109991710,5cyclictest16202-21cut0
3010999170,16cyclictest0-21swapper/00
3010999170,16cyclictest0-21swapper/00
3010999170,15cyclictest0-21swapper/00
30127991612,2cyclictest32521-21latency_hist3
30127991611,3cyclictest11825-21expr3
3012199160,1cyclictest0-21swapper/22
3012199160,1cyclictest0-21swapper/22
3010999169,4cyclictest0-21swapper/00
3010999169,4cyclictest0-21swapper/00
3010999166,5cyclictest181332sleep00
30109991610,4cyclictest22165-21grep0
3010999160,15cyclictest0-21swapper/00
30127991511,2cyclictest665-21runrttasks3
30127991510,3cyclictest665-21runrttasks3
30116991511,2cyclictest665-21runrttasks1
30116991511,2cyclictest665-21runrttasks1
3012799149,3cyclictest30749-21grep3
3012799149,3cyclictest30749-21grep3
30127991412,1cyclictest0-21swapper/33
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional