You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-04 - 22:32
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Tue Nov 04, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
162122312274,25sleep20-21swapper/22
146642305269,23sleep00-21swapper/00
1661299277270,4cyclictest28346-21strings1
162572270231,26sleep10-21swapper/11
163152261191,25sleep30-21swapper/33
1662199225220,2cyclictest0-21swapper/33
1660899200196,2cyclictest0-21swapper/00
1661799125119,5cyclictest0-21swapper/22
2070321220,1sleep00-21swapper/00
272352780,3sleep11661299cyclictest1
16608996014,23cyclictest27323-21sed0
81592550,1sleep38162-21grep3
179802510,3sleep30-21swapper/33
177362400,2sleep20-21swapper/22
217642360,7sleep3351ksoftirqd/33
16608993414,17cyclictest16244-21seq0
16608993313,17cyclictest5049-21cat0
4652320,1sleep3467-21ntpq3
1661799320,30cyclictest11476-21kworker/2:12
16608993213,16cyclictest21396-21seq0
16608993113,16cyclictest4343-21seq0
16608993113,16cyclictest32573-21ntp_states0
16608993113,16cyclictest23440-21expr0
16608993112,17cyclictest765-21basename0
16608993112,17cyclictest14348-21ls0
16608993111,18cyclictest10261-21basename0
16608993111,17cyclictest6669-21date0
16608993111,17cyclictest29203-21cat0
1660899309,3cyclictest6721-21cat0
1660899309,3cyclictest19095-21cat0
1660899308,4cyclictest6193-21cut0
16608993011,17cyclictest15220-21date0
16608992911,16cyclictest21545-21aten2.4-expect0
16608992910,16cyclictest18730-21latency_hist0
117042290,2sleep00-21swapper/00
1660899289,4cyclictest31447-21turbostat.cron0
1660899289,3cyclictest9230-21cat0
1660899289,3cyclictest23148-21sed0
16608992811,14cyclictest11432-21sh0
16608992810,3cyclictest7561-21sort0
16608992810,3cyclictest26677-21cat0
16608992810,3cyclictest10366-21cat0
1660899280,4cyclictest30531-21idleruntime-cro0
243492270,1sleep30-21swapper/33
1660899279,3cyclictest8874-21sort0
1660899278,3cyclictest14201-21seq0
1660899278,3cyclictest12766-21cat0
16608992713,11cyclictest21993-21aten2_r9power_e0
1660899271,13cyclictest20334-21perf0
16608992710,3cyclictest505-21dbus-daemon0
1660899269,3cyclictest32410-21seq0
1660899269,3cyclictest19399-21seq0
1660899268,4cyclictest15013-21gltestperf0
1660899268,3cyclictest20478-21perf0
1660899267,3cyclictest32116-21aten2_r9power_c0
1660899267,3cyclictest2504-21cut0
16608992611,12cyclictest29917-21missed_timers0
16608992610,3cyclictest16254-21entropy0
16617992513,10cyclictest28-21ksoftirqd/22
1660899259,3cyclictest1569-21grep0
1660899259,14cyclictest326912chrt0
1660899257,3cyclictest8723-21expr0
1660899257,3cyclictest8723-21expr0
1660899257,3cyclictest31598-21seq0
1660899257,3cyclictest29040-21latency_hist0
1660899257,3cyclictest16972-21seq0
1660899253,5cyclictest358-21apt-get0
1660899251,6cyclictest21161-21munin-run0
16608992510,3cyclictest9-21ksoftirqd/00
1660899248,2cyclictest32852chrt0
1660899248,2cyclictest23801-21cstates0
1660899247,3cyclictest13649-21latency_hist0
1660899247,3cyclictest13649-21latency_hist0
1660899246,3cyclictest5976-21cat0
1660899245,4cyclictest0-21swapper/00
1660899244,5cyclictest505-21dbus-daemon0
1660899244,4cyclictest27748-21processes0
16608992410,2cyclictest2428-21grep0
33352230,1sleep30-21swapper/33
16621992317,3cyclictest17034-21cut3
1661799234,17cyclictest14335-21cat2
1661799233,19cyclictest0-21swapper/22
1661799233,18cyclictest31452-21awk2
1661799231,15cyclictest505-21dbus-daemon2
1661299230,21cyclictest0-21swapper/11
1660899237,2cyclictest276462chrt0
1660899237,2cyclictest276462chrt0
16621992214,5cyclictest2082-21systemd-journal3
1661799223,16cyclictest6242-21wc2
1661799221,18cyclictest8651-21munin-run2
1661799221,18cyclictest30544-21run-parts2
1661799220,19cyclictest1394-21cron2
1660899224,4cyclictest0-21swapper/00
16608992215,6cyclictest0-21swapper/00
1660899220,1cyclictest0-21swapper/00
16621992116,3cyclictest32114-21df_inode3
1661799211,7cyclictest8374-21apt-get2
1661799211,7cyclictest8374-21apt-get2
16617992116,3cyclictest23191-21sh2
16617992115,4cyclictest27414-21seq2
16617992115,4cyclictest27414-21seq2
1661799211,3cyclictest3234-21df_inode2
1661799211,2cyclictest111rcu_preempt2
1661799211,17cyclictest29778-21munin-run2
16617992110,9cyclictest32025-21cstates2
16612992116,3cyclictest1262-21/usr/sbin/munin1
16612992115,4cyclictest27754-21pluginstate1
16612992115,4cyclictest27754-21pluginstate1
1660899217,3cyclictest16624-21aten2.4-expect0
1662199202,15cyclictest19866-21head3
16621992015,3cyclictest8497-21/usr/sbin/munin3
16621992015,3cyclictest2700-21vmstat3
16621992015,3cyclictest18564-21sed3
16621992015,3cyclictest1620-21ntpq3
16621992015,3cyclictest14451-21cat3
1661799202,16cyclictest8112-21latency_hist2
16617992016,3cyclictest28-21ksoftirqd/22
16617992016,2cyclictest12319-21munin-run2
16617992015,3cyclictest9352-21gltestperf2
16617992015,3cyclictest2539-21timerwakeupswit2
16617992015,3cyclictest23985-21aten2_r9power_c2
16617992015,3cyclictest1909-21threads2
16617992014,4cyclictest27566-21fw_packets2
16617992014,4cyclictest18495-21cat2
16617992014,3cyclictest11482-21cron2
1661799201,3cyclictest31827-21munin-run2
1661799201,3cyclictest2082-21systemd-journal2
1661799201,2cyclictest0-21swapper/22
1661799201,17cyclictest3818-21cat2
1661799201,14cyclictest16527-21apt-get2
1661799200,3cyclictest7276-21find2
16612992017,2cyclictest0-21swapper/11
16612992015,3cyclictest5364-21aten2_r9power_c1
16612992015,3cyclictest495-21ntpq1
16612992015,3cyclictest4815-21/usr/sbin/munin1
16612992015,3cyclictest29571-21seq1
16612992015,3cyclictest21432-21/usr/sbin/munin1
16612992015,3cyclictest21-21ksoftirqd/11
16612992015,3cyclictest20566-21/usr/sbin/munin1
16612992015,3cyclictest15786-21expr1
16612992015,3cyclictest14470-21/usr/sbin/munin1
16612992015,3cyclictest11227-21/usr/sbin/munin1
16612992014,4cyclictest848-21hostname1
16612992014,4cyclictest16224-21seq1
16612992014,4cyclictest16207-21expr1
16612992014,4cyclictest12329-21wc1
1661299201,3cyclictest665-21runrttasks1
16612992013,4cyclictest30797-21cat1
16621991915,2cyclictest7667-21/usr/sbin/munin3
16621991914,3cyclictest6934-21gltestperf3
16621991914,3cyclictest4254-21wc3
16621991914,3cyclictest32097-21open_inodes3
16621991914,3cyclictest29694-21basename3
16621991914,3cyclictest27385-21uptime3
16621991914,3cyclictest27385-21uptime3
16621991914,3cyclictest24109-21sendmail_mailst3
16621991914,3cyclictest22847-21cpuspeed_turbos3
16621991914,3cyclictest17570-21sendmail_mailst3
16621991914,3cyclictest16244-21df3
16621991914,3cyclictest15690-21grep3
16621991914,3cyclictest13833-21vmstat3
16621991914,3cyclictest1236-21ntp_kernel_err3
16621991913,4cyclictest27136-21expr3
16621991913,4cyclictest24830-21cat3
16621991913,4cyclictest12984-21expr3
16621991913,4cyclictest11858-21cut3
16621991913,4cyclictest11858-21cut3
16621991911,5cyclictest505-21dbus-daemon3
1661799193,10cyclictest29149-21apt-get2
16617991916,2cyclictest0-21swapper/22
16617991916,2cyclictest0-21swapper/22
16617991915,2cyclictest15866-21timerwakeupswit2
16617991914,3cyclictest7062-21if_enp2s02
16617991914,3cyclictest4462-21aten2_r9power_c2
16617991914,3cyclictest26489-21vmstat2
16617991914,3cyclictest19195-21unixbench_multi2
16617991914,3cyclictest15570-21swap2
16617991913,4cyclictest26282-21cat2
16617991913,4cyclictest1589-21cat2
16617991913,3cyclictest505-21dbus-daemon2
16617991913,3cyclictest505-21dbus-daemon2
16617991912,4cyclictest21136-21df_inode2
1661799190,17cyclictest21708-21idleruntime-cro2
16612991916,2cyclictest0-21swapper/11
16612991915,2cyclictest29131-21/usr/sbin/munin1
16612991915,2cyclictest19377-21/usr/sbin/munin1
16612991914,3cyclictest2792-21/usr/sbin/munin1
16612991914,3cyclictest25536-21fw_packets1
16612991914,3cyclictest21814-21sed1
16612991914,3cyclictest18681-21/usr/sbin/munin1
16612991914,3cyclictest17349-21/usr/sbin/munin1
16612991914,3cyclictest13872-21aten2_r9power_p1
16612991914,3cyclictest12421-21/usr/sbin/munin1
16612991913,4cyclictest8921-21expr1
16612991913,4cyclictest8787-21cat1
16612991913,4cyclictest8041-21seq1
16612991913,4cyclictest27712-21cat1
16612991913,4cyclictest21024-21seq1
16612991913,4cyclictest17390-21sed1
16612991913,3cyclictest4860-21if_enp2s01
16612991913,3cyclictest12760-21sort1
16612991912,4cyclictest21890-21grep1
1661299191,15cyclictest0-21swapper/11
1661299190,17cyclictest8105-21taskset1
1662199189,6cyclictest505-21dbus-daemon3
16621991816,1cyclictest0-21swapper/33
16621991816,1cyclictest0-21swapper/33
16621991816,1cyclictest0-21swapper/33
16621991816,1cyclictest0-21swapper/33
16621991816,1cyclictest0-21swapper/33
16621991816,1cyclictest0-21swapper/33
16621991816,1cyclictest0-21swapper/33
16621991814,2cyclictest25779-21sed3
16621991814,2cyclictest18681-21/usr/sbin/munin3
16621991813,3cyclictest9156-21sort3
16621991813,3cyclictest8484-21cut3
16621991813,3cyclictest8484-21cut3
16621991813,3cyclictest5480-21cut3
16621991813,3cyclictest29829-21awk3
16621991813,3cyclictest2394-21df_inode3
16621991813,3cyclictest20319-21df3
16621991813,3cyclictest19196-21irqstats3
16621991813,3cyclictest12300-21tr3
16621991812,4cyclictest7907-21seq3
16621991812,4cyclictest11582-21gunzip3
16621991811,4cyclictest31199-21expr3
1662199180,16cyclictest0-21swapper/33
16617991816,1cyclictest0-21swapper/22
16617991814,2cyclictest17562-21open_files2
16617991813,3cyclictest3465-21mailstats2
16617991813,3cyclictest31540-21ls2
16617991813,3cyclictest26801-21aten2_r9power_p2
16617991813,3cyclictest24021-21basename2
16617991813,3cyclictest21927-21/usr/sbin/munin2
16617991813,3cyclictest21702-21tr2
16617991813,3cyclictest20274-21uname2
16617991813,3cyclictest17407-21interrupts2
16617991813,3cyclictest14844-21sendmail_mailst2
16617991813,3cyclictest11289-21ntpq2
16617991812,4cyclictest31147-21cat2
16617991812,4cyclictest18799-21cat2
1661799181,16cyclictest0-21swapper/22
16612991816,1cyclictest0-21swapper/11
16612991814,2cyclictest3286-21/usr/sbin/munin1
16612991814,2cyclictest22844-21apt-config1
16612991813,3cyclictest8764-21expr1
16612991813,3cyclictest8764-21expr1
16612991813,3cyclictest665-21runrttasks1
16612991813,3cyclictest32141-21awk1
16612991813,3cyclictest25501-21seq1
16612991813,3cyclictest23634-21seq1
16612991813,3cyclictest20664-21missed_timers1
16612991813,3cyclictest11979-21cat1
16612991813,3cyclictest11979-21cat1
16612991813,3cyclictest11639-21grep1
16612991813,3cyclictest10128-21df1
16612991812,4cyclictest7946-21in:imuxsock1
16612991812,4cyclictest4427-21/usr/sbin/munin1
16612991812,4cyclictest30477-21seq1
16612991812,4cyclictest22863-21cat1
16612991812,4cyclictest17594-21grep1
16612991812,4cyclictest10159-21sed1
16608991814,2cyclictest21446-21aten2.4-expect0
16621991715,1cyclictest0-21swapper/33
16621991712,3cyclictest5204-21cat3
16621991712,3cyclictest21646-21pmu-power3
16621991712,3cyclictest20131-21memory3
16621991712,3cyclictest10333-21gdbus3
16621991711,4cyclictest5003-21if_enp2s03
16621991711,4cyclictest26495-21idleruntime-cro3
16621991711,4cyclictest16752-21seq3
16621991711,4cyclictest14298-21sed3
16617991713,2cyclictest11463-21ls2
16617991712,3cyclictest20612-21ls2
16612991715,1cyclictest0-21swapper/11
16612991712,3cyclictest340-21/usr/sbin/munin1
16612991712,3cyclictest32757-21grep1
16612991712,3cyclictest29659-21/usr/sbin/munin1
16612991711,4cyclictest665-21runrttasks1
16621991611,3cyclictest21856-21expr3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional