You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-05-02 - 12:11
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Fri May 02, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
204772294256,25sleep00-21swapper/00
206172249184,24sleep20-21swapper/22
204002245178,53sleep30-21swapper/33
203682241184,25sleep10-21swapper/11
277621660,1sleep20-21swapper/22
3160721360,3sleep00-21swapper/00
1396621280,2sleep32080299cyclictest3
300672580,3sleep00-21swapper/00
23422510,2sleep10-21swapper/11
34242380,1sleep00-21swapper/00
253202380,3sleep125319-21basename1
192422340,1sleep20-21swapper/22
192422340,1sleep20-21swapper/22
280842320,1sleep30-21swapper/33
2078899291,17cyclictest9-21ksoftirqd/00
250192260,2sleep20-21swapper/22
145762260,2sleep30-21swapper/33
2079899257,4cyclictest28-21ksoftirqd/22
2079899255,18cyclictest505-21dbus-daemon2
2079899244,17cyclictest9193-21cat2
2079899244,17cyclictest7578-21cat2
2079899244,17cyclictest17331-21cat2
20798992410,4cyclictest30394-21grep2
2078899242,14cyclictest111rcu_preempt0
2079899235,4cyclictest28-21ksoftirqd/22
2079899234,17cyclictest2812-21cat2
2079899234,17cyclictest2812-21cat2
2079899234,17cyclictest1310-21cat2
2079899234,17cyclictest1310-21cat2
2079899231,4cyclictest28-21ksoftirqd/22
2079899231,3cyclictest19818-21munin-run2
20798992312,6cyclictest3716-21apt-get2
2079399239,2cyclictest67972unixbench_multi1
2079399230,21cyclictest12878-21kworker/1:11
323122220,1sleep30-21swapper/33
323122220,1sleep30-21swapper/33
2079899222,18cyclictest25257-21cat2
20798992215,5cyclictest15693-21seq2
20798992214,5cyclictest10333-21gdbus2
2079899221,3cyclictest11436-21users2
20798992210,3cyclictest28-21ksoftirqd/22
20793992215,4cyclictest32575-21diskstats1
20788992217,3cyclictest6254-21ntpq0
20788992216,4cyclictest25172-21cron0
20788992215,4cyclictest13814-21/usr/sbin/munin0
20788992214,5cyclictest25283-21dump-pmu-power0
20788992214,4cyclictest27200-21cron0
20802992115,4cyclictest18641-21sed3
20802992115,4cyclictest18641-21sed3
20802992115,4cyclictest10866-21rt-features3
2079899219,3cyclictest28-21ksoftirqd/22
2079899212,14cyclictest28158-21apt-get2
2079899212,14cyclictest28158-21apt-get2
20798992116,3cyclictest26339-21ntp_states2
20798992116,3cyclictest17452-21unixbench_singl2
20798992115,4cyclictest24276-21memory2
2079899211,3cyclictest17365-21latency_hist2
2079899211,2cyclictest13565-21munin-run2
2079899211,19cyclictest0-21swapper/22
2079899211,17cyclictest505-21dbus-daemon2
2079899211,17cyclictest13119-1kworker/2:2H2
20798992110,6cyclictest5408-21apt-get2
2079899210,4cyclictest1133-21munin-run2
2079899210,18cyclictest10212-21expr2
20793992115,4cyclictest15211-21seq1
20793992115,3cyclictest24512-21ntp_offset1
20793992114,5cyclictest12310-21awk1
20793992114,4cyclictest12043-21seq1
2079399210,19cyclictest9502-21kworker/1:01
20788992115,4cyclictest2786-21sed0
20788992115,4cyclictest2306-21sh0
20788992113,5cyclictest31450-21tail0
20788992113,5cyclictest1440-21idleruntime-cro0
2078899211,2cyclictest111rcu_preempt0
174172210,2sleep00-21swapper/00
247332200,2sleep30-21swapper/33
2080299209,8cyclictest1126-21cron3
20802992017,2cyclictest0-21swapper/33
20802992015,3cyclictest3772-21missed_timers3
20802992015,3cyclictest29242-21sed3
20802992015,3cyclictest16374-21missed_timers3
20802992015,3cyclictest13009-21timerwakeupswit3
20802992014,4cyclictest2761-21apt3
20802992014,4cyclictest2761-21apt3
20802992014,4cyclictest24873-21cat3
20802992014,4cyclictest23738-21seq3
20802992013,4cyclictest943-21grep3
20802992013,4cyclictest7975-21grep3
20802992013,4cyclictest505-21dbus-daemon3
2079899209,6cyclictest20072-21apt-get2
2079899208,7cyclictest26171-21apt-get2
2079899203,4cyclictest28-21ksoftirqd/22
2079899202,8cyclictest28-21ksoftirqd/22
2079899202,16cyclictest9289-21cat2
20798992016,2cyclictest2593-21ntp_states2
20798992015,3cyclictest7363-21cat2
20798992015,3cyclictest29711-21perf2
20798992015,3cyclictest24071-21diskstats2
20798992015,3cyclictest1763-21cpuspeed_turbos2
20798992015,3cyclictest14739-21pluginstate2
20798992014,4cyclictest29181-21sh2
20798992014,4cyclictest23833-21ls2
20798992014,3cyclictest25881-21sh2
20798992014,3cyclictest25591-21sh2
2079899201,3cyclictest21970-21latency_hist2
2079899201,17cyclictest21433-21sendmail-mta2
2079899200,4cyclictest29607-1kworker/2:0H2
2079899200,3cyclictest19106-1kworker/2:1H2
2079899200,3cyclictest13797-21munin-run2
20793992016,2cyclictest22138-21/usr/sbin/munin1
2079399201,5cyclictest0-21swapper/11
20793992015,3cyclictest5822-21df1
20793992015,3cyclictest31422-21/usr/sbin/munin1
20793992015,3cyclictest27943-21/usr/sbin/munin1
20793992015,3cyclictest27308-21idleruntime-cro1
20793992015,3cyclictest23031-21seq1
20793992014,4cyclictest8910-21seq1
20793992014,4cyclictest30126-21date1
20793992014,4cyclictest30076-21cut1
20793992014,4cyclictest30076-21cut1
20793992014,4cyclictest27379-21seq1
20793992014,4cyclictest21814-21cron1
20793992014,4cyclictest17658-21seq1
20793992014,3cyclictest6646-21seq1
20793992014,3cyclictest21034-21sh1
20793992013,4cyclictest17365-21cat1
20793992011,6cyclictest5713-21apt-get1
20793992010,8cyclictest9442-21latency_hist1
20788992015,3cyclictest31820-21/usr/sbin/munin0
20788992015,3cyclictest27439-21/usr/sbin/munin0
20788992015,3cyclictest19400-21dump-pmu-power0
20788992015,3cyclictest11614-21/usr/sbin/munin0
20788992014,4cyclictest9-21ksoftirqd/00
20788992014,4cyclictest5863-21ntpq0
20788992014,4cyclictest29591-21latency_hist0
20788992014,4cyclictest23977-21cat0
20788992014,4cyclictest12728-21grep0
20788992012,5cyclictest25664-21apt-get0
2080299192,14cyclictest3698-21cut3
20802991915,2cyclictest18770-21timerandwakeup3
20802991915,2cyclictest15906-21apt-config3
20802991914,3cyclictest22847-21sed3
20802991914,3cyclictest21026-21aten2_r9power_p3
20802991914,3cyclictest18969-21sh3
20802991914,3cyclictest16933-21ntp_states3
20802991913,4cyclictest3701-21find3
20802991913,4cyclictest31894-21cut3
20802991913,4cyclictest26604-21cat3
20802991913,4cyclictest2370-21grep3
20802991913,4cyclictest14611-21cat3
20802991913,4cyclictest12126-21cut3
20802991913,3cyclictest16133-21cat3
2080299191,15cyclictest24674-21cut3
20802991911,4cyclictest505-21dbus-daemon3
2079899192,4cyclictest28-21ksoftirqd/22
2079899192,15cyclictest0-21swapper/22
20798991915,2cyclictest27462-21cat2
20798991914,3cyclictest721-21munin-run2
20798991914,3cyclictest23020-21ntp_offset2
20798991914,3cyclictest21009-21seq2
20798991913,4cyclictest2082-21systemd-journal2
2079399192,10cyclictest1522-21apt-get1
20793991915,2cyclictest9401-21/usr/sbin/munin1
20793991915,2cyclictest27712-21apt-config1
20793991915,2cyclictest26153-21/usr/sbin/munin1
20793991915,2cyclictest11632-21apt-get1
20793991914,3cyclictest4091-21ls1
20793991914,3cyclictest3432-21diskstats1
20793991914,3cyclictest31493-21seq1
20793991914,3cyclictest29431-21/usr/sbin/munin1
20793991914,3cyclictest19124-21seq1
20793991914,3cyclictest17432-21/usr/sbin/munin1
20793991914,3cyclictest17432-21/usr/sbin/munin1
20793991913,4cyclictest3824-21expr1
20793991913,4cyclictest21218-21seq1
20793991913,4cyclictest19857-21seq1
20793991913,4cyclictest10907-21cat1
20793991912,5cyclictest26389-21cut1
2079399190,5cyclictest0-21swapper/11
2078899199,6cyclictest17394-21systemctl0
2078899197,10cyclictest9-21ksoftirqd/00
2078899197,10cyclictest9-21ksoftirqd/00
2078899193,8cyclictest3006-21apt-get0
20788991917,1cyclictest30419-21kworker/0:20
20788991916,2cyclictest0-21swapper/00
20788991914,3cyclictest9121-21sendmail-mta0
20788991914,3cyclictest31440-21apt-get0
20788991914,3cyclictest20054-21/usr/sbin/munin0
20788991914,3cyclictest12911-21switchtime0
20788991913,4cyclictest2749-21sh0
20788991913,4cyclictest2749-21sh0
20788991913,4cyclictest22856-21munin-node0
20788991913,4cyclictest22855-21sed0
20788991913,4cyclictest16992-21ntpq0
20788991913,3cyclictest25682-21grep0
20788991913,3cyclictest23408-21perf0
20788991912,4cyclictest8203-21grep0
20788991912,4cyclictest22310-21ntpq0
20788991912,4cyclictest10055-21cat0
20802991816,1cyclictest0-21swapper/33
20802991816,1cyclictest0-21swapper/33
20802991815,2cyclictest0-21swapper/33
20802991814,2cyclictest6393-21ntp_states3
20802991814,2cyclictest21523-21users3
20802991813,3cyclictest8494-21sed3
20802991813,3cyclictest4591-21switchtime3
20802991813,3cyclictest30519-21latency3
20802991813,3cyclictest29290-21sed3
20802991813,3cyclictest24785-21cat3
20802991813,3cyclictest22684-21rt-features3
20802991813,3cyclictest22185-21memory3
20802991813,3cyclictest20317-21sh3
20802991813,3cyclictest1756-21cat3
20802991813,3cyclictest13183-21idleruntime-cro3
20802991813,3cyclictest10718-21kernelversion3
20802991813,3cyclictest10402-21ps3
20802991811,4cyclictest5706-21cat3
2079899189,5cyclictest29849-21apt-get2
2079899182,2cyclictest28-21ksoftirqd/22
20798991814,2cyclictest21455-21aten2_r9power_c2
20798991813,3cyclictest22379-21cat2
20798991813,3cyclictest19178-21processes2
20798991813,3cyclictest14327-21open_inodes2
20793991813,3cyclictest9145-21sed1
20793991813,3cyclictest8982-21seq1
20793991813,3cyclictest2792-21cat1
20793991813,3cyclictest2792-21cat1
20793991813,3cyclictest27843-21expr1
20793991813,3cyclictest18090-21ls1
20793991813,3cyclictest15723-21aten2.4-expect1
20793991812,4cyclictest4242-21cat1
20793991812,4cyclictest26026-21seq1
20793991812,4cyclictest13849-21diskstats1
20793991811,4cyclictest30547-21latency1
20793991811,4cyclictest18071-21acpi1
2079399180,6cyclictest323132expr1
2079399180,6cyclictest323132expr1
2078899183,9cyclictest18087-21apt-get0
20788991815,2cyclictest0-21swapper/00
20788991814,2cyclictest14043-21/usr/sbin/munin0
20788991814,2cyclictest13405-21/usr/sbin/munin0
20788991813,3cyclictest3497-21/usr/sbin/munin0
20788991813,3cyclictest27991-21date0
20788991813,3cyclictest27943-21/usr/sbin/munin0
20788991813,3cyclictest24568-21df0
20788991812,3cyclictest20103-21tail0
20788991811,4cyclictest665-21runrttasks0
20788991811,4cyclictest28140-21acpi0
20788991811,4cyclictest28140-21acpi0
20788991811,4cyclictest11190-21grep0
2080299172,12cyclictest29507-21grep3
2080299172,12cyclictest29507-21grep3
20802991715,1cyclictest0-21swapper/33
20802991713,2cyclictest31175-21latency_hist3
20802991713,2cyclictest20054-21/usr/sbin/munin3
20802991713,2cyclictest10360-21rt-features3
20802991712,3cyclictest7493-21cat3
20802991712,3cyclictest7239-21date3
20802991712,3cyclictest665-21runrttasks3
20802991712,3cyclictest26809-21awk3
20802991712,3cyclictest26604-21awk3
20802991712,3cyclictest25578-21cut3
20802991711,4cyclictest5514-21expr3
2079399173,8cyclictest13832-21apt-get1
20793991713,2cyclictest22065-21/usr/sbin/munin1
20793991713,2cyclictest19420-21/usr/sbin/munin1
20793991712,3cyclictest303-21ls1
20793991712,3cyclictest23831-21cat1
20793991712,3cyclictest20928-21/usr/sbin/munin1
20793991711,3cyclictest1547-21aten2.4-expect1
2079399170,15cyclictest0-21swapper/11
2078899179,5cyclictest17761-21tr0
2078899179,5cyclictest17761-21tr0
2078899179,4cyclictest9934-21apt-config0
2078899173,8cyclictest31945-21apt-get0
2078899173,8cyclictest31945-21apt-get0
20788991713,2cyclictest665-21runrttasks0
20788991713,2cyclictest13617-21/usr/sbin/munin0
20788991712,3cyclictest21890-21latency_hist0
20788991712,3cyclictest15745-21cstates0
20802991611,3cyclictest11578-21apt-get3
2079399162,8cyclictest14061-21apt-get1
20788991611,3cyclictest665-21runrttasks0
20788991610,3cyclictest25599-21aten2_r9power_e0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional