You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-07-27 - 03:35
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2.osadl.org (updated Sat Jul 27, 2024 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
66702287249,25sleep30-21swapper/33
66832254187,26sleep10-21swapper/11
64362251179,23sleep20-21swapper/22
65602230192,25sleep00-21swapper/00
205221440,1sleep00-21swapper/00
87532550,2sleep00-21swapper/00
243992430,1sleep20-21swapper/22
7152400,1sleep30-21swapper/33
114012390,2sleep20-21swapper/22
693099340,3cyclictest9536-21gpgv2
6921993413,4cyclictest26474-21basename0
6921993413,17cyclictest11264-21sendmail0
6930993216,13cyclictest25967-21diskstats2
693099321,28cyclictest11249-21/usr/sbin/munin2
693099320,20cyclictest0-21swapper/22
6921993214,16cyclictest23269-21sed0
6921993212,4cyclictest20688-21sed0
693099312,24cyclictest23935-21apt-get2
693099310,3cyclictest12496-21diskstats2
693099310,3cyclictest12496-21diskstats2
693099309,19cyclictest27805-21latency_hist2
693099309,18cyclictest6663-21cat2
6930993014,14cyclictest22001-21/usr/sbin/munin2
693099300,2cyclictest21391-21sed2
693099300,2cyclictest15933-21apt-get2
6921993012,3cyclictest9048-21expr0
6921993011,4cyclictest27067-21cat0
6921993010,4cyclictest623-21grep0
6921993010,4cyclictest15863-21wc0
6921993010,3cyclictest7339-21grep0
693099299,17cyclictest505-21dbus-daemon2
693099299,17cyclictest4164-21memory2
693099299,17cyclictest0-21swapper/22
693099298,18cyclictest7724-21munin-run2
693099297,19cyclictest21278-21unixbench_singl2
693099296,20cyclictest14100-21hostname2
693099294,22cyclictest28-21ksoftirqd/22
693099293,23cyclictest11830-21latency_hist2
693099292,21cyclictest32417-21apt-get2
6930992914,13cyclictest28408-21/usr/sbin/munin2
6930992914,13cyclictest28408-21/usr/sbin/munin2
6930992911,15cyclictest14411-21cat2
6930992910,17cyclictest5382-21cut2
693099290,3cyclictest16010-21apt-get2
693099290,3cyclictest14354-21/usr/sbin/munin2
693099290,3cyclictest12174-21irqstats2
693099290,2cyclictest4623-21irqstats2
693099290,26cyclictest32305-21date2
6921992912,3cyclictest665-21runrttasks0
6921992912,2cyclictest28661-21irqstats0
6921992910,3cyclictest782-21grep0
693099288,17cyclictest18750-21head2
693099287,18cyclictest29961-21/usr/sbin/munin2
693099287,18cyclictest10475-21/usr/sbin/munin2
693099283,20cyclictest32015-21apt-get2
693099281,3cyclictest18431-21diskstats2
693099281,2cyclictest0-21swapper/22
6930992810,15cyclictest12957-21unixbench-2d2
693099280,3cyclictest14896-21users2
693099280,3cyclictest12500-21ntp_states2
693099280,2cyclictest28925-21users2
692199289,3cyclictest31713-21dpkg0
692199289,3cyclictest26434-21df0
692199289,3cyclictest11198-21timerwakeupswit0
693099279,16cyclictest8825-21idleruntime-cro2
693099279,16cyclictest665-21runrttasks2
693099277,17cyclictest24084-21cut2
693099277,17cyclictest17400-21grep2
693099276,18cyclictest7185-21cron2
693099273,19cyclictest3586-21apt-get2
693099271,3cyclictest24761-21memory2
6930992711,14cyclictest17366-21cat2
693099270,2cyclictest28027-21apt-get2
693099270,25cyclictest3755-21idleruntime-cro2
693099270,25cyclictest19293-21awk2
693099270,24cyclictest3302-21munin-run2
692199279,3cyclictest8280-21sort0
692199279,3cyclictest11944-21cpuspeed_turbos0
692199278,4cyclictest8879-21awk0
692199273,5cyclictest9997-21apt-get0
6921992712,2cyclictest30595-21if_enp3s00
6921992711,3cyclictest14944-21unixbench-2d0
6921992710,3cyclictest17589-21aten2.4-expect0
6921992710,3cyclictest17050-21timerandwakeup0
46872270,2sleep00-21swapper/00
237932270,3sleep121-21ksoftirqd/11
6936992616,6cyclictest1562-21apt-get3
693099262,20cyclictest7594-21apt-get2
692199269,3cyclictest236042chrt0
692199269,3cyclictest19320-21unixbench_singl0
692199261,7cyclictest15444-21apt-get0
6921992613,2cyclictest665-21runrttasks0
6921992610,3cyclictest24150-21sh0
693099259,14cyclictest0-21swapper/22
693099257,15cyclictest29923-21acpi2
693099257,15cyclictest20894-21ntp_offset2
693099255,17cyclictest22243-21cpu2
693099255,17cyclictest0-21swapper/22
693099254,3cyclictest32218-21tr2
693099252,18cyclictest0-21swapper/22
693099251,4cyclictest22322-21missed_timers2
693099251,4cyclictest2082-21systemd-journal2
693099251,19cyclictest0-21swapper/22
693099250,3cyclictest26432-21df_inode2
692199256,5cyclictest9590-21apt-get0
692199255,4cyclictest0-21swapper/00
6921992510,3cyclictest13799-21latency_hist0
6921992510,3cyclictest13799-21latency_hist0
693699240,22cyclictest15095-21kworker/3:13
692199241,7cyclictest19950-21apt-get0
692199241,5cyclictest7248-21/usr/sbin/munin0
6921992414,6cyclictest58150irq/130-enp2s00
6921992410,4cyclictest665-21runrttasks0
693099233,4cyclictest7988-21apt-get2
693099231,4cyclictest19973-21df_inode2
6921992315,5cyclictest13941-21df0
6921992310,3cyclictest4371-21ntp_offset0
6921992310,2cyclictest665-21runrttasks0
6921992310,2cyclictest11682-21/usr/sbin/munin0
692599222,3cyclictest111rcu_preempt1
692199220,15cyclictest0-21swapper/00
692599212,16cyclictest18352-21grep1
6925992116,3cyclictest21-21ksoftirqd/11
6925992115,4cyclictest25336-21seq1
6925992113,5cyclictest505-21dbus-daemon1
692599211,19cyclictest0-21swapper/11
692599211,19cyclictest0-21swapper/11
692599210,5cyclictest0-21swapper/11
6921992114,4cyclictest24808-21sh0
693699208,10cyclictest25756-21dump-pmu-power3
6936992018,1cyclictest0-21swapper/33
6936992018,1cyclictest0-21swapper/33
6936992015,3cyclictest9729-21turbostat.cron3
6936992015,3cyclictest30705-21sed3
6936992015,3cyclictest23827-21dump-pmu-power3
6936992014,4cyclictest20769-21memory3
6925992015,3cyclictest3485-21/usr/sbin/munin1
6925992015,3cyclictest21-21ksoftirqd/11
6925992015,3cyclictest19736-21cron1
6925992015,3cyclictest1544-21/usr/sbin/munin1
6925992015,3cyclictest10333-21gdbus1
6925992014,4cyclictest8591-21cat1
6925992014,4cyclictest5729-21cat1
6925992014,4cyclictest31041-21seq1
6925992014,4cyclictest26791-21cat1
6925992014,4cyclictest14131-21cat1
6925992013,4cyclictest21692-21sh1
6925992013,4cyclictest10381-21cat1
692599201,16cyclictest1859-21sort1
692199201,5cyclictest1957-21apt-get0
6936991915,2cyclictest10970-21pmu-power3
6936991914,3cyclictest8630-21rt-features3
6936991914,3cyclictest8047-21proc_pri3
6936991914,3cyclictest4307-21uname3
6936991914,3cyclictest35-21ksoftirqd/33
6936991914,3cyclictest31832-21acpi3
6936991914,3cyclictest3108-21timerandwakeup3
6936991914,3cyclictest30688-21latency3
6936991914,3cyclictest30274-21grep3
6936991914,3cyclictest30274-21grep3
6936991914,3cyclictest27741-21cpuspeed3
6936991914,3cyclictest21359-21seq3
6936991914,3cyclictest20525-21fw_packets3
6936991914,3cyclictest19678-21idleruntime-cro3
6936991914,3cyclictest1813-21df3
6936991914,3cyclictest16053-21/usr/sbin/munin3
6936991914,3cyclictest14732-21swap3
6936991914,3cyclictest13929-21aten2_r9power_c3
6936991914,3cyclictest11611-21acpi3
6936991914,3cyclictest11410-21cron3
6936991914,3cyclictest10892-21vmstat3
6936991913,4cyclictest31057-21cat3
6936991913,4cyclictest28102-21hostname3
6936991913,4cyclictest18481-21df3
6936991913,4cyclictest11491-21cut3
6936991913,3cyclictest31304-21sh3
6936991912,5cyclictest25814-21cut3
6936991912,4cyclictest4950-21awk3
6936991912,4cyclictest24602-21expr3
6925991916,2cyclictest0-21swapper/11
6925991916,2cyclictest0-21swapper/11
6925991916,2cyclictest0-21swapper/11
6925991916,2cyclictest0-21swapper/11
6925991914,3cyclictest9337-21munin-plugin-st1
6925991914,3cyclictest7490-21/usr/sbin/munin1
6925991914,3cyclictest5393-21/usr/sbin/munin1
6925991914,3cyclictest4119-21head1
6925991914,3cyclictest28007-21/usr/sbin/munin1
6925991914,3cyclictest24497-21awk1
6925991914,3cyclictest20063-21/usr/sbin/munin1
6925991914,3cyclictest16053-21/usr/sbin/munin1
6925991913,4cyclictest9506-21seq1
6925991913,4cyclictest1432-21sed1
6925991913,3cyclictest9478-21cat1
6925991912,4cyclictest9960-21acpi1
6925991912,4cyclictest14142-21hostname1
692599191,16cyclictest0-21swapper/11
692199199,6cyclictest5411-21apt-get0
6921991915,2cyclictest27538-21/usr/sbin/munin0
6921991915,2cyclictest21529-21/usr/sbin/munin0
6921991914,3cyclictest30589-21interrupts0
6921991914,3cyclictest28875-21pmu-power0
6921991914,3cyclictest18650-21if_enp3s00
6921991913,4cyclictest3527-21cat0
6921991913,4cyclictest19698-21sendmail0
6936991814,2cyclictest7211-21taskset3
6936991813,3cyclictest6453-21swap3
6936991813,3cyclictest35-21ksoftirqd/33
6936991813,3cyclictest27939-21basename3
6936991813,3cyclictest23305-21who3
6936991813,3cyclictest19558-21http3
6936991813,3cyclictest19506-21cut3
6936991813,3cyclictest18244-21cpuspeed_turbos3
6936991813,3cyclictest15646-21aten2_r9power_v3
6936991813,3cyclictest12104-21expr3
6936991813,3cyclictest10726-21memory3
6936991812,4cyclictest15256-21cron3
6936991811,5cyclictest2265-21cat3
693699180,16cyclictest0-21swapper/33
692599181,8cyclictest0-21swapper/11
6925991814,2cyclictest7715-21/usr/sbin/munin1
6925991814,2cyclictest16303-21missed_timers1
6925991814,2cyclictest13903-21/usr/sbin/munin1
6925991813,3cyclictest30409-21sort1
6925991813,3cyclictest30000-21/usr/sbin/munin1
6925991813,3cyclictest28164-21cat1
6925991813,3cyclictest27368-21date1
6925991813,3cyclictest26222-21expr1
6925991813,3cyclictest24053-21/usr/sbin/munin1
6925991813,3cyclictest22596-21swap1
6925991812,4cyclictest665-21runrttasks1
6925991812,4cyclictest29086-21cat1
6925991812,4cyclictest20009-21seq1
6925991812,4cyclictest19234-21sed1
6925991812,4cyclictest18455-21cut1
6925991811,4cyclictest22298-21ls1
692599180,4cyclictest0-21swapper/11
6921991816,1cyclictest0-21swapper/00
6921991814,2cyclictest16053-21/usr/sbin/munin0
6921991813,3cyclictest665-21runrttasks0
6921991813,3cyclictest6135-21cat0
6921991813,3cyclictest28408-21/usr/sbin/munin0
6921991813,3cyclictest28408-21/usr/sbin/munin0
6921991813,3cyclictest20568-21gltestperf0
6921991812,4cyclictest12093-21cat0
6921991811,4cyclictest4412-21seq0
6921991810,6cyclictest21282-21sed0
6921991810,5cyclictest0-21swapper/00
693699176,7cyclictest32015-21apt-get3
6936991712,3cyclictest6816-21ntp_kernel_err3
6936991712,3cyclictest4694-21expr3
6936991712,3cyclictest26063-21grep3
6936991712,3cyclictest24255-21expr3
6936991710,4cyclictest505-21dbus-daemon3
693699170,1cyclictest0-21swapper/33
693699170,16cyclictest0-21swapper/33
693699170,16cyclictest0-21swapper/33
6925991715,1cyclictest0-21swapper/11
6925991714,2cyclictest0-21swapper/11
6925991713,2cyclictest6073-21aten2_r9power_v1
6925991712,3cyclictest812-21seq1
6925991712,3cyclictest30261-21expr1
6925991712,3cyclictest28832-21expr1
6925991712,3cyclictest28832-21expr1
6925991712,3cyclictest15992-21/usr/sbin/munin1
6925991712,3cyclictest12903-21vmstat1
6925991711,4cyclictest665-21runrttasks1
6921991712,3cyclictest24053-21/usr/sbin/munin0
6921991712,3cyclictest17272-21latency_hist0
6921991711,3cyclictest3759-21cstates0
693699162,8cyclictest7508-21apt-get3
6936991614,1cyclictest0-21swapper/33
6936991612,2cyclictest6966-21vmstat3
6936991612,2cyclictest362-21sh3
6936991610,4cyclictest23260-21grep3
6936991610,3cyclictest3980-21basename3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional