You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-04-24 - 00:49
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2.osadl.org (updated Tue Apr 23, 2024 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
212892303241,51sleep20-21swapper/22
195812272236,23sleep10-21swapper/11
211272267182,48sleep30-21swapper/33
212652233195,25sleep00-21swapper/00
2145899170165,3cyclictest27293-21diskstats0
2146699153149,2cyclictest0-21swapper/22
92921500,3sleep12146399cyclictest1
2102621400,4sleep32146999cyclictest3
21463999995,2cyclictest26285-21apt-get1
247852460,2sleep10-21swapper/11
15292430,1sleep01530-21expr0
15292430,1sleep01530-21expr0
2146699351,30cyclictest14205-21memory2
21466993415,16cyclictest20012-21munin-run2
21466993414,17cyclictest32104-21ntp_kernel_pll_2
21466993313,17cyclictest11275-21ps2
2146699322,27cyclictest21539-21latency_hist2
2146699319,4cyclictest10041-21cut2
21463993120,8cyclictest10950-21cat1
2146699301,3cyclictest21122-1kworker/2:1H2
21466993012,15cyclictest22910-21sendmail-mta2
287722290,6sleep091ksoftirqd/00
2146699299,3cyclictest12293-21hostname2
2146699296,7cyclictest0-21swapper/22
2146699293,8cyclictest6573-21apt-get2
2146699291,3cyclictest12892-21latency_hist2
21466992912,15cyclictest8615-21aten2_r9power_e2
21466992912,14cyclictest4259-21latency_hist2
2146699289,3cyclictest7668-21grep2
21466992811,3cyclictest18106-21cat2
21466992811,2cyclictest32334-21sendmail-mta2
2146699281,11cyclictest25345-21grep2
2146699281,10cyclictest18655-21apt2
2146699280,1cyclictest0-21swapper/22
2146699280,13cyclictest2244-21munin-run2
2146699280,13cyclictest2244-21munin-run2
2146699279,3cyclictest13791-21expr2
2146699278,3cyclictest505-21dbus-daemon2
2146699278,3cyclictest24173-21df2
2146699277,5cyclictest0-21swapper/22
2146699277,3cyclictest0-21swapper/22
2146699275,5cyclictest2574-21sendmail2
2146699273,5cyclictest10599-21apt-get2
2146699272,7cyclictest21742-21apt-get2
2146699271,11cyclictest0-21swapper/22
2146699269,3cyclictest28991-21cron2
2146699269,3cyclictest14427-21apt-key2
2146699268,2cyclictest0-21swapper/22
2146699262,5cyclictest505-21dbus-daemon2
21466992610,3cyclictest31857-21http2
2146699260,2cyclictest5675-21latency_hist2
2146699259,2cyclictest1781-21df_inode2
2146699252,9cyclictest0-21swapper/22
2146699252,5cyclictest23805-21apt-get2
2146699252,5cyclictest0-21swapper/22
2146699251,7cyclictest20286-21apt-get2
2146699251,5cyclictest28312sleep22
21466992512,3cyclictest665-21runrttasks2
2146699250,10cyclictest30114-21tr2
21469992419,3cyclictest3965-21sed3
2146699248,2cyclictest19713-21cat2
2146699241,6cyclictest25795-21apt-get2
21466992410,2cyclictest9976-21latency_hist2
21463992416,5cyclictest8303-21cron1
21463992410,7cyclictest21-21ksoftirqd/11
201052240,2sleep30-21swapper/33
296582230,1sleep00-21swapper/00
2146699233,6cyclictest1912-21apt-get2
2146699232,6cyclictest5379-21apt-get2
21463992320,1cyclictest3113-21cron1
21458992314,5cyclictest32366-21apt-get0
21469992217,3cyclictest25075-21head3
2146699229,2cyclictest665-21runrttasks2
2146699225,15cyclictest17077-21anacron2
21466992216,4cyclictest19932-21cut2
21463992215,4cyclictest28350-21idleruntime-cro1
21458992215,4cyclictest30518-21grep0
21458992215,4cyclictest30518-21grep0
2146999218,2cyclictest111rcu_preempt3
21469992117,2cyclictest35-21ksoftirqd/33
21469992116,3cyclictest7129-21turbostat.cron3
21469992116,3cyclictest5389-21ntp_offset3
21466992116,3cyclictest24352-21sh2
21466992114,6cyclictest0-21swapper/22
2146699211,18cyclictest7669-21munin-run2
21466992110,9cyclictest30991-21latency_hist2
21466992110,9cyclictest30991-21latency_hist2
2146399216,3cyclictest111rcu_preempt1
21463992116,3cyclictest27426-21seq1
21463992116,3cyclictest18296-21ntpq1
21463992116,3cyclictest17072-21seq1
21463992115,3cyclictest7946-21in:imuxsock1
2146399211,18cyclictest505-21dbus-daemon1
21458992115,4cyclictest24690-21latency_hist0
21458992111,6cyclictest9-21ksoftirqd/00
21469992017,2cyclictest35-21ksoftirqd/33
21469992017,2cyclictest35-21ksoftirqd/33
21469992015,3cyclictest31236-21/usr/sbin/munin3
21469992015,3cyclictest27399-21cpu3
21469992015,3cyclictest11090-21ntpq3
21469992014,4cyclictest2583-21basename3
21469992013,4cyclictest17648-21cat3
21469992012,5cyclictest20922-21apt-get3
2146999200,18cyclictest3889-21kworker/3:13
2146999200,18cyclictest3889-21kworker/3:13
21466992014,4cyclictest20108-21wc2
2146399209,3cyclictest21-21ksoftirqd/11
2146399209,3cyclictest21-21ksoftirqd/11
2146399202,15cyclictest13929-21cut1
21463992017,2cyclictest0-21swapper/11
21463992015,3cyclictest3376-21seq1
21463992015,3cyclictest25498-21perf1
21463992015,3cyclictest21-21ksoftirqd/11
21463992015,3cyclictest11399-21acpi1
21463992014,4cyclictest4978-21seq1
21463992014,4cyclictest20341-21seq1
21463992014,4cyclictest10879-21idleruntime-cro1
21463992013,5cyclictest30839-21acpi1
2146399201,16cyclictest4413-21grep1
2146399200,18cyclictest21028-21cat1
2146399200,17cyclictest32083-21grep1
21458992016,2cyclictest13387-21/usr/sbin/munin0
21458992015,3cyclictest28695-21snmpd0
21458992015,3cyclictest22049-21apt-get0
21458992015,3cyclictest21724-21/usr/sbin/munin0
21458992014,4cyclictest9836-21cat0
21458992014,4cyclictest3809-21sh0
21458992014,4cyclictest30410-21cat0
21458992014,3cyclictest26497-21grep0
21458992014,3cyclictest11873-21unixbench_multi0
21458992013,5cyclictest25499-21idleruntime-cro0
21458992013,4cyclictest7689-21find0
21458992013,4cyclictest5872-21grep0
21458992013,4cyclictest58150irq/130-enp2s00
21458992013,4cyclictest24606-21apt-get0
21458992013,4cyclictest13748-21grep0
2146999197,10cyclictest5134-21apt3
21469991915,3cyclictest35-21ksoftirqd/33
21469991915,2cyclictest32384-21aten2_r9power_c3
21469991915,2cyclictest30875-21aten2_r9power_c3
21469991914,3cyclictest7626-21switchtime3
21469991914,3cyclictest387-21swap3
21469991914,3cyclictest31906-21apt-key3
21469991914,3cyclictest17337-21ls3
21469991914,3cyclictest15475-21aten2_r9power_p3
21469991914,3cyclictest11449-21ntpq3
21469991913,4cyclictest5730-21pluginstate3
21469991913,4cyclictest4364-21diskstats3
21469991913,4cyclictest3741-21cat3
21469991913,4cyclictest28188-21diskstats3
21469991913,4cyclictest24722-21pluginstate3
21469991913,4cyclictest1929-21cut3
21469991913,4cyclictest18737-21date3
21469991913,3cyclictest505-21dbus-daemon3
21469991912,4cyclictest26912-21expr3
21469991911,5cyclictest10309-21sh3
2146999190,3cyclictest111rcu_preempt3
21466991915,2cyclictest6310-21latency_hist2
21466991914,3cyclictest5281-21sed2
21466991914,3cyclictest30537-21seq2
21466991914,3cyclictest23419-21http2
2146699191,3cyclictest21122-1kworker/2:1H2
2146399198,2cyclictest111rcu_preempt1
2146399197,3cyclictest21-21ksoftirqd/11
2146399194,3cyclictest111rcu_preempt1
21463991914,3cyclictest9126-21sh1
21463991914,3cyclictest7543-21sh1
21463991914,3cyclictest31628-21seq1
21463991914,3cyclictest30834-21seq1
21463991914,3cyclictest30834-21seq1
21463991914,3cyclictest29991-21cpu1
21463991914,3cyclictest21-21ksoftirqd/11
21463991914,3cyclictest2082-21systemd-journal1
21463991914,3cyclictest12643-21ls1
21463991914,3cyclictest11712-21cat1
21463991913,4cyclictest7523-21seq1
21463991913,4cyclictest6000-21seq1
21463991913,4cyclictest505-21dbus-daemon1
21463991913,4cyclictest2967-21grep1
21463991913,4cyclictest23112-21awk1
21463991913,4cyclictest18882-21cat1
21463991913,3cyclictest16407-21cpu1
21463991912,4cyclictest12989-21ls1
21458991915,2cyclictest26606-21aten2_r9power_c0
21458991915,2cyclictest14885-21/usr/sbin/munin0
21458991914,3cyclictest7362-21/usr/sbin/munin0
21458991914,3cyclictest28695-21snmpd0
21458991914,3cyclictest28695-21snmpd0
21458991914,3cyclictest18978-21aten2_r9power_e0
21458991914,3cyclictest18245-21/usr/sbin/munin0
21458991913,4cyclictest9252-21cat0
21458991913,4cyclictest28695-21snmpd0
21458991913,4cyclictest25767-21date0
21458991913,4cyclictest23550-21pluginstate0
21458991913,3cyclictest24991-21timerwakeupswit0
21458991913,3cyclictest17359-21sed0
21458991913,3cyclictest15283-21processes0
21458991912,4cyclictest5851-21grep0
21458991912,4cyclictest31916-21cut0
2145899190,8cyclictest11145-21dump-pmu-power0
238852180,2sleep00-21swapper/00
21469991814,2cyclictest28888-21aten2_r9power_e3
21469991814,2cyclictest24174-21df_inode3
21469991814,2cyclictest22922-21/usr/sbin/munin3
21469991814,2cyclictest21604-21apt-config3
21469991813,3cyclictest9103-21/usr/sbin/munin3
21469991813,3cyclictest30543-21cat3
21469991813,3cyclictest29620-21sed3
21469991813,3cyclictest26909-21apt-key3
21469991813,3cyclictest26385-21cat3
21469991813,3cyclictest26209-21df3
21469991813,3cyclictest22961-21cat3
21469991813,3cyclictest22336-21ls3
21469991813,3cyclictest11786-21expr3
21469991813,3cyclictest11120-21cron3
21469991812,4cyclictest9335-21sed3
21469991812,4cyclictest6174-21ls3
21469991812,4cyclictest26180-21fw_packets3
21469991812,4cyclictest25124-21sort3
21469991812,4cyclictest2245-21uname3
21469991812,4cyclictest18565-21cat3
21469991811,4cyclictest19872-21hostname3
21466991815,2cyclictest0-21swapper/22
21466991813,3cyclictest27497-21sendmail2
2146699180,4cyclictest0-21swapper/22
2146399182,3cyclictest111rcu_preempt1
21463991816,1cyclictest0-21swapper/11
2146399181,5cyclictest0-21swapper/11
21463991814,2cyclictest20661-21latency_hist1
21463991813,3cyclictest9788-21seq1
21463991813,3cyclictest6880-21sed1
21463991813,3cyclictest5725-21expr1
21463991813,3cyclictest27801-21/usr/sbin/munin1
21463991813,3cyclictest26154-21awk1
21463991813,3cyclictest25660-21switchtime1
21463991813,3cyclictest11061-21expr1
21463991812,4cyclictest750-21date1
21463991812,3cyclictest9514-21cpu1
21463991812,3cyclictest921-21aten2.4-expect1
2145899188,5cyclictest17775-21apt-get0
2145899182,13cyclictest3652-21grep0
2145899182,13cyclictest12223-21needreboot0
21458991816,1cyclictest0-21swapper/00
21458991814,2cyclictest4933-21aten2_r9power_v0
21458991814,2cyclictest30837-21/usr/sbin/munin0
21458991814,2cyclictest27249-21/usr/sbin/munin0
21458991813,3cyclictest665-21runrttasks0
21458991813,3cyclictest665-21runrttasks0
21458991813,3cyclictest18658-21dump-pmu-power0
21458991813,3cyclictest13572-21ps0
21458991812,4cyclictest8316-21hostname0
21458991812,4cyclictest20002-21cat0
21458991811,5cyclictest2082-21systemd-journal0
2146999179,5cyclictest13406-21apt-get3
21469991712,3cyclictest19752-21cstates3
21469991712,3cyclictest16130-21latency_hist3
21469991712,3cyclictest12843-21if_enp3s03
2146999171,1cyclictest111rcu_preempt3
21469991711,4cyclictest7118-21find3
21469991711,4cyclictest13214-21gpgconf3
21463991713,2cyclictest3920-21/usr/sbin/munin1
21463991712,3cyclictest665-21runrttasks1
21463991712,3cyclictest16889-21/usr/sbin/munin1
21458991713,2cyclictest665-21runrttasks0
21458991712,3cyclictest665-21runrttasks0
21458991712,3cyclictest32151-21ls0
21458991712,3cyclictest17953-21idleruntime0
21458991712,3cyclictest12249-21/usr/sbin/munin0
21458991712,3cyclictest10628-21expr0
21458991711,4cyclictest25993-21expr0
21458991711,3cyclictest6817-21sh0
21458991710,5cyclictest22898-21unixbench_multi0
2146999160,1cyclictest0-21swapper/33
2146399163,8cyclictest13462-21apt-get1
21458991612,2cyclictest2508-21/usr/sbin/munin0
21458991611,3cyclictest665-21runrttasks0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional