You are here: Home / Projects / QA Farm Realtime / Latency plots / 
2021-10-21 - 19:53

Intel(R) Atom(TM) Processor E3950 @ 1.60GHz, Linux 5.6.19-rt12 (Profile)

Latency plot of system in rack #9, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rack9slot2 (updated Thu Oct 21, 2021 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
288052304267,25sleep10-21swapper/11
288842249180,37sleep00-21swapper/00
290102246176,39sleep30-21swapper/33
287762229191,25sleep20-21swapper/22
181021360,1sleep00-21swapper/00
302162750,1sleep00-21swapper/00
289772560,2sleep00-21swapper/00
157842480,3sleep32925999cyclictest3
149882400,1sleep20-21swapper/22
29250993514,18cyclictest5655-21expr1
228732340,1sleep00-21swapper/00
29250993312,19cyclictest7492-21cat1
29250993212,17cyclictest4871-21cat1
29250993211,19cyclictest21854-21cat1
29250993210,20cyclictest24303-21grep1
29250993113,15cyclictest23466-21cut1
29250993112,16cyclictest26696-21ntp_states1
29250993111,18cyclictest1756-21fw_packets1
29250993110,19cyclictest18905-21ls1
2925099301,26cyclictest12042-21cut1
29250993010,18cyclictest23497-21cut1
2925099299,17cyclictest9973-21cut1
29250992913,14cyclictest4390-21cat1
29250992913,13cyclictest21059-21expr1
29250992913,13cyclictest21059-21expr1
29250992910,17cyclictest16261-21switchtime1
29250992910,16cyclictest25517-21gltestperf1
29250992910,16cyclictest21372-21seq1
29250992910,16cyclictest19641-21gltestperf1
2925099287,3cyclictest14667-21sed1
29250992810,14cyclictest28243-21gltestperf1
2925099278,3cyclictest27363-21cut1
2925099278,17cyclictest30381-21wc1
2925099277,4cyclictest14428-21sed1
29250992714,11cyclictest26606-21/usr/sbin/munin1
2925499265,19cyclictest24534-21cups-browsed2
2925099267,4cyclictest12258-21grep1
2925099267,3cyclictest9940-21timerandwakeup1
2925099267,3cyclictest674-21wc1
2925099265,4cyclictest21527-21cut1
2925099265,4cyclictest21527-21cut1
2925099264,19cyclictest7347-21unixbench_multi1
2925099260,4cyclictest7704-21entropy1
2925099259,13cyclictest6156-21grep1
2925099258,14cyclictest6560-21latency_hist1
2925099258,14cyclictest2616-21latency_hist1
2925099255,3cyclictest1884-21expr1
2925099253,7cyclictest415-21cstates1
29250992511,12cyclictest2856-21/usr/sbin/munin1
29250992510,12cyclictest10005-21/usr/sbin/munin1
2925499248,3cyclictest98792expr2
2925099247,3cyclictest30727-21awk1
2925099247,2cyclictest0-21swapper/11
2925099245,3cyclictest30857-21expr1
2925099243,4cyclictest29755-21df_inode1
29259992318,3cyclictest23156-21ls3
29259992318,3cyclictest23156-21ls3
29259992316,4cyclictest14921-21turbostat.cron3
2925499234,17cyclictest7823-21sendmail-mta2
2925499234,17cyclictest23172-21awk2
2925499234,17cyclictest23172-21awk2
2925499234,17cyclictest22927-21cat2
2925499231,19cyclictest23589-21munin-run2
2925099238,3cyclictest21-21ksoftirqd/11
2925099237,2cyclictest19050-21cat1
2925099236,4cyclictest25690-21/usr/sbin/munin1
2925099236,3cyclictest31829-21aten2_r9power_e1
2925099236,2cyclictest30515-21apt-config1
2925099236,2cyclictest18421-21grep1
2925099235,3cyclictest16075-21basename1
2925099234,3cyclictest0-21swapper/11
2925099231,6cyclictest7981-21sed1
2925099231,6cyclictest16000-21sed1
2925099231,5cyclictest4773-21unixbench-2d1
2925099231,5cyclictest11071-21cpuspeed_turbos1
2925099230,5cyclictest9371-21unixbench_singl1
73262220,1sleep20-21swapper/22
29259992216,4cyclictest7137-21date3
2925499223,17cyclictest24834-21latency_hist2
2925499223,17cyclictest1871-21awk2
2925499223,17cyclictest10512-21cat2
2925499222,2cyclictest28-21ksoftirqd/22
29254992217,3cyclictest20660-21cat2
29254992215,4cyclictest5251-21df2
2925499221,3cyclictest9000-21munin-run2
2925499221,3cyclictest31079-21munin-run2
2925499221,3cyclictest26804-21munin-run2
2925499221,18cyclictest16450-21munin-run2
2925099228,2cyclictest16799-21aten2_r9power_p1
2925099227,2cyclictest25521-21grep1
2925099226,3cyclictest22789-21pmu-power1
2925099224,3cyclictest18369-21awk1
2925099224,2cyclictest3830-21turbostat1
2925099223,3cyclictest29882-21gltestperf1
2925099221,5cyclictest505-21dbus-daemon1
2925099220,2cyclictest314292grep1
2925999214,15cyclictest9008-21turbostat3
2925999212,2cyclictest111rcu_preempt3
2925999212,16cyclictest11748-21ls3
29259992116,3cyclictest31523-21turbostat.cron3
29259992116,3cyclictest30840-21sendmail3
29259992116,3cyclictest10686-21sed3
29259992115,4cyclictest22932-21wc3
29259992115,4cyclictest16841-21tr3
29259992115,3cyclictest16914-21cron3
29259992114,4cyclictest6777-21date3
2925499218,11cyclictest28-21ksoftirqd/22
2925499212,17cyclictest9749-21cat2
2925499212,17cyclictest13359-21cat2
29254992117,2cyclictest3056-21munin-run2
29254992116,3cyclictest322-21systemd-journal2
29254992116,3cyclictest19649-21munin-run2
29254992116,3cyclictest1005-21hostname2
29254992115,4cyclictest505-21dbus-daemon2
29254992114,4cyclictest322-21systemd-journal2
29254992114,4cyclictest29963-21basename2
2925499210,18cyclictest16834-21users2
2925099216,2cyclictest14009-21unixbench_multi1
2925099215,3cyclictest23901-21needreboot1
29250992115,4cyclictest14259-21cut1
29246992116,3cyclictest18833-21seq0
29246992115,4cyclictest31638-21ls0
29246992115,4cyclictest12261-21cut0
29246992110,9cyclictest9-21ksoftirqd/00
154142210,1sleep00-21swapper/00
2925999207,11cyclictest505-21dbus-daemon3
29259992015,3cyclictest22623-21sed3
29259992015,3cyclictest17198-21cron3
29259992014,4cyclictest5847-21sed3
29259992014,4cyclictest19876-21sed3
29259992013,4cyclictest7469-21acpi3
29259992011,5cyclictest505-21dbus-daemon3
29254992016,2cyclictest13824-21irqstats2
29254992015,3cyclictest322-21systemd-journal2
29254992015,3cyclictest31857-21idleruntime2
29254992015,3cyclictest27878-21aten2_r9power_p2
29254992015,3cyclictest23019-21cat2
29254992015,3cyclictest19541-21ntp_kernel_err2
29254992015,3cyclictest12824-21ntp_kernel_pll_2
29254992015,3cyclictest1091-21perf2
2925499201,4cyclictest5244-21munin-run2
29254992014,4cyclictest15796-21if_err_enp3s02
2925499201,3cyclictest26362-21munin-run2
29254992013,4cyclictest19545-21df_inode2
2925499201,17cyclictest5783-21cat2
2925499201,17cyclictest31460-21/usr/sbin/munin2
2925499201,17cyclictest29071-1kworker/2:2H2
2925499201,16cyclictest3590-21memory2
2925499200,3cyclictest27577-21sendmail2
2925499200,18cyclictest27144-21perf2
29250992015,3cyclictest27721-21cat1
2924699201,5cyclictest6639-21latency_hist0
29246992015,3cyclictest22271-21seq0
29246992015,3cyclictest22271-21seq0
29246992014,4cyclictest7654-21cat0
29246992014,4cyclictest665-21runrttasks0
29246992014,4cyclictest29631-21cat0
29246992014,4cyclictest27000-21seq0
29246992014,4cyclictest26606-21/usr/sbin/munin0
2924699201,2cyclictest0-21swapper/00
2925999194,13cyclictest1848-21cron3
29259991916,2cyclictest0-21swapper/33
29259991915,2cyclictest16043-21aten2_r9power_p3
29259991914,3cyclictest718-21grep3
29259991914,3cyclictest4249-21load3
29259991914,3cyclictest3030-21cut3
29259991914,3cyclictest27177-21cpu3
29259991914,3cyclictest2635-21sed3
29259991914,3cyclictest19930-21needreboot3
29259991913,4cyclictest35-21ksoftirqd/33
29259991913,4cyclictest25873-21grep3
29259991913,4cyclictest23519-21diskstats3
29259991913,4cyclictest21079-21sed3
29259991913,4cyclictest18606-21sed3
29259991913,4cyclictest12420-21fw_packets3
29259991913,3cyclictest25382-21grep3
29259991911,4cyclictest505-21dbus-daemon3
29254991914,3cyclictest9185-21cracklib-runtim2
29254991914,3cyclictest4835-21seq2
29254991914,3cyclictest30119-21expr2
29254991914,3cyclictest29761-21cat2
29254991914,3cyclictest29430-21expr2
29254991914,3cyclictest24312-21pmu-power2
29254991914,3cyclictest1849-21expr2
29254991914,3cyclictest16999-21swap2
29254991914,3cyclictest14235-21memory2
29254991914,3cyclictest11121-21threads2
29254991913,3cyclictest27691-21cat2
2925499190,17cyclictest11453-21cpuspeed_turbos2
29246991915,2cyclictest19133-21/usr/sbin/munin0
29246991915,2cyclictest10771-21/usr/sbin/munin0
29246991914,3cyclictest7214-21cron0
29246991914,3cyclictest639-21snmpd0
29246991914,3cyclictest531-21cat0
29246991914,3cyclictest32352-21expr0
29246991914,3cyclictest32174-21expr0
29246991914,3cyclictest30834-21perf0
29246991914,3cyclictest29668-21cat0
29246991914,3cyclictest23596-21sh0
29246991914,3cyclictest21423-21/usr/sbin/munin0
29246991914,3cyclictest21423-21/usr/sbin/munin0
29246991914,3cyclictest15456-21expr0
29246991914,3cyclictest13561-21expr0
29246991914,3cyclictest11033-21cut0
29246991914,3cyclictest10308-21cat0
29246991914,3cyclictest10163-21cat0
29246991913,4cyclictest6802-21/usr/sbin/munin0
29246991913,4cyclictest3558-21seq0
29246991913,4cyclictest23159-21cut0
29246991913,4cyclictest19369-21cat0
29246991912,4cyclictest25115-21grep0
29246991912,4cyclictest19220-21idleruntime0
2924699191,10cyclictest0-21swapper/00
2924699190,10cyclictest17350-21sort0
29259991816,1cyclictest0-21swapper/33
29259991816,1cyclictest0-21swapper/33
29259991815,2cyclictest0-21swapper/33
29259991814,2cyclictest22640-21/usr/sbin/munin3
29259991813,3cyclictest9239-21/usr/sbin/munin3
29259991813,3cyclictest7770-21latency_hist3
29259991813,3cyclictest5090-21sed3
29259991813,3cyclictest3540-21sed3
29259991813,3cyclictest30282-21awk3
29259991813,3cyclictest27567-21turbostat3
29259991813,3cyclictest24450-21sed3
29259991813,3cyclictest23892-21cut3
29259991813,3cyclictest19686-21wc3
29259991813,3cyclictest19224-21idleruntime-cro3
29259991813,3cyclictest1663-21ls3
29259991813,3cyclictest13157-21df_inode3
29259991812,4cyclictest7409-21grep3
29259991812,3cyclictest29095-21sh3
29259991811,4cyclictest322-21systemd-journal3
29254991815,2cyclictest0-21swapper/22
29254991814,2cyclictest10350-21timerandwakeup2
29254991813,3cyclictest635-21cat2
29254991813,3cyclictest6077-21if_enp3s02
29254991813,3cyclictest27446-21ntp_kernel_pll_2
29254991812,4cyclictest21093-21fw_packets2
29254991812,4cyclictest21093-21fw_packets2
2925499180,3cyclictest19207-21munin-run2
2924699188,8cyclictest3755-21head0
29246991814,2cyclictest24260-21ntp_states0
29246991813,3cyclictest9143-21expr0
29246991813,3cyclictest7822-21sendmail-mta0
29246991813,3cyclictest5242-21latency_hist0
29246991813,3cyclictest4951-21sh0
29246991813,3cyclictest3422-21cat0
29246991813,3cyclictest29729-21expr0
29246991813,3cyclictest11860-21cut0
29246991812,4cyclictest9-21ksoftirqd/00
29246991812,4cyclictest27609-21date0
29246991812,4cyclictest18216-21tr0
29246991812,4cyclictest1469-21cat0
29246991812,4cyclictest13794-21date0
29246991812,4cyclictest13012-21grep0
2924699180,16cyclictest7031-21sendmail0
29259991715,1cyclictest0-21swapper/33
29259991715,1cyclictest0-21swapper/33
29259991715,1cyclictest0-21swapper/33
29259991712,3cyclictest665-21runrttasks3
29259991712,3cyclictest31485-21sed3
29259991712,3cyclictest29537-21latency_hist3
29259991712,3cyclictest12340-21ls3
29259991711,5cyclictest505-21dbus-daemon3
2924699175,9cyclictest15691-21cron0
29246991713,2cyclictest1630-21aten2_r9power_p0
29246991712,3cyclictest30976-21entropy0
29246991712,3cyclictest27868-21sed0
29246991712,3cyclictest25526-21awk0
29246991712,3cyclictest19938-21expr0
29246991711,4cyclictest29174-21cat0
29246991710,4cyclictest8281-21grep0
29259991612,2cyclictest26606-21/usr/sbin/munin3
2925999160,14cyclictest0-21swapper/33
2924699159,4cyclictest17063-21cat0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional