You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2022-08-16 - 05:49

x86 Intel Atom E3845 @1910 MHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #2
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the 376 highest latencies:
System rackdslot2.osadl.org (updated Tue Aug 16, 2022 00:46:10)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
554981150,16rtkit-daemon0-21swapper/319:07:463
31280998167,8cyclictest33-21ksoftirqd/200:25:162
307152795,19sleep20-21swapper/219:06:312
293882794,11sleep00-21swapper/019:05:190
31280997663,8cyclictest33-21ksoftirqd/200:20:162
31280997663,8cyclictest33-21ksoftirqd/200:20:162
31280997662,7cyclictest33-21ksoftirqd/219:40:162
31280997459,8cyclictest33-21ksoftirqd/200:00:142
31280997158,6cyclictest33-21ksoftirqd/223:35:162
31280997157,7cyclictest33-21ksoftirqd/223:10:212
31280996956,6cyclictest33-21ksoftirqd/200:35:162
307452694,53sleep10-21swapper/119:06:511
246712680,8sleep23128099cyclictest20:05:012
31280996654,6cyclictest33-21ksoftirqd/222:55:142
31280996351,7cyclictest33-21ksoftirqd/223:00:162
145492620,2sleep10-21swapper/122:00:301
133991610,2ptp4l16650-21latency20:55:243
31280995949,5cyclictest33-21ksoftirqd/222:20:142
31280995948,6cyclictest33-21ksoftirqd/221:05:152
272372570,2sleep10-21swapper/123:35:321
217932560,3sleep221799-21irqrtprio23:25:212
55498540,11rtkit-daemon0-21swapper/322:59:223
31280995445,5cyclictest33-21ksoftirqd/220:15:142
31280995423,5cyclictest33-21ksoftirqd/221:50:372
31280995423,5cyclictest33-21ksoftirqd/221:50:362
31280995315,7cyclictest33-21ksoftirqd/220:05:342
31280995244,4cyclictest33-21ksoftirqd/221:00:142
31280995222,4cyclictest33-21ksoftirqd/200:15:222
31280995123,7cyclictest33-21ksoftirqd/221:20:162
31280995119,4cyclictest33-21ksoftirqd/219:35:172
31280995118,13cyclictest33-21ksoftirqd/222:25:262
31280995020,4cyclictest33-21ksoftirqd/219:25:192
31280995019,4cyclictest33-21ksoftirqd/223:45:282
31280995017,13cyclictest33-21ksoftirqd/222:50:292
31280994921,7cyclictest33-21ksoftirqd/221:30:372
3128099492,12cyclictest121rcu_preempt21:15:192
177162490,2sleep00-21swapper/019:50:140
31280994840,4cyclictest33-21ksoftirqd/223:05:232
31280994840,4cyclictest33-21ksoftirqd/223:05:232
3128099482,11cyclictest6325-21apt-get20:35:162
31280994819,4cyclictest33-21ksoftirqd/220:30:292
31280994817,5cyclictest33-21ksoftirqd/223:20:292
55498470,10rtkit-daemon0-21swapper/321:20:453
3128099479,9cyclictest33-21ksoftirqd/222:00:192
3128099478,9cyclictest33-21ksoftirqd/223:50:252
3128099474,8cyclictest121rcu_preempt19:10:242
31280994740,4cyclictest33-21ksoftirqd/200:10:202
31280994734,10cyclictest33-21ksoftirqd/220:55:242
31280994721,7cyclictest33-21ksoftirqd/221:40:312
31281994629,14cyclictest41-21ksoftirqd/321:17:203
3128099469,11cyclictest33-21ksoftirqd/221:25:242
31280994634,10cyclictest33-21ksoftirqd/222:45:172
31280994619,7cyclictest33-21ksoftirqd/223:30:282
133991460,1ptp4l401ktimersoftd/322:34:563
31280994538,4cyclictest33-21ksoftirqd/222:30:322
31280994533,10cyclictest33-21ksoftirqd/220:25:232
31280994532,10cyclictest33-21ksoftirqd/223:55:212
3128099452,7cyclictest33-21ksoftirqd/219:55:192
31281994426,15cyclictest41-21ksoftirqd/320:29:223
31280994438,4cyclictest33-21ksoftirqd/221:55:372
31280994432,10cyclictest33-21ksoftirqd/200:05:242
31280994417,7cyclictest33-21ksoftirqd/220:20:262
31280994414,5cyclictest33-21ksoftirqd/222:05:352
31280994413,4cyclictest33-21ksoftirqd/220:10:352
31278994423,3cyclictest9-21ksoftirqd/023:22:300
31278994421,4cyclictest9-21ksoftirqd/022:29:390
133991440,1ptp4l401ktimersoftd/323:40:303
133991440,1ptp4l401ktimersoftd/322:45:343
133991440,1ptp4l401ktimersoftd/322:40:323
31280994337,3cyclictest33-21ksoftirqd/221:15:012
31280994337,3cyclictest33-21ksoftirqd/220:50:292
31280994335,4cyclictest33-21ksoftirqd/223:15:322
3128099431,4cyclictest121rcu_preempt21:45:302
31280994236,3cyclictest33-21ksoftirqd/222:20:022
31280994236,3cyclictest33-21ksoftirqd/220:45:012
31280994235,4cyclictest33-21ksoftirqd/222:40:002
31280994231,9cyclictest33-21ksoftirqd/220:49:582
31280994229,10cyclictest33-21ksoftirqd/223:40:202
3128099421,8cyclictest121rcu_preempt21:35:292
31281994124,14cyclictest41-21ksoftirqd/319:39:573
3128099416,9cyclictest33-21ksoftirqd/219:50:322
31280994134,4cyclictest33-21ksoftirqd/222:40:332
31280994134,3cyclictest33-21ksoftirqd/219:30:222
3128099406,11cyclictest33-21ksoftirqd/219:15:332
3128099406,11cyclictest33-21ksoftirqd/219:15:322
31280994035,3cyclictest33-21ksoftirqd/200:30:222
31280994034,3cyclictest33-21ksoftirqd/222:10:412
31281993911,4cyclictest32235-21cat19:10:313
31280993933,3cyclictest33-21ksoftirqd/219:45:202
31280993933,3cyclictest33-21ksoftirqd/219:25:012
133991390,1ptp4l401ktimersoftd/320:00:143
31281993814,20cyclictest1174-21/usr/sbin/munin19:15:163
31281993814,20cyclictest1174-21/usr/sbin/munin19:15:163
31281993813,22cyclictest1842-21cut21:35:003
31281993811,4cyclictest21082-21cat23:25:143
133991380,3ptp4l3128199cyclictest22:36:583
3128199373,6cyclictest0-21swapper/320:35:153
31281993714,20cyclictest18216-21/usr/sbin/munin22:10:233
31278993731,3cyclictest9-21ksoftirqd/022:01:080
31278993729,4cyclictest12969-21cron20:50:010
133991370,3ptp4l3128199cyclictest22:18:123
133991370,3ptp4l3128199cyclictest19:43:233
133991370,3ptp4l3128199cyclictest00:02:523
3128199363,6cyclictest22988-21apt-get22:20:133
3128199363,5cyclictest0-21swapper/323:30:193
31281993629,4cyclictest41-21ksoftirqd/300:05:183
3128199362,8cyclictest0-21swapper/322:50:163
3128199362,6cyclictest0-21swapper/321:50:203
3128199362,6cyclictest0-21swapper/321:50:203
3128199361,6cyclictest0-21swapper/320:40:193
31281993613,20cyclictest27517-21cut20:10:223
31279993631,3cyclictest25-21ksoftirqd/119:10:371
31279993630,4cyclictest25-21ksoftirqd/123:55:571
31279993630,4cyclictest25-21ksoftirqd/121:05:241
31279993629,4cyclictest25-21ksoftirqd/122:43:451
31278993630,3cyclictest9-21ksoftirqd/020:50:160
3128199358,5cyclictest12511-21unixbench_multi20:45:323
3128199353,6cyclictest0-21swapper/323:05:243
3128199353,6cyclictest0-21swapper/323:05:233
31281993528,4cyclictest41-21ksoftirqd/322:05:183
3128199352,6cyclictest18144-21apt-get21:00:143
31281993512,4cyclictest30764-21expr23:45:183
31281993512,4cyclictest17684-21switchtime23:15:383
31281993511,4cyclictest7013-21df_abs21:45:173
31281993511,4cyclictest31173-21expr21:25:333
31281993510,4cyclictest32045-21df_abs20:20:173
31279993530,3cyclictest25-21ksoftirqd/121:42:151
31279993529,4cyclictest25-21ksoftirqd/123:27:281
31279993527,5cyclictest25-21ksoftirqd/122:38:111
31278993529,3cyclictest9-21ksoftirqd/022:47:520
31278993529,3cyclictest9-21ksoftirqd/000:02:110
31278993528,4cyclictest9-21ksoftirqd/023:37:470
31278993528,4cyclictest9-21ksoftirqd/000:16:120
133991350,3ptp4l3128199cyclictest19:24:463
31281993428,3cyclictest41-21ksoftirqd/323:55:283
31281993427,4cyclictest41-21ksoftirqd/320:53:363
31281993427,4cyclictest41-21ksoftirqd/319:30:343
31281993427,4cyclictest41-21ksoftirqd/300:34:473
31279993429,3cyclictest25-21ksoftirqd/123:50:151
31279993428,4cyclictest25-21ksoftirqd/123:19:061
31279993428,4cyclictest25-21ksoftirqd/123:10:321
31279993427,4cyclictest25-21ksoftirqd/120:20:141
31278993428,4cyclictest9-21ksoftirqd/023:42:530
31278993428,4cyclictest9-21ksoftirqd/021:42:100
31278993428,3cyclictest9-21ksoftirqd/019:31:450
31278993427,5cyclictest9-21ksoftirqd/000:28:540
31278993427,4cyclictest9-21ksoftirqd/022:09:320
31278993427,4cyclictest9-21ksoftirqd/021:58:320
3128199333,25cyclictest0-21swapper/320:30:173
31281993327,3cyclictest41-21ksoftirqd/323:23:203
31281993326,4cyclictest41-21ksoftirqd/321:57:473
31281993326,4cyclictest41-21ksoftirqd/300:16:443
31281993326,4cyclictest41-21ksoftirqd/300:14:573
3128199332,5cyclictest25296-21apt-get22:25:143
31281993315,15cyclictest41-21ksoftirqd/323:39:193
31281993312,3cyclictest17691-21/usr/sbin/munin19:50:203
31281993311,3cyclictest10574-21ptp4l23:00:283
31281993310,4cyclictest25174-21forks20:05:213
31279993327,4cyclictest25-21ksoftirqd/123:06:571
31279993327,4cyclictest25-21ksoftirqd/123:06:571
31279993327,4cyclictest25-21ksoftirqd/121:51:071
31279993327,4cyclictest25-21ksoftirqd/121:51:061
31279993327,4cyclictest25-21ksoftirqd/121:28:221
31279993327,4cyclictest25-21ksoftirqd/119:21:591
31279993326,4cyclictest25-21ksoftirqd/120:50:011
31279993326,4cyclictest25-21ksoftirqd/120:27:351
31279993326,4cyclictest25-21ksoftirqd/120:10:531
31279993326,4cyclictest25-21ksoftirqd/120:09:381
31278993327,4cyclictest9-21ksoftirqd/022:52:560
31278993327,4cyclictest9-21ksoftirqd/021:02:150
31278993327,4cyclictest9-21ksoftirqd/020:21:010
31278993327,3cyclictest9-21ksoftirqd/020:39:330
31278993327,3cyclictest9-21ksoftirqd/019:36:150
31278993327,3cyclictest9-21ksoftirqd/019:29:100
31278993326,4cyclictest9-21ksoftirqd/023:51:570
3128199327,4cyclictest21646-21processes21:05:293
3128199327,4cyclictest15166-21processes23:10:363
3128199323,8cyclictest14590-21apt-get00:20:163
3128199323,8cyclictest14590-21apt-get00:20:163
3128199322,7cyclictest0-21swapper/323:50:143
3128199322,5cyclictest0-21swapper/319:55:153
31281993225,4cyclictest41-21ksoftirqd/321:13:553
31279993227,3cyclictest25-21ksoftirqd/122:53:371
31279993226,4cyclictest25-21ksoftirqd/123:01:111
31279993226,4cyclictest25-21ksoftirqd/122:08:411
31279993226,4cyclictest25-21ksoftirqd/120:50:121
31279993226,4cyclictest25-21ksoftirqd/100:18:281
31279993225,4cyclictest25-21ksoftirqd/122:57:591
31279993225,4cyclictest25-21ksoftirqd/100:03:351
31278993226,4cyclictest9-21ksoftirqd/019:41:590
31278993226,4cyclictest9-21ksoftirqd/000:10:440
31278993226,3cyclictest9-21ksoftirqd/023:33:090
31278993226,3cyclictest9-21ksoftirqd/021:07:080
31278993226,3cyclictest9-21ksoftirqd/019:10:060
31278993225,4cyclictest9-21ksoftirqd/023:11:460
31278993225,4cyclictest9-21ksoftirqd/021:33:230
31278993225,4cyclictest9-21ksoftirqd/020:34:370
31278993224,5cyclictest9-21ksoftirqd/020:04:150
3192423123,4sleep125-21ksoftirqd/123:45:321
3128199319,4cyclictest5893-21/usr/sbin/munin19:25:253
3128199318,4cyclictest17030-21unixbench_multi19:45:333
3128199316,3cyclictest31626-21wc20:20:013
3128199312,7cyclictest16908-21apt-get00:25:153
3128199311,7cyclictest4400-21apt-get21:40:193
31279993125,4cyclictest25-21ksoftirqd/123:41:341
31279993125,4cyclictest25-21ksoftirqd/122:33:501
31279993125,4cyclictest25-21ksoftirqd/121:45:361
31279993124,4cyclictest25-21ksoftirqd/119:52:261
31279993124,4cyclictest25-21ksoftirqd/119:16:431
31279993124,4cyclictest25-21ksoftirqd/119:16:421
31279993124,4cyclictest25-21ksoftirqd/100:30:121
31279993124,4cyclictest25-21ksoftirqd/100:24:221
31279993124,4cyclictest25-21ksoftirqd/100:24:211
31279993123,5cyclictest1-21systemd20:03:581
31278993126,3cyclictest9-21ksoftirqd/000:08:540
31278993125,4cyclictest9-21ksoftirqd/022:41:150
31278993125,4cyclictest9-21ksoftirqd/022:18:550
31278993125,4cyclictest9-21ksoftirqd/020:26:550
31278993124,4cyclictest9-21ksoftirqd/019:45:450
31278993124,4cyclictest9-21ksoftirqd/019:18:150
31278993124,4cyclictest9-21ksoftirqd/019:18:140
31278993124,4cyclictest9-21ksoftirqd/000:34:280
31278993123,5cyclictest9-21ksoftirqd/021:38:530
31278993123,5cyclictest9-21ksoftirqd/019:59:050
3128199308,4cyclictest14179-21smartctl22:00:253
31279993025,3cyclictest25-21ksoftirqd/122:45:161
31279993024,4cyclictest25-21ksoftirqd/123:20:511
31279993024,4cyclictest25-21ksoftirqd/121:01:571
31279993024,4cyclictest25-21ksoftirqd/120:36:271
31279993024,4cyclictest25-21ksoftirqd/120:18:051
31279993024,3cyclictest25-21ksoftirqd/120:31:501
31279993023,4cyclictest25-21ksoftirqd/119:58:331
31278993024,3cyclictest9-21ksoftirqd/023:18:270
31278993023,4cyclictest9-21ksoftirqd/021:47:450
3128199290,13cyclictest0-21swapper/321:38:223
31279992923,4cyclictest25-21ksoftirqd/123:32:581
31279992923,4cyclictest25-21ksoftirqd/122:29:491
31279992923,4cyclictest25-21ksoftirqd/119:47:421
31279992923,4cyclictest25-21ksoftirqd/119:33:491
31279992922,4cyclictest25-21ksoftirqd/122:18:171
31279992922,4cyclictest25-21ksoftirqd/122:11:021
31279992922,4cyclictest25-21ksoftirqd/119:41:311
31279992922,4cyclictest25-21ksoftirqd/119:38:031
31278992923,4cyclictest9-21ksoftirqd/023:01:580
31278992923,4cyclictest9-21ksoftirqd/022:36:130
31278992923,4cyclictest9-21ksoftirqd/022:13:260
31278992923,4cyclictest9-21ksoftirqd/021:19:180
31278992923,3cyclictest9-21ksoftirqd/021:26:320
31278992922,5cyclictest9-21ksoftirqd/023:55:380
31278992922,4cyclictest9-21ksoftirqd/023:45:140
31278992922,4cyclictest9-21ksoftirqd/020:44:210
31278992922,4cyclictest9-21ksoftirqd/000:38:260
3127999285,21cyclictest0-21swapper/122:20:531
31279992822,3cyclictest25-21ksoftirqd/121:59:471
31279992822,3cyclictest25-21ksoftirqd/121:23:051
31279992821,4cyclictest25-21ksoftirqd/119:27:141
31279992821,4cyclictest25-21ksoftirqd/100:35:051
31279992821,4cyclictest25-21ksoftirqd/100:25:581
31279992821,4cyclictest25-21ksoftirqd/100:07:441
31278992822,4cyclictest9-21ksoftirqd/022:56:160
31278992822,4cyclictest9-21ksoftirqd/020:16:440
31278992821,4cyclictest9-21ksoftirqd/023:25:360
31278992821,4cyclictest9-21ksoftirqd/022:32:280
133991280,1ptp4l401ktimersoftd/300:35:273
31279992721,4cyclictest25-21ksoftirqd/121:16:541
31279992721,4cyclictest25-21ksoftirqd/100:10:071
31279992720,4cyclictest25-21ksoftirqd/121:12:371
31278992721,4cyclictest9-21ksoftirqd/021:51:370
31278992721,4cyclictest9-21ksoftirqd/021:51:370
31278992721,4cyclictest9-21ksoftirqd/020:58:270
31278992721,4cyclictest9-21ksoftirqd/019:23:000
31278992720,4cyclictest9-21ksoftirqd/023:05:130
31278992720,4cyclictest9-21ksoftirqd/023:05:120
31278992620,4cyclictest9-21ksoftirqd/022:23:500
31278992620,4cyclictest9-21ksoftirqd/021:12:430
31278992620,3cyclictest9-21ksoftirqd/021:23:410
31278992619,4cyclictest9-21ksoftirqd/020:07:400
31278992619,4cyclictest9-21ksoftirqd/000:20:080
31278992619,4cyclictest9-21ksoftirqd/000:20:070
31279992519,4cyclictest25-21ksoftirqd/120:59:311
31278992519,3cyclictest9-21ksoftirqd/020:14:180
31279992418,4cyclictest25-21ksoftirqd/120:42:171
31279992318,3cyclictest25-21ksoftirqd/121:36:501
31279992215,4cyclictest32597-21cut21:30:241
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional