You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-02-08 - 05:49

x86 Intel Atom E3845 @1910 MHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #3
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the alll highest latencies:
System rackdslot3.osadl.org (updated Wed Feb 08, 2023 00:46:23)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1986021670,2sleep00-21swapper/000:25:250
825991123101,10phc2sys0-21swapper/319:06:443
31227210381,10sleep20-21swapper/219:07:052
31740998010,16cyclictest9306-21latency_hist00:05:012
57698790,7rtkit-daemon22308-21apache219:09:310
31741997835,5cyclictest41-21ksoftirqd/300:05:013
311732789,19sleep10-21swapper/119:06:271
31740997612,13cyclictest5210-21grep22:45:292
31741997533,8cyclictest41-21ksoftirqd/323:35:183
31740997510,20cyclictest8990-21cpuspeed_turbos19:30:212
31740997510,20cyclictest8990-21cpuspeed_turbos19:30:212
31741997438,5cyclictest41-21ksoftirqd/300:10:233
31741997435,5cyclictest41-21ksoftirqd/319:25:393
31741997336,4cyclictest41-21ksoftirqd/321:35:023
3174099739,14cyclictest24219-21cpuspeed_turbos00:35:162
3174199723,8cyclictest41-21ksoftirqd/322:40:153
31741997232,5cyclictest41-21ksoftirqd/320:15:323
31741997229,5cyclictest41-21ksoftirqd/320:35:273
31740997211,13cyclictest4544-21latency_hist23:55:002
31740997211,13cyclictest4544-21latency_hist23:55:002
31741997137,5cyclictest41-21ksoftirqd/300:20:233
31741997132,5cyclictest41-21ksoftirqd/321:45:013
825591700,2ptp4l401ktimersoftd/319:10:263
31741997060,6cyclictest41-21ksoftirqd/321:05:163
31741997035,4cyclictest41-21ksoftirqd/322:35:343
31741997027,8cyclictest41-21ksoftirqd/321:45:173
3174099707,14cyclictest3950-21date22:45:012
31740997010,12cyclictest17212-21if_enp4s020:55:252
31740997010,12cyclictest17212-21if_enp4s020:55:252
31741996936,4cyclictest41-21ksoftirqd/319:50:233
31741996934,4cyclictest41-21ksoftirqd/323:10:183
31741996930,5cyclictest41-21ksoftirqd/321:20:233
31741996927,9cyclictest41-21ksoftirqd/320:50:013
3174099696,14cyclictest19762-21sort00:25:252
212162690,2sleep20-21swapper/223:20:292
31741996857,6cyclictest41-21ksoftirqd/319:30:203
31741996857,6cyclictest41-21ksoftirqd/319:30:193
31741996834,4cyclictest41-21ksoftirqd/321:00:313
31741996834,4cyclictest41-21ksoftirqd/321:00:313
31741996833,5cyclictest41-21ksoftirqd/323:20:343
31741996827,8cyclictest41-21ksoftirqd/323:40:183
31741996827,7cyclictest41-21ksoftirqd/320:55:003
31741996824,8cyclictest41-21ksoftirqd/319:40:343
3174099689,15cyclictest22794-21/usr/sbin/munin20:00:342
3174099688,14cyclictest9359-21open_files21:45:272
3174099687,14cyclictest2738-21sed20:25:212
31741996758,5cyclictest41-21ksoftirqd/321:50:143
31741996736,13cyclictest41-21ksoftirqd/319:20:283
31741996734,4cyclictest41-21ksoftirqd/323:00:223
31741996733,4cyclictest41-21ksoftirqd/322:05:183
31741996729,5cyclictest41-21ksoftirqd/322:25:333
31741996729,5cyclictest41-21ksoftirqd/322:25:323
31741996727,7cyclictest41-21ksoftirqd/321:55:183
31741996726,8cyclictest41-21ksoftirqd/323:50:293
31741996726,8cyclictest41-21ksoftirqd/323:50:293
31741996726,5cyclictest41-21ksoftirqd/320:10:323
3174099676,15cyclictest14211-21latency_hist00:15:002
3174099676,14cyclictest13601-21cpuspeed23:05:172
31740996710,12cyclictest19480-21runrttasks21:00:222
31740996710,12cyclictest19480-21runrttasks21:00:222
825591660,2ptp4l401ktimersoftd/322:55:303
31741996631,4cyclictest41-21ksoftirqd/322:45:153
31741996629,5cyclictest41-21ksoftirqd/322:00:323
31741996625,8cyclictest41-21ksoftirqd/319:45:173
31741996624,8cyclictest41-21ksoftirqd/300:25:263
31741996624,5cyclictest41-21ksoftirqd/323:55:293
3174099667,13cyclictest6169-21ls23:55:362
31740996610,11cyclictest23708-21apt-config21:10:012
31741996532,4cyclictest41-21ksoftirqd/323:25:293
31741996531,5cyclictest41-21ksoftirqd/321:25:323
31741996531,4cyclictest41-21ksoftirqd/322:10:343
31741996530,13cyclictest41-21ksoftirqd/319:15:343
31741996528,4cyclictest41-21ksoftirqd/322:50:233
31741996525,7cyclictest41-21ksoftirqd/320:40:303
31741996525,7cyclictest41-21ksoftirqd/320:30:003
31741996524,4cyclictest41-21ksoftirqd/320:05:323
31741996522,7cyclictest41-21ksoftirqd/321:00:003
31741996522,7cyclictest41-21ksoftirqd/321:00:003
3174099658,13cyclictest7219-21mailstats21:40:322
3174099657,12cyclictest18705-21phc2sys22:05:272
3174099656,14cyclictest12669-21sed19:35:342
3174099656,14cyclictest11880-21latency_hist00:10:012
3174099656,13cyclictest11621-21grep21:50:252
31741996453,5cyclictest41-21ksoftirqd/300:35:143
31741996432,4cyclictest41-21ksoftirqd/323:50:013
31741996424,5cyclictest41-21ksoftirqd/322:15:253
31741996424,4cyclictest41-21ksoftirqd/300:05:293
3174099649,12cyclictest21080-21if_enp4s019:55:272
3174099647,14cyclictest14894-21cat20:50:212
3174099647,13cyclictest15872-21awk19:45:182
3174099647,11cyclictest29955-21ptp4l21:20:312
3174099646,13cyclictest2635-21irqstats19:15:282
3174099645,18cyclictest9096-21latency_hist20:40:002
31741996328,5cyclictest41-21ksoftirqd/300:15:183
31741996325,5cyclictest41-21ksoftirqd/323:30:253
31741996324,8cyclictest41-21ksoftirqd/323:15:273
31741996324,5cyclictest41-21ksoftirqd/321:10:373
31741996323,7cyclictest41-21ksoftirqd/300:30:173
31741996322,8cyclictest41-21ksoftirqd/322:30:233
31741996319,7cyclictest41-21ksoftirqd/322:20:243
3174099636,14cyclictest32760-21df_abs23:45:182
3174099636,14cyclictest32326-21ptp4l-jitter21:25:332
3174099634,12cyclictest0-21swapper/220:05:162
80092620,2sleep00-21swapper/019:25:390
31741996230,4cyclictest41-21ksoftirqd/319:55:253
31741996224,4cyclictest41-21ksoftirqd/320:00:253
31741996222,8cyclictest41-21ksoftirqd/321:15:243
31741996220,9cyclictest41-21ksoftirqd/321:35:243
3174099627,20cyclictest5621-21sed19:20:312
3174099626,13cyclictest935-21sed19:10:292
3174099626,13cyclictest19992-21grep22:10:152
31741996120,8cyclictest41-21ksoftirqd/320:30:233
31741996119,9cyclictest41-21ksoftirqd/323:10:013
3174099615,19cyclictest0-21swapper/222:35:192
31741995928,4cyclictest41-21ksoftirqd/319:35:253
31741995924,5cyclictest41-21ksoftirqd/320:20:133
3174099597,18cyclictest21921-21sshd21:05:222
3174099596,11cyclictest12946-21apt-get21:55:182
3174099578,13cyclictest5641-21latency_hist21:40:022
3173999570,12cyclictest212152iostat_ios23:20:291
3174099525,12cyclictest6535-21egrep22:50:162
57698500,3rtkit-daemon575-21rtkit-daemon21:10:011
3174099508,10cyclictest2355-21gnome-shell23:40:582
235252460,2sleep20-21swapper/223:25:272
31740994413,13cyclictest16914-21netstat23:10:282
3174099427,11cyclictest29987-21/usr/sbin/munin20:15:312
142462420,4sleep0111rcuc/019:40:280
31739994134,4cyclictest25-21ksoftirqd/122:50:001
50242390,1sleep10-21swapper/121:35:301
31739993933,4cyclictest25-21ksoftirqd/100:40:011
31739993933,3cyclictest25-21ksoftirqd/123:45:141
31739993932,4cyclictest25-21ksoftirqd/122:10:141
31739993932,4cyclictest25-21ksoftirqd/120:38:251
31738993933,3cyclictest9-21ksoftirqd/020:42:470
31738993932,4cyclictest9-21ksoftirqd/021:16:220
3174099389,10cyclictest206-21systemd-journal22:01:012
31740993831,4cyclictest33-21ksoftirqd/200:17:322
31739993833,3cyclictest25-21ksoftirqd/100:21:491
31739993832,4cyclictest25-21ksoftirqd/122:29:211
31739993832,4cyclictest25-21ksoftirqd/122:29:211
31739993831,4cyclictest25-21ksoftirqd/123:10:001
31739993831,4cyclictest25-21ksoftirqd/122:34:391
31739993831,4cyclictest25-21ksoftirqd/122:22:101
31739993831,4cyclictest25-21ksoftirqd/120:34:401
31739993831,4cyclictest25-21ksoftirqd/120:24:091
31738993832,3cyclictest9-21ksoftirqd/019:10:120
3174099378,14cyclictest27749-21grep20:10:182
31740993711,12cyclictest25825-21if_enp1s023:30:212
31740993710,13cyclictest17715-21latency00:20:232
31739993731,4cyclictest25-21ksoftirqd/123:39:081
31739993731,4cyclictest25-21ksoftirqd/122:05:221
31739993731,4cyclictest25-21ksoftirqd/122:04:091
31739993731,3cyclictest25-21ksoftirqd/121:18:351
31739993731,3cyclictest25-21ksoftirqd/120:01:491
31739993730,5cyclictest25-21ksoftirqd/119:16:231
31739993730,4cyclictest25-21ksoftirqd/121:57:051
31739993730,4cyclictest25-21ksoftirqd/120:41:381
31739993730,4cyclictest25-21ksoftirqd/119:58:311
31739993729,5cyclictest25-21ksoftirqd/122:19:451
31739993729,5cyclictest25-21ksoftirqd/120:53:551
31738993731,4cyclictest9-21ksoftirqd/023:16:250
31738993731,4cyclictest9-21ksoftirqd/020:37:320
31738993731,3cyclictest9-21ksoftirqd/022:58:160
31738993731,3cyclictest9-21ksoftirqd/022:48:460
31738993731,3cyclictest9-21ksoftirqd/000:11:390
31738993730,4cyclictest9-21ksoftirqd/022:44:130
31738993730,4cyclictest9-21ksoftirqd/021:30:150
31738993729,5cyclictest9-21ksoftirqd/022:36:110
3173899370,34cyclictest2049-21turbostat.cron20:25:000
31740993629,4cyclictest33-21ksoftirqd/219:43:072
31740993624,8cyclictest30750-21sort22:30:352
31739993630,3cyclictest25-21ksoftirqd/122:50:351
31739993630,3cyclictest25-21ksoftirqd/120:58:591
31739993630,3cyclictest25-21ksoftirqd/120:58:591
31739993630,3cyclictest25-21ksoftirqd/119:40:241
31739993630,3cyclictest25-21ksoftirqd/100:03:571
31739993629,5cyclictest25-21ksoftirqd/100:11:171
31739993629,4cyclictest25-21ksoftirqd/123:10:391
31739993629,4cyclictest25-21ksoftirqd/122:37:161
31739993629,4cyclictest25-21ksoftirqd/121:04:261
31739993629,4cyclictest25-21ksoftirqd/121:04:261
31739993629,4cyclictest25-21ksoftirqd/119:50:071
31739993629,4cyclictest25-21ksoftirqd/119:30:181
31739993629,4cyclictest25-21ksoftirqd/119:30:181
31739993628,5cyclictest25-21ksoftirqd/121:50:551
31739993628,5cyclictest25-21ksoftirqd/119:21:061
31738993630,3cyclictest9-21ksoftirqd/022:54:430
31738993630,3cyclictest9-21ksoftirqd/022:01:380
31738993630,3cyclictest9-21ksoftirqd/021:52:530
31738993629,4cyclictest9-21ksoftirqd/023:23:560
31738993629,4cyclictest9-21ksoftirqd/021:58:200
31738993629,4cyclictest9-21ksoftirqd/019:59:390
3174099355,14cyclictest0-21swapper/220:20:302
31740993529,3cyclictest33-21ksoftirqd/223:38:372
31740993529,3cyclictest33-21ksoftirqd/221:34:132
31739993529,3cyclictest25-21ksoftirqd/123:02:121
31739993529,3cyclictest25-21ksoftirqd/119:50:001
31739993527,5cyclictest25-21ksoftirqd/121:43:091
31739993527,5cyclictest25-21ksoftirqd/121:23:331
31738993529,4cyclictest9-21ksoftirqd/022:12:080
31738993529,4cyclictest9-21ksoftirqd/000:34:550
31738993529,3cyclictest9-21ksoftirqd/023:28:080
31738993529,3cyclictest9-21ksoftirqd/019:16:300
31738993528,4cyclictest9-21ksoftirqd/023:33:390
31738993528,4cyclictest9-21ksoftirqd/021:25:050
31738993528,4cyclictest9-21ksoftirqd/021:10:160
31738993528,4cyclictest9-21ksoftirqd/020:48:280
31738993528,4cyclictest9-21ksoftirqd/020:18:130
31738993528,4cyclictest9-21ksoftirqd/019:37:400
31738993527,5cyclictest9-21ksoftirqd/020:03:520
31739993429,3cyclictest25-21ksoftirqd/122:55:281
31739993428,4cyclictest25-21ksoftirqd/121:27:001
31739993428,4cyclictest25-21ksoftirqd/120:13:481
31739993428,4cyclictest25-21ksoftirqd/100:18:151
31739993428,3cyclictest25-21ksoftirqd/119:30:001
31739993427,5cyclictest25-21ksoftirqd/120:46:121
31739993427,4cyclictest25-21ksoftirqd/122:44:431
31739993427,4cyclictest25-21ksoftirqd/121:47:461
31739993427,4cyclictest25-21ksoftirqd/121:10:051
31739993427,4cyclictest25-21ksoftirqd/100:25:431
31738993429,3cyclictest9-21ksoftirqd/020:10:200
31738993428,4cyclictest9-21ksoftirqd/022:28:320
31738993428,4cyclictest9-21ksoftirqd/022:28:320
31738993428,4cyclictest9-21ksoftirqd/021:47:210
31738993428,4cyclictest9-21ksoftirqd/019:47:090
31738993428,3cyclictest9-21ksoftirqd/023:37:120
31738993428,3cyclictest9-21ksoftirqd/022:16:140
31738993428,3cyclictest9-21ksoftirqd/020:55:470
31738993428,3cyclictest9-21ksoftirqd/020:55:460
31738993427,4cyclictest9-21ksoftirqd/023:14:050
31738993427,4cyclictest9-21ksoftirqd/021:41:470
31738993427,4cyclictest9-21ksoftirqd/000:20:160
31738993427,4cyclictest9-21ksoftirqd/000:15:070
31739993326,4cyclictest25-21ksoftirqd/123:41:351
31738993327,3cyclictest9-21ksoftirqd/020:54:120
31738993327,3cyclictest9-21ksoftirqd/000:02:360
31738993326,4cyclictest9-21ksoftirqd/023:04:250
31738993326,4cyclictest9-21ksoftirqd/021:38:580
3174099324,12cyclictest0-21swapper/220:40:242
3174099324,12cyclictest0-21swapper/200:35:012
31740993226,4cyclictest33-21ksoftirqd/222:56:232
31740993226,4cyclictest33-21ksoftirqd/219:29:092
31740993226,3cyclictest33-21ksoftirqd/222:26:292
31740993226,3cyclictest33-21ksoftirqd/222:26:282
31740993224,4cyclictest33-21ksoftirqd/223:04:292
31739993226,3cyclictest25-21ksoftirqd/123:55:001
31739993226,3cyclictest25-21ksoftirqd/123:55:001
31739993225,4cyclictest25-21ksoftirqd/123:25:171
31739993225,4cyclictest25-21ksoftirqd/123:16:341
31739993225,4cyclictest25-21ksoftirqd/100:10:001
31738993226,4cyclictest9-21ksoftirqd/023:08:340
31738993226,3cyclictest9-21ksoftirqd/000:36:080
31738993226,3cyclictest9-21ksoftirqd/000:07:130
31738993225,4cyclictest9-21ksoftirqd/021:05:100
31738993225,4cyclictest9-21ksoftirqd/019:54:530
31738993225,4cyclictest9-21ksoftirqd/019:22:330
31740993114,12cyclictest0-21swapper/222:20:222
31740993111,18cyclictest0-21swapper/220:50:002
31739993124,4cyclictest25-21ksoftirqd/123:58:331
31739993124,4cyclictest25-21ksoftirqd/121:32:531
31739993124,4cyclictest25-21ksoftirqd/119:12:071
31739993124,4cyclictest25-21ksoftirqd/100:31:171
31739993123,5cyclictest25-21ksoftirqd/123:30:561
31739993123,5cyclictest25-21ksoftirqd/120:06:301
31738993126,3cyclictest9-21ksoftirqd/021:20:110
31738993125,3cyclictest9-21ksoftirqd/022:31:350
31738993125,3cyclictest9-21ksoftirqd/020:32:160
31738993125,3cyclictest9-21ksoftirqd/020:06:200
3174099303,12cyclictest19044-21grep23:15:262
3174099302,9cyclictest0-21swapper/222:19:122
31740993024,3cyclictest33-21ksoftirqd/220:31:102
3174099302,10cyclictest0-21swapper/219:52:442
31738993024,4cyclictest9-21ksoftirqd/020:29:170
31738993023,4cyclictest9-21ksoftirqd/022:06:070
31738993023,4cyclictest9-21ksoftirqd/021:02:290
31738993023,4cyclictest9-21ksoftirqd/021:02:290
31738993023,4cyclictest9-21ksoftirqd/019:34:000
31738993023,4cyclictest9-21ksoftirqd/019:34:000
31740992913,12cyclictest0-21swapper/221:15:202
31738992922,4cyclictest9-21ksoftirqd/023:52:420
31738992922,4cyclictest9-21ksoftirqd/023:52:420
31738992922,4cyclictest9-21ksoftirqd/023:40:210
31738992822,4cyclictest9-21ksoftirqd/022:22:290
31739992722,3cyclictest25-21ksoftirqd/120:15:441
31739992720,4cyclictest25-21ksoftirqd/120:28:061
31738992721,3cyclictest9-21ksoftirqd/023:59:110
31739992517,5cyclictest25-21ksoftirqd/119:39:281
31738992316,4cyclictest9-21ksoftirqd/023:45:120
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional